查看完整版本: [-- 800人实测:AI给你的烂方案,比最优解更值钱 --]

武当休闲山庄 -> 数码讨论 -> 800人实测:AI给你的烂方案,比最优解更值钱 [打印本页] 登录 -> 注册 -> 回复主题 -> 发表主题

jjybzxw 2026-05-04 10:34

上个月刚充了 ChatGPT Plus,这个月又买了了 Cursor Pro,OpenClaw 也研究的差不多了。我们对 AI 的期待,说起来非常简单:给最好的方案、最准确的代码、最精确的回答。

然后我们再用输出质量来评判一个 AI 值不值得续费。

但为什么总觉得 AI 不够好用呢?

Swansea 大学一项迄今最大规模的人机协作创意实验刚刚告诉你:你对 AI 的期待从根上就是错的。

800 个人设计了一辆虚拟汽车

这不是问卷调查,是一个真正的设计任务。研究者开发了一个叫「Genetic Car Designer」的在线工具,放在游戏平台 itch,让参与者设计一辆二维汽车,目标很简单:在 30 秒内跑得越远越好。

车身由多边形顶点定义,轮子有位置、半径、质量、转速和悬挂频率五个自由度。最简单的配置有 9 个可调参数,最复杂的可以到 85 个。

系统有两种 AI 建议模式。一种是 MAP-Elites 算法驱动的方案,按速度、轮径、几何形状三个维度,展示一系列多样化的设计方案。这些方案里有高性能的、有奇怪的,也有明显跑不远的。 另一种是随机历史记录,什么设计都有,毫无章法,充当对照组。

参与者可以自由选择看不看这些建议,用不用它们。没有强制流程,没有规定时间,随时可以退出。 实验设计的精妙之处在于:它不告诉你 AI 在帮你,只是把方案摆在那里,看你怎么反应。

808 个有效 session 里,50%的参与者完全是被动的。打开工具后就让算法自己跑,全程不参与。36%只用了设计编辑器,手动调参数。只有 14%打开了 AI 方案并且与之互动。

但这 14%的人,产出了最好的设计。

看到「烂设计」的人,反而做得更好

数据很清楚。看过至少一个 AI 方案的人,平均在任务上花了 22.5 分钟,是没看过方案的人(9.4 分钟)的 2.4 倍。设计质量提升幅度达到 373%,将近没看方案的人(197%)的两倍。主动跟方案互动、选取设计反馈给算法的人,提升更是高达 420%,是纯被动参与者(124%)的 3.4 倍。所有比较均通过了严格的统计检验(Mann-Whitney U, p<0.002)。

更有意思的是 MAP-Elites 方案和随机方案之间的对比。参与者在两种方案上花的观看时间没有显著差异,但从 MAP-Elites 方案里选出来实际使用的设计数量,显著多于随机对照组。

这意味着「结构化多样性」,也就是好的、怪的、差的方案按维度排列在一起,比一锅乱炖的随机建议,产生了更强的创意激发效果。

最反直觉的发现,藏在实验室研究里。

研究者另外招募了 12 名工程专业学生做了一组对照更严格的实验:固定赛道、固定参数、固定时长(40 代算法迭代),只保留两个方案(MAP-Elites vs 随机),双盲标记为「Insights 1」和「Insights 2」。

75%的人在 MAP-Elites 方案上花了更多时间,所有参与互动的人也都从 MAP-Elites 里选了更多设计。但问他们「哪个方案更有用」,答案却是分裂的。25%的人甚至认为随机方案更好,尽管他们的实际行为证明他们从 MAP-Elites 里获益更多。

论文的解释是:行为参与和情绪参与是分离的。你在认知上确实受到了帮助,但你不一定「感觉」到这种帮助。这指向了一个更深层的机制,论文称之为「过早固化」(early fixation)。

当你只看到好方案,你倾向于直接复制;当你看到一堆参差不齐的方案,你被迫开始自己思考,因为没有哪个方案可以直接拿来用。烂设计不是噪音,是认知摩擦。它拦住了你的第一反应,逼你绕远路。而绕远路,恰恰是创造力的产生条件。

其中有一位参与者的反馈很有代表性:「我发现方案在后期更有用,当我自己做的修改不再产生更好结果的时候。」这正好印证了研究者的判断。多样化建议的价值不在起步阶段,而在你自以为找到最优解、实际上已经陷入局部最优的时候。更有参与者说自己会刻意挑差方案来看,「用来探索新想法」

你花钱买的不是答案

一个 AI 给你的烂答案,竟然比好答案更有价值。这项研究还揭示了一个 AI 产品经理们,可能不太愿意面对的事实: 使用 AI 方案的人花了更长的时间完成任务,而不是更短。

研究者在论文中直言:「基于方案的人机协作工具不应被视为省时省钱的工具,而应被视为通过增强人类创造力来产出更好结果的工具。」在他们此前的一项研究中也观察到了同样的趋势:使用 AI 辅助工具的参与者完成任务所需时间显著更长,原因是情绪参与度更高,他们投入了更多精力去探索。

这跟 AI 产品的主流营销叙事完全矛盾。从 ChatGPT 到 Midjourney 到 Cursor,所有 AI 工具的价值主张都是「更快、更好、更省力」。但这项研究的数据显示,真正有价值的 AI 协作,恰恰是让你花更多时间、投入更多精力的那种。省下来的不是时间,而是那些你原本不会走的弯路——可弯路,才是创造力的正路。

这篇论文的标题叫「From Metrics to Meaning」,从指标到意义。作者批评了 AI 工具行业的主流评估方式:用点击率、复制率、采纳率来衡量 AI 建议的价值。这些指标只能捕捉行为参与(你是否点了),完全忽略了认知参与(你是否在想)和情绪参与(你是否在乎)。

仅仅是「看」一眼设计建议,即使你没有选择它、没有复制它、没有对它做任何操作,它已经在影响你的设计过程了。这意味着 AI 产品用来衡量自身价值的那套指标体系,可能系统性地低估了 AI 真正的贡献,同时高估了「输出准确性」的重要性。

当 Cursor、Claude、ChatGPT 都在卷输出质量的时候,也许最好的 AI 产品设计,应该故意「不那么好用」。你花钱买的不是答案,是刺激。


jjybzxw 2026-05-04 10:35
这篇文章提出了一个关于人工智能(AI)辅助工具的重要观点:我们对AI的期待可能从根本上就是错误的。文章通过Swansea大学的研究案例,探讨了AI在创意任务中的作用,并提出了一些反直觉的发现。以下是文章的关键点总结:

1. 研究设计:
800名参与者使用「Genetic Car Designer」在线工具设计虚拟汽车。
汽车设计由多边形顶点定义,轮子有五个自由度。
系统提供两种AI建议模式:MAP-Elites算法驱动的方案和随机历史记录。

2. 研究结果:
只有14%的参与者与AI方案互动,但这一部分人产出了最好的设计。
看过AI方案的人在任务上花费的时间更长,设计质量提升幅度也更大。
MAP-Elites方案比随机方案更能激发创意。

3. 反直觉的发现:
即使参与者认为随机方案更有用,他们实际上从MAP-Elites方案中获益更多。
「过早固化」现象表明,看到多样化的方案能促使人们思考,即使这些方案中包含不好的选项。

4. AI的价值:
使用AI的人完成任务所需时间更长,因为他们投入了更多精力去探索。
AI协作工具不应被视为省时省钱的工具,而应被视为增强人类创造力的工具。

5. AI产品的评估方式:
传统的评估指标(如点击率、复制率、采纳率)忽略了认知参与和情绪参与。
AI产品可能系统性地低估了AI真正的贡献,同时高估了输出准确性的重要性。

文章的核心观点是,AI的价值不在于提供快速的答案,而在于激发人们的创造力和深度思考。这挑战了当前AI产品主流的营销叙事,即「更快、更好、更省力」。相反,真正有价值的AI协作可能需要我们投入更多的时间和精力。这项研究提醒我们,在使用AI工具时,我们应该期待的是它们如何增强我们的思维和创造力,而不仅仅是提供最优解。



查看完整版本: [-- 800人实测:AI给你的烂方案,比最优解更值钱 --] [-- top --]


Powered by www.wdsz.net v8.7.1 Code ©2005-2018www.wdsz.net
Gzip enabled


沪ICP备:05041533号