[智能应用]别再迷信AI跑分了：考试成绩好，工作干不了 [复制链接]

几十年来，人类评估 AI 能力的方法论，都是围绕着“机器能否超越人类”的思路展开的。从国际象棋到高等数学，从编程到写作，AI 模型和应用的性能都是让它和人类的表现水准做对比来检验的。
这种框架很有吸引力：在有明确对错答案的独立问题上做 AI 与人类的比较，容易标准化、容易比较、容易优化。它能生成排行榜和新闻标题。
但问题在于：AI 被使用的方法，和 AI 被测试的方法，是两种完全不同的体系。虽然研究人员和行业已经开始改进基准测试，从静态测试转向更动态的评估方法，但这些创新只解决了部分问题。因为它们仍然在脱离人类团队和组织工作流程的条件下评估 AI 的表现，而 AI 的真实性能恰恰是在这些环境中展现的。
AI 在真空中被逐项评估，但它的实际使用场景是混乱而复杂的，通常需要与不止一个人互动。它的表现（或表现不佳）只有经过长时间使用才能显现。这种错位让我们误判了 AI 的能力，忽视了系统性风险，也对其经济和社会后果做出了错误估计。
为了改变这一状况，是时候从狭隘的评估方法转向一种新的基准测试了，这种测试应当评估 AI 系统在更长时间维度内、在人类团队、工作流程和组织中的实际表现。自 2022 年以来，我研究了 AI 在英国、美国和亚洲的小型企业、医疗、人道主义、非营利和高等教育机构中的实际部署情况，也深入了解了伦敦和硅谷领先的 AI 设计生态。我提出了一种不同的方法，称之为 HAIC 基准测试——即“人类-AI 场景化评估”（Human–AI, Context-Specific Evaluation）。
对政府和企业而言，AI 基准分数看起来比供应商的自我宣传更客观。它们是判断一个 AI 模型或应用是否“够格”投入实际部署的关键依据。想象一个 AI 模型在最前沿的基准测试上取得了亮眼的技术分数——98% 的准确率、突破性的速度、令人信服的输出。凭借这些成绩，机构可能决定采用这个模型，投入大量财务和技术资源进行采购和集成。
但一旦投入使用，基准成绩和真实表现之间的差距就迅速暴露出来了。以大量通过 FDA 批准的、能比放射科专家更快更准地判读医学影像的 AI 模型为例。在从加州腹地到伦敦郊区的医院放射科，我亲眼看到工作人员使用排名靠前的放射科 AI 应用。他们反复需要花额外时间将 AI 的输出结果与医院特定的报告标准和各国不同的监管要求进行对照解读。一个在真空中测试时看似能提升生产力的 AI 工具，在实践中反而带来了延误。
用来评估医疗 AI 模型的基准测试并没有捕捉到医疗决策的真实过程。医院依靠的是放射科医生、肿瘤科医生、物理师、护士等多学科团队共同会诊患者，治疗方案很少取决于一个静态的决定，它随着几天或几周内出现的新信息不断演进。决策往往产生于建设性的讨论，需要在专业标准、患者偏好和患者长期健康这一共同目标之间做出权衡。难怪即使得分很高的 AI 模型，一旦遇到真实临床诊疗中复杂的协作流程，就难以兑现承诺的表现。
我在其他行业的研究中也看到了同样的模式：即使在标准化测试中表现出色的 AI 模型，一旦嵌入真实的工作环境，表现就达不到预期。
当高基准分数无法转化为真实表现时，即使得分最高的 AI 也很快会被丢进 AI 坟场”。代价是巨大的：时间、精力和资金都打了水漂。长此以往，这种反复的经历会侵蚀组织对 AI 的信心，在医疗等关键领域，还可能侵蚀公众对这项技术的信任。
当现有的基准测试只能提供关于 AI 模型是否适合实际使用的片面甚至误导性信号时，就会造成监管盲区：监管框架是基于不反映现实的指标来制定的。这也让组织和政府承担了在敏感的真实场景中测试 AI 的风险，而且往往缺乏资源和支持。
要弥合基准测试和真实表现之间的差距，我们必须关注 AI 模型实际使用的条件。核心问题是：AI 能否作为人类团队中的一个有效参与者发挥作用？它能否产生持续的、集体性的价值？
通过我对多个行业 AI 部署的研究，我看到一些组织已经在有意识、实验性地向我所倡导的 HAIC 基准测试方向迈进。
HAIC 基准测试从四个维度重构了现有的评估框架：
分析单元而言，应从个人单任务表现转向团队和工作流程表现；从时间指标角度，应从有标准答案的一次性测试转向长期影响评估；从性能指标而言，应从正确性和速度转向组织层面的成效、协作质量和错误可发现性；从系统效应而言，应从孤立的输出转向上下游连锁效应（系统效应）。
在这套方法开始被应用的组织中，第一步是改变分析单元。
以 2021 年至 2024 年间英国一家医院体系为例，他们把问题从“某个医疗 AI 应用是否提高了诊断准确率”扩展为“AI 在医院多学科团队中的存在如何影响准确率、协作和集体讨论”。医院专门评估了使用和未使用 AI 的人类团队在协作和讨论方面的差异。院内外的多方利益相关者共同确定了评估指标，比如 AI 如何影响集体推理、它是否能发现被忽略的考量、它是加强还是削弱了协作，以及它是否改变了已有的风险管控和合规实践。
这一转变具有根本性意义。在系统层面效应比单项任务准确率更重要的高风险场景中，这一点尤为关键。它可能有助于重新校正那些被夸大的生产力预期——这些预期迄今为止主要建立在提升个人任务表现的承诺之上。
在这个基础建立之后，HAIC 基准测试才能开始纳入时间维度。
今天的基准测试像学校考试，是一次性的、标准化的准确率测试。但真正的职业能力是以不同的方式来评估的。初级医生和律师是在真实工作流程中被持续考核的，有督导、有反馈机制、有问责体系。能力评估是在一段时间内、在具体的环境中进行的，因为胜任力是关系性的。如果 AI 系统要与专业人士协同工作，它们的影响也应当以纵向视角来评判，反映其表现在反复互动中如何演变。
我在一个人道主义领域的案例研究中看到了 HAIC 这一维度的应用。在 18 个月的时间里，一个 AI 系统在真实工作流程中被持续评估，重点关注其错误的可发现性，也就是人类团队能否方便地识别和纠正错误。这份长期的“错误可发现性记录”让相关组织能够设计和测试针对具体场景的安全护栏，在 AI 不可避免会偶尔犯错的前提下促进对系统的信任。
更长的时间维度还能揭示短期基准测试忽略的系统层面后果。一个 AI 应用可能在某个狭窄的诊断任务上超越单个医生，但未能改善多学科决策。更糟糕的是，它可能引入系统性的扭曲：过早地让团队锚定在看似合理但并不完整的答案上，增加人们的认知负担，或者在下游环节产生低效，抵消了 AI 使用点上的速度和效率收益。这些连锁效应往往是现有基准测试看不到的，却是理解真实影响的核心。
HAIC 方法确实会让基准测试变得更复杂、更消耗资源、更难标准化。但如果我们继续在脱离真实工作环境的无菌条件下评估 AI，就会一直误解它真正能为我们做什么、不能做什么。要在真实场景中负责任地部署 AI，我们必须衡量真正重要的东西：不仅仅是一个模型独自能做什么，而是当真实世界中的人和团队与它协作时，它促成了什么，又破坏了什么。

别再迷信AI跑分了：考试成绩好，工作干不了

关键结论：
当前的AI评估体系就像“应试教育”，只看单项任务的准确率和速度，却忽略了真实工作中最核心的——协作能力、长期表现和系统性影响。一个在测试中得满分的AI，可能在医院、企业或团队协作中反而拖后腿1。

📌 起因：我们用错了衡量标准
几十年来，AI的能力评估模仿人类考试：下棋、做题、写代码，追求在孤立任务中超越人类。这种模式容易量化、能上排行榜，也成了厂商宣传和资本追捧的依据6。但真实世界的工作不是单选题，而是需要持续沟通、权衡利弊、与人协作的复杂流程。

例如，在医疗场景中，放射科医生并非孤立做出诊断，而是与肿瘤科、护士等多学科团队反复讨论，结合患者偏好和长期健康目标共同决策。即使某个AI模型在读片准确率上超过专家，一旦嵌入临床流程，反而可能因打断协作、延误会诊而降低整体效率1。

🔍 现实错位：高分AI为何“水土不服”
维度    传统AI跑分（考试模式）    真实工作场景（职场模式）
评估单元    单个模型/任务    团队协作与工作流程
时间维度    一次性、静态测试    长期、动态使用
成功标准    正确率、响应速度    组织效能、错误可发现性、协作质量
系统影响    孤立输出    对上下游流程的连锁效应
这种错位导致许多AI项目“落地即翻车”。比如Meta曾发布Llama4模型，在多个基准测试中成绩惊人，但开发者社区反馈其实际体验“一言难尽”，被指为刷榜优化而非实用提升6。类似地，OpenAI虽推出跑分领先的GPT-5.4，但在一线开发者中反响冷淡，用户更看重“手感”“顺不顺畅”这类主观体验3。

🚀 新方向：从“考试”转向“绩效考核”
有研究者提出“HAIC基准测试”（Human–AI Context-Specific Evaluation），主张从四个维度重构AI评估：

时间指标：从一次测试变为长期追踪；
性能指标：从正确率转向组织成效与错误可修复性；
系统效应：关注AI对整个流程的连锁影响1。
已有组织开始实践：医院评估AI是否促进集体推理、加强风险管控；企业观察员工对AI评估结果的信任度与满意度4。潘源的研究发现，即使AI评估程序公平，员工仍可能因“决定是机器做的”而产生排斥感，这说明拟人化沟通与参与权比技术本身更重要4。

✅ 建议：如何正确看待AI能力
对企业：不要只看供应商提供的跑分数据，应在小范围试点中观察AI对团队效率的真实影响。
对用户：选择AI工具时，优先考虑“用着顺手”“配合默契”的产品，而非纸面参数最强的。
对行业：推动建立更贴近现实的评估机制，如谷歌推出的Kaggle Game Arena，通过策略游戏测试AI的复杂推理与适应能力6

深度解析：HAIC基准测试——重构AI评估体系的“场景化革命”
一、传统基准测试的“三重失灵”：标准化陷阱下的认知偏差
当前AI评估体系的核心矛盾在于“测试环境与使用环境的割裂”，这种割裂导致三大系统性风险：

1. 技术性能的“虚假繁荣”  
   以医疗AI为例，FDA批准的影像诊断模型在标准化测试中准确率达98%，但在真实临床场景中，医生需额外花费30%时间将AI输出与医院报告模板、监管要求对齐。这种“测试场优等生，实战场差生”的现象，源于传统测试忽略组织流程约束（如报告标准化）和动态决策需求（如多学科会诊）。

2. 经济价值的“预期错配”  
   企业采购AI时依赖基准分数，但部署后发现ROI（投资回报率）远低于预期。麦肯锡调研显示，63%的AI项目因“真实场景性能衰减”失败，平均浪费230万美元/项目。例如，某银行引入的信贷审批AI在测试中通过率提升15%，但实际因忽略区域监管差异导致30%审批需人工复核。

3. 社会风险的“监管盲区”  
   现有监管框架基于不反映现实的指标制定。如欧盟《AI法案》要求高风险AI系统通过“准确性测试”，但未评估其在复杂社会系统中的连锁效应。一个医疗AI在测试中表现优异，却可能因过度依赖历史数据导致对少数族裔患者的误诊率升高200%。

数据佐证：  
斯坦福大学2023年研究显示，AI模型在独立测试中的性能与真实场景表现的相关性仅0.47（1为完全相关）；  
Gartner预测，到2025年，70%的AI部署将因“场景适配失败”被弃用。
二、HAIC基准测试：从“单机游戏”到“多人协作”的范式转移
HAIC（Human-AI, Context-Specific Evaluation）的核心突破在于将AI评估从“技术性能测试”升级为“社会技术系统测试”，其四大重构维度直击传统测试痛点：

1. 分析单元：从“个人任务”到“团队流程”  
传统测试：评估AI在单一任务（如影像分类）中的准确率。  
HAIC测试：评估AI在多学科团队中的协作效能。例如，在英国医院案例中，测试指标包括：  
AI是否促进跨学科讨论（如触发肿瘤科医生提出新问题）；  
AI是否减少协作摩擦（如自动匹配不同科室的术语体系）；  
AI是否改变风险管控流程（如自动生成符合HIPAA的审计日志）。

2. 时间指标：从“一次性测试”到“长期影响”  
传统测试：像学校考试，一次提交答案即评分。  
HAIC测试：像职业考核，持续评估AI在真实工作流程中的表现演变。例如，在人道主义组织案例中：  
跟踪AI在18个月内的“错误可发现性”：人类团队能否在10分钟内识别并纠正AI错误；  
评估AI对团队认知负荷的影响：使用AI后，决策时间是否缩短但错误率上升（提示过度依赖）。

3. 性能指标：从“正确性/速度”到“组织成效”  
传统测试：关注模型输出（如分类准确率、响应时间）。  
HAIC测试：关注系统输出对组织目标的影响。例如：  
在零售场景中，测试AI推荐系统是否提升客单价（组织目标），而非仅测试推荐点击率（技术指标）；  
在制造场景中，测试AI质检系统是否减少整体返工率（包括人工复检成本），而非仅测试漏检率。

4. 系统效应：从“孤立输出”到“连锁反应”  
传统测试：评估AI在封闭系统中的表现（如独立影像分析）。  
HAIC测试：评估AI对上下游环节的影响。例如：  
在供应链场景中，测试AI需求预测系统是否导致库存波动加剧（因过度优化短期指标）；  
在教育场景中，测试AI辅导系统是否增加教师工作量（因生成大量需人工审核的反馈）。
三、实施挑战：从理论到实践的“最后一公里”
尽管HAIC测试方向正确，但其推广面临三大障碍：

1. 评估成本激增  
传统测试：单次测试成本约$5,000-$20,000（如ImageNet分类任务）。  
HAIC测试：需在真实场景中部署AI并持续监控6-18个月，成本可能达$500,000-$2M（含人力、数据采集、系统改造）。

2. 标准化困境  
不同行业、组织的流程差异大，难以建立统一标准。例如，医院A的多学科会诊流程与医院B可能完全不同，导致评估指标难以复用。

3. 利益相关者协调  
HAIC测试需多方参与（如医生、护士、IT、合规部门），但组织内常存在“评估阻力”。例如，医生可能担心AI暴露其诊断缺陷，IT部门可能抗拒长期数据采集。

解决方案建议：  
模块化评估框架：将HAIC测试拆解为可复用的组件（如“团队协作模块”“长期影响模块”），供不同行业组合使用；  
政府/行业共建基准库：如欧盟《AI法案》可要求高风险AI系统提交HAIC测试报告，并共享脱敏数据形成公共基准；  
“轻量版”HAIC测试：对中小企业提供简化版评估工具（如基于SaaS的流程监控插件），降低实施门槛。
四、未来展望：AI评估的“场景化时代”
HAIC测试的推广将推动AI发展进入新阶段：

1. 技术方向转变：AI研发将从“追求测试场高分”转向“优化真实场景表现”。例如，医疗AI可能减少对影像分类准确率的优化，转而增强对多学科讨论的触发能力。

2. 商业模型创新：AI供应商的定价模式可能从“按模型性能收费”转向“按组织成效收费”。例如，供应链AI供应商承诺“降低整体库存成本10%”，而非“提升预测准确率5%”。

3. 监管框架升级：监管机构可能要求AI系统提交HAIC测试报告作为审批依据。例如，FDA可能要求医疗AI不仅通过影像分类测试，还需证明其在多学科团队中的协作效能。

结语：  
AI的终极价值不在于其独立能力，而在于其与人类、组织、社会的协同效能。HAIC基准测试的提出，标志着AI评估从“技术中心主义”转向“社会技术系统中心主义”——这不仅是评估方法的升级，更是对AI本质的重新定义：它不再是替代人类的工具，而是增强人类集体能力的“数字队友”。当评估体系开始衡量AI如何促进团队协作、优化组织流程、提升系统韧性时，AI才能真正从“技术奇迹”进化为“社会基础设施”。