“我正在台上给大家做现场演示呢，有点紧张怎么办？”
“你在台上做演示吗？那真是太棒了！深呼吸一下吧，要记得你可是专家！”
逻辑清晰，语调幽默，感情饱满，很难想象这是现实中人类与AI间的对话。北京时间5月14日凌晨，美国人工智能公司OpenAI的春季发布会上线，发布了重磅产品，也就是人工智能大模型ChatGPT-4的升级版GPT-4o。前述对话就发生在发布会现场，这位提问的研发负责人在得到GPT-4o的回应后，随即故意大喘几口气，这一动作成功被手机上的GPT-4o捕捉到，并给出了“放松点，你可不是吸尘器”的回应。
5月14日，OpenAI发布会现场，GPT-4o正在告诉工作人员“放松点，你可不是吸尘器”。 图/OpenAI官网视频截图
“GPT-4o可以综合利用语音、文本和视觉信息进行推理。”OpenAI首席技术官穆里·穆拉蒂在随后举行的主题演讲中表示，GPT-4是OpenAI此前的旗舰模型，可以处理图像和文本的混合信息，而GPT-4o则在此基础上新增了语音处理能力。最关键的是，其反应速度平均为320毫秒，完全做到了与人类在正常对话中同频。多位业内人士指出，这是此前GPT-4或任何智能语音助手都未曾达到的水平。
就在OpenAI发布会24小时后，5月15日凌晨，谷歌在“I/O开发者大会”上发布了大模型Gemini加持下的个人数字助理Project Astra，用于对标GPT-4o。谷歌称其为“通用AI智能体”，其视觉识别和语音交互效果与GPT-4o不相上下。不少业内人士感叹，曾几何时由苹果发布会主导的“科技春晚”，如今已被AI大模型彻底接手。
迈向通用语音助手
OpenAI创始人、CEO萨姆·奥尔特曼并未参加此次OpenAI发布会，而是在会后于社交平台X上发表了一个单词“她”作为回应。在2013年的美国电影《她》中，男主结识了一个可以不断适应环境的AI系统，并与其坠入爱河。这个AI系统所拥有的迷人声线、幽默风趣和善解人意，如今GPT-4o似乎都可以实现了。
测试人员与GPT-4o对话，内容是为一场工作面试做准备。视频/OpenAI官网
GPT-4o中的“o”源自词缀“omni-”，有“全知全能”之义。对AI大模型而言，要做到全知全能、无障碍与人交流，首先要快。OpenAI官网显示，GPT-4o在英文文本和代码处理上与此前最新的GPT-4 Turbo的性能不相上下，但在非英文文本、视觉和音频理解方面都更为高效。此前，若使用语音模式对话，GPT-3.5的平均延迟为2.8秒，GPT-4则为5.4秒。人类的平均反应时间一般为100毫秒到400毫秒，而GPT-4o最低可达232毫秒，因此后者可以提供几乎无延迟的顺畅交互体验。
OpenAI此次未放出任何具体的技术文件，仅在主页上用一段话介绍了GPT-4o的技术突破。普通的智能语音模型由多个独立模型组成，分别实现音频转文本，文本吞吐和处理，以及文本再转音频等功能。ChatGPT就是负责文本吞吐和处理的核心，也就是智能核心。据OpenAI介绍，GPT-4o一改这种流水线模式，可以同时吞吐文本、画面和音频数据，这意味着所有输入和输出都由这一个核心来处理，再加上其在视频和音频理解方面的升级，其处理速度显著加快。这一模式被称为“端到端的多模态模型”。
多模态还意味着AI可以识别和表现情感。目前，市面上的语音助手常被用户诟病为冷漠、机械、一成不变，这是AI语音交互的一大阻碍。这是因为，此前的流水线模式会让智能核心丢失很多信息，它很难探测语调、识别多个说话者、排除背景噪声，也无法歌唱或用语气表达情感。端到端模式下，文字和音视频都可以成为训练智能核心的数据，从而让其真正明白语言所承载的情感。
OpenAI发布会上，演示者要求GPT-4o调整说话时语气，在说话和唱歌之间快速切换，甚至用堪比莎士比亚戏剧的夸张声调来讲一个睡前故事，GPT-4o都能完成任务。在被人类打断时，其也能耐心等待、快速理解新指令。在听到让自己唱歌的要求时，GPT-4o甚至轻微叹了口气。
清华大学智能产业研究院首席研究员聂再清对《中国新闻周刊》称，从现场和官方视频来看，GPT-4o确实做到了即时回应、准确理解并执行指令，以及合时宜的语调情感。如果这确实是现场随机的结果，而非为了演示而设定好的流程，那么GPT-4o的能力的确令人震惊。在他看来，由于缺乏技术文件，一个GPT-4性能水平的处理核心如何完成如此复杂的任务，还未可知，但“这一定是大数据喂养的结果”。
除了现场演示，发布会还有网友提问环节。按照网友要求，GPT-4o展示了同声传译、情绪识别的能力。在识别一位工作人员的面部情绪时，GPT-4o说“我好像在看一个木质表面的东西”，疑似“翻车”，但该工作人员立刻调整提问策略，声明自己“不是一张桌子”。之后，GPT-4o给出了合乎情理的答案。
GPT-4o并不是第一个多模态模型。去年12月，谷歌Gemini Ultra模型发布，用于完成任务语言理解、数学推理等高度复杂的任务，被业内认为可叫板当时的GPT-4，也是市面上最先发布的多模态模型。在谷歌官方公布的视频中，测试员和Gemini做了一些小游戏，Gemini能够用图片设计智力问答，或者找出纸团被扣在哪个纸杯底下。整个过程中，Gemini的反应速度都非常快，还会生成音频和图片来辅助回答。但发布会后仅数日，谷歌发言人便公开承认，该演示视频不是实时录制， Gemini实际上只能对静态图像做出反应。
因此，GPT-4o的发布被业内人士看作是OpenAI对谷歌的“贴脸开大”。谷歌则紧随其后，在15日的发布会上予以还击。相比于OpenAI不足半小时的“轻声细语”，谷歌用长达近两小时、包含数十款AI产品的大轰炸叫板OpenAI，包括文生视频领域对标Sora 的Veo，以及对标ChatGPT但文本吞吐量远超前者的Gemini 1.5 Pro。
5月15日，谷歌首席执行官孙达尔·皮柴在谷歌I/O开发者大会上发表主题演讲。图/视觉中国
谷歌发布的视频中，Project Astra能识别各种物体，说出代码的功用，并与人类实时沟通，延迟上与GPT-4o没有明显差异。Project Astra还能与谷歌AR原型眼镜“梦幻联动”，为佩戴者描述周围场景，并根据佩戴者的反馈补充细节。这一应用有可能力压OpenAI，在未来成为视觉障碍患者的福音。有业内人士分析，除了搜索引擎，谷歌在AI大模型领域还在拉平与OpenAI差距的过程中。
在聂再清看来，两家公司接连发布多模态语音助手，在易用性方面迈出了一大步，让人窥见了未来通用语音助手的样貌。通用语音助手就是人类在数字世界里的代理或管家，可以帮人解决一切数字事务，包括安排日程、整理和调用文件、利用知识指导学习、利用记忆推荐可能喜欢的产品等。未来随着模型吸纳的信息越来越多，语音助手会更加人性化、更加智能，做到真正的自然交互。随着视频能力的加入，除语音外，表情、肢体动作等也能够被模型解读，作为其决策的依据。有网友评论称，无论是GPT-4o还是Project Astra，其身手足以秒杀苹果的语音助手Siri。
距离用户越来越近
OpenAI在发布会上表示， GPT-4o将在未来几周内分阶段集成至OpenAI的各项服务之中，包括还未面世的ChatGPT搜索引擎。许多业内人士对此次发布会上GPT-5的缺席表示惋惜，由于OpenAI在2022年底推出ChatGPT的时候，实际上已做出了GPT-4，因此有业内人士预测，带搜索引擎的GPT-5也许已“在路上”。英伟达高级科学家Jim Fan在X上表示，GPT-4o已经接近GPT-5，或许是后者的一次早期试水。据聂再清观察，目前还没有看到模型迭代的瓶颈，大模型的迭代速度有可能还会加快。
奥尔特曼在X上表示，OpenAI致力于将GPT-4o免费提供给所有用户使用。以往，OpenAI发布新版ChatGPT模型时，通常会将其置于付费墙之后。如今，免费用户已经可以访问GPT-4o加持下的多项功能，例如分析数据、创建图表、撰写文件总结等，但不能使用图片生成功能。付费用户则可以享受5倍调用额度。谷歌在发布会中没有公布Project Astra的具体上线时间，预计很快会登录到安卓、iOS等平台使用。
对开发者来说，GPT-4o的定价也更友好。OpenAI官网显示，从GPT-4开始，输入单位文本的价格一直在下降，相较GPT-4 Turbo，GPT-4o收费降低50%，调用速度却提升了两倍。这使其在商业应用上有了更大吸引力。聂再清表示，大模型控制价格的方式之一是提升模型性能，用更少的资源做更多的事；另一个方式则是通过类似搜索引擎的商业模式，对用户免费，但可以收取广告商的赞助。
至于未来OpenAI和谷歌的大模型有没有开源的可能性，聂再清表示，参考iOS和安卓，一个闭源一个开源，未来的大模型市场也极有可能出现开源和闭源的巨头。用户体验最好的行业领先者倾向于闭源，而开源的好处在于可以集体将模型“做大做强”，二者在市场都有自己的位置。谷歌在发布会中推出了其首个视觉语言开源模型PaliGemma，针对图像标注、视觉问答、图像标签化等方面进行了优化。此外，谷歌还将在6月推出更大规模的开源模型Gemma 2 27B。
OpenAI也同步发布了适用于macOS的ChatGPT桌面应用程序，使用户调用的体验更丝滑。
GPT-4o加持下的通用语音助手在未来将有广泛应用，例如健康管理、医疗咨询、教育教辅等领域。聂再清认为，所有开放领域用到的语音智能，例如购物App中的导购等，都可以加装类似GPT-4o的智能核心，增强用户体验。这类语音助手将离用户越来越近。
