| huozm32831 | 2025-06-06 15:10 |
 “ChatGPT发布后不久，我开始使用它，然后意识到自己严重低估了AI的发展速度，实现通用人工智能（AGI）所需的时间比我们预想的要短得多。” 在6月6日开幕的2025北京智源大会上，深度学习奠基人之一、2018年图灵奖得主、蒙特利尔大学教授约书亚·本吉奥（Yoshua Bengio）在题为“避免失控的AI代理带来的灾难性风险”的演讲中首先提到。 他表示，我们已经有了能够掌握语言、通过测试的机器，这在几年前听起来还像科幻小说，但现在已经成为了现实。 “但在ChatGPT发布后，我意识到我们不知道如何控制这些系统。我们可以训练它们，但无法确定它们是否会按照我们的指令行事，这是一种我们无法承受的风险。” 于是，本吉奥决定改变研究方向，尽其所能去应对这些风险。“尽管这与我之前所说的话、我的信念和倾向相悖，但我意识到这是正确的事情。” 他表示，AI的发展速度很快，但现在多数人犯的一个大错误是只考虑当前的AI，但实际应该思考的是它在未来三年、五年、十年后会发展到什么程度。 “趋势是非常明确的，能力在不断提升。”过去一年，由于推理模型的发展，这些模型实现了更好的推理，在数学、计算机科学等领域都取得了更好的成果。 同时，AI也具备了更强的自主性，其不仅在聊天机器人方面，还在编程、控制计算机和电器、互联网搜索、数据库搜索等方面的能力提升。 “AI可以完成任务的所需时间是每七个月翻一番，如果沿着这条曲线推算，大约五年后将达到人类水平。”本吉奥表示，在这种趋势下要考虑可能面临的后果。 他提到，过去的六个月里，AI显示出自我保护行为，以及欺骗、撒谎和作弊行为。比如Anthropic的最新大模型发现工程师有婚外情，并试图威胁揭露这段婚外情来勒索工程师。 “这些行为非常糟糕，我们看到了AI的自我保护意识，其会违背一些指令并试图生存。这种行为可能有多种原因，我们还没有完全弄清楚，可能来自预训练，可能源自强化学习的反馈。”本吉奥表示。 他强调，无论是什么原因，如果最终我们创造出超越人类的AI并与人类竞争，这将是非常糟糕的。“如果AI真的发生失控，可能是灾难性的，这种失控可能导致人类灭绝。” 本吉奥表示，现在不知道这种情况是否会真的发生，也不知道其发生的概率是多少，但需要寻找解决方案，以避免AI的这些不良行为。 他认为，对AI的能力评估很重要，目前AI的许多管理不善都与能力评估有关，要了解AI能做什么，以及这些能力是否可能转化为对人类或社会有害的行为，同时要确保AI没有不良意图。 “真正危险的AI需要三样东西，需要智能和知识，做事情的能力，还需要有自己的目标。这三个条件是研究的关键，我发起的项目试图探索，我们是否可以构建只有智能而没有能力的AI。我称其为AI‘科学家’，它确实偏离了传统的AI研究方向。” 他表示，自AI研究开始以来，我们一直以人类智能为灵感，努力构建像人类一样的AI。如果继续走这条路，意味着我们将创造出可能超越人类的机器，这意味着创造竞争性，因为它们可以与我们竞争。 “但现在是时候重新思考这种研究传统，应该思考一种对人类和社会有用但不会危及人类的研究思路。”本吉奥为此提出科学家AI，目标是构建一种完全非通用的、基于解释能力的AI。 他表示，这与当前试图模仿人类或取悦人类的AI不同，科学家AI将努力向人类解释事物，并可以作为构建安全AI系统的基石。 “如果想构建一个只进行智能活动、只进行理解的AI，我们需要AI可以生成关于奖励的假设，就像科学家生成假设一样，但这还不够。如果只有假设，这并不一定能做出好的预测，还需要进行推理，以便预测某些行为或实验的结果，这就是科学家AI的想法。”本吉奥说，尽管科学家AI是非通用的，但它可以成为AGI的基础。 比如AI的欺骗行为、危险行为，都是因为自主性。当AI的自主性很高时，这意味着它完全自主，没有人类的监督。“科学家AI中的监视器可以预测某个行为是否危险，它不需要自主性。如果预测显示某个行为的危害概率高于某个阈值，那么就可以直接拒绝该行为。” “换句话说，我们可以利用一个非通用的AI来控制另一个不可信的人工智能，而这个非通用的AI是安全的。” 同时，为了保证AI没有欺骗性，AI需要对自己的知识保持谦逊，需要AI保留每一种可能的解释或理论。“不幸的是，当前的方法并没有做到这一点。因此，重要的是AI要保留对解释的分布，而不是只选择单一的解释。” 对此，本吉奥则围绕思维链进行了研究，以使思维链更加真实，推理更加准确。这与当前基于强化学习的方法不同，而是基于尝试为数据生成一个好解释。“我们用这些关键思想生成了各种各样的解释，这些解释可以高度结构化，如以因果图的形式呈现。” “这使得AI不会试图模仿人类会写的内容，而是会试图为这些内容找到解释。AI需要计算这些内容的一致性，以及正确率，以便能够得出正确的结论。”本吉奥说。 对于AI失控的风险，他还提到，随着AI变得越来越强大，还有许多其它潜在的灾难性问题，比如强大的AI可以帮助恐怖分子设计新的大流行病。“如果坏人能够接触到这种AI，他们可能会对地球造成巨大的破坏。这是一个非常严重的问题，但目前还没有科学的方法来解决。” 本吉奥提到，为了避免这种危险，还需要确保AI遵循我们的道德指令，例如不提供可用于杀人的信息，避免伤害人类，不撒谎、不欺骗等。“这是一个科学挑战，我们需要尽快解决，需要在实现AGI之前解决这个问题。” 他认为，AGI的出现可能只需要几年时间，也许是一到两个十年，也许更短，甚至可能在未来五年内实现。所以没有太多时间，需要大规模投入，以发现解决对齐和控制挑战的科学方法。 “不幸的是，目前公司之间和国家之间的协调并不顺利。公司之间存在竞争，它们都在竞相占据领先地位，国家之间也是如此，它们都希望利用AI作为对抗彼此的工具。因此，目前在安全方面的投入，以确保AI不会被用于伤害人类或失控方面的努力还远远不够，所以我们需要更多的国家监管。” 本吉奥认为，唯一真正能够让不同国家坐到同一张桌子前的办法是，让各国政府，特别是美国和中国，意识到这些真正灾难性的结果，比如人类失去控制权，或者恐怖分子利用AI做坏事。“这无论在哪个国家发生，我们都输了，我们都在同一条船上。” 但找到政治解决方案还不够，还需要开发新的技术来验证AI是否被正确使用，就如同核协议有各种各样的“信任验证”机制。“我们需要开发这些技术，如在硬件和软件层面，我认为这些技术可以设计出来。”本吉奥说。 |
|