切换到宽版
  • 115阅读
  • 2回复

[数码讨论]AI如何平衡发展和安全?中科院院士姚期智:如果能设计出最安全的AI,就会赢得市场[1P] [复制链接]

上一主题 下一主题
在线jjybzxw

UID: 551814

 

发帖
138389
金币
42382
道行
1971
原创
2350
奖券
2508
斑龄
32
道券
903
获奖
0
座驾
设备
摄影级
在线时间: 32611(小时)
注册时间: 2008-10-01
最后登录: 2025-03-28
— 本帖被 兵马大元帅 执行加亮操作(2025-03-24) —

3月21日,2025国际基础科学大会(ICBS 2025)在清华大学举行新闻发布会,公布2025年度基础科学终身成就奖及前沿科学奖获奖名单。会上,图灵奖得主、2024基础科学终身成就奖得主、中国科学院院士姚期智在回答记者提问时表示,人工智能(AI)的发展和安全最终是同一个问题。

▲中科院院士姚期智

对于AI的安全问题,姚期智表示,“AI幻觉”等现象使得在使用AI来进行关键应用时会带来危险,因为在这种情况下无法承受任何风险,所以需要搞清楚为什么会出现这种不安全的现象。

实际上,姚期智重视AI安全研究有着另一个重要理由。很多人觉得AI的发展和安全之间存在着矛盾和冲突,必须作出取舍或者平衡。相反,姚期智认为,两者最终是同一个问题:“如果你能设计出来最安全的AI技术,你就会赢得市场。”

所以,姚期智认为,未来,对AI安全的研究至关重要,这既是为了防止AI被恶意使用的问题,也是为了商业成功问题。

姚期智同时指出,在这个意义上,基础科学终身成就奖及前沿科学奖的颁布也非常重要。因为要研究AI安全,就需要从根本上理解AI,这和奖项获奖者的贡献是一致的。

姚期智同时回答了关于AI人才的问题。从OpenAI到DeepSeek,公司团队中很多是“90后”甚至“00后”。为什么在人工智能领域,有这么多年轻学者做出一些非常大的贡献?

对此姚期智认为,最主要的原因是,虽然人工智能这门学科已经存在了很多年,但是最近大模型的出现改变了人工智能学科的整个形式。这条路线从技术上说不像数学、物理科学需要那么多复杂的数理基础,这使得人工智能前沿研究在知识层面比较容易着手。所以很多年轻人在学了大学本科课程以后,就可以看到人工智能的前沿。

“这就是为什么DeepSeek的年轻人能够做出这些工作。这件事情非常令人兴奋,它使得人工智能这个学科发展的前景,尤其在中国有了非常有利的地位。”姚期智说。

红星新闻记者 胡伊文 北京报道

编辑 张寻 责编 官莉

1条评分金币+10
兵马大元帅 金币 +10 鼓励讨论 前天 18:43
山庄提示: 道行不够,道券不够?---☆点此充值☆
 
在线jjybzxw

UID: 551814


发帖
138389
金币
42382
道行
1971
原创
2350
奖券
2508
斑龄
32
道券
903
获奖
0
座驾
设备
摄影级
在线时间: 32611(小时)
注册时间: 2008-10-01
最后登录: 2025-03-28
只看该作者 沙发  发表于: 03-22
  姚期智院士在2025国际基础科学大会(ICBS 2025)上的发言强调了人工智能(AI)发展和安全的重要性,并指出这两者实际上是同一个问题。以下是他的主要观点:

  1. AI安全问题:姚期智提到了"AI幻觉"等现象,强调在使用AI进行关键应用时,安全性至关重要,因为无法承受任何风险。需要理解为什么会出现这种不安全的现象。

  2. 发展与安全的统一:很多人认为AI发展和安全之间存在矛盾,需要取舍平衡。但姚期智认为,两者实际上是同一个问题。如果能设计出最安全的AI技术,就能赢得市场。

  3. AI安全研究的重要性:姚期智强调,未来对AI安全的研究至关重要,这既是为了防止AI被恶意使用,也是为了商业成功。

  4. 基础科学奖项的意义:姚期智认为,基础科学终身成就奖及前沿科学奖的颁布非常重要,因为要研究AI安全,就需要从根本上理解AI,这与获奖者的贡献是一致的。

  5. AI人才问题:姚期智指出,在人工智能领域,有很多年轻学者做出了重大贡献。主要原因是最近大模型的出现改变了人工智能学科的形式。这条路线不像数学、物理那样需要复杂的数理基础,使得人工智能前沿研究更容易着手。所以很多年轻人在学完本科课程后,就能看到人工智能的前沿。

  6. 中国AI发展的前景:姚期智表示,这件事情非常令人兴奋,它使得人工智能这个学科在中国有了非常有利的地位。

  综上所述,姚期智院士强调了AI发展和安全的统一性,以及对AI安全研究的重视。同时,他也指出了年轻学者在AI领域做出贡献的原因,并对中国AI发展的前景表示乐观。这些观点对于理解当前AI领域的发展趋势和挑战具有重要意义。

1条评分金币+10
兵马大元帅 金币 +10 鼓励讨论 前天 18:43
如何不发帖就快速得到金币道行
 
在线姜谷粉丝

UID: 1569053

精华: 2
级别: 玉清道君

发帖
124378
金币
83376
道行
20019
原创
752
奖券
34
斑龄
0
道券
0
获奖
0
座驾
设备
摄影级
在线时间: 13051(小时)
注册时间: 2012-06-21
最后登录: 2025-03-28
只看该作者 板凳  发表于: 03-22
关于AI如何平衡发展与安全的问题,中国科学院院士姚期智提出了具有前瞻性的观点,其核心逻辑可总结为以下四个层面:

一、发展与安全的本质统一性
姚期智院士强调,AI的发展与安全并非对立关系,而是同一问题的两面。他认为,若能设计出最安全的AI技术,该技术将自然具备市场竞争力13。这种观点打破了传统思维中"效率优先"与"安全优先"的二元对立,提出安全性本身是技术先进性的核心指标。例如,在金融、医疗等高风险领域,安全系数更高的AI系统更容易获得市场认可。

二、安全研究的双重驱动力
风险防控维度
姚院士将AI风险分为三类:
网络风险(如数据泄露、系统漏洞)
社会风险(如大规模失业、伦理冲突)
存在风险(AI成为超越人类控制的新物种)
尤其强调存在风险类似于"人类创造比自己更强大的新物种",需通过理论计算模型预测AI行为边界
商业价值维度
市场对安全的需求正从"合规成本"转向"核心竞争力"。以自动驾驶为例,系统安全等级直接决定产品定价权,这解释了为何特斯拉FSD系统安全验证耗时占总研发投入的40%以上3。
三、实现路径的关键支撑
基础理论突破
强调对AI本质的深度理解是实现安全的前提,这与数学、密码学等基础学科突破密切相关。例如,量子计算与AI安全架构的交叉研究可能产生新一代防护体系。

技术路径创新
提出"安全设计前置"理念,在算法开发阶段即嵌入安全模块。参考区块链技术中"零知识证明"的实现逻辑,AI系统可通过可验证推理机制实现过程透明化。

人才结构优化
观察到年轻研究者(90后/00后)在大模型领域的突出贡献,指出AI技术门槛的"扁平化"特征——前沿突破不再依赖长期知识积累,这为安全技术创新提供了人才基数优势。

四、中国语境下的特殊机遇
姚院士特别强调中国在AI安全领域的后发优势:

庞大的应用场景为安全技术提供测试场(如政务AI系统的10亿级用户压力测试)
政策导向加速安全标准制定(对比欧盟AI法案的滞后性)
开源生态建设降低安全研究门槛(华为MindSpore等国产框架的安全模块开源)
总结:姚期智院士构建了一个"安全-市场-技术"的三角模型,其核心洞见在于:未来的AI竞争本质上是安全体系的竞争。这种范式转变要求企业将至少30%的研发预算投入安全架构设计,而国家层面需建立跨学科的基础研究支持体系。正如他所言:"我们正站在重新定义智能物种关系的临界点,安全不是发展的限制器,而是进化的催化剂。"
1条评分金币+10
兵马大元帅 金币 +10 鼓励讨论 前天 18:43
如何不发帖就快速得到金币道行
 
我有我可以
快速回复
限120 字节
认真回复加分,灌水扣分~
 
上一个 下一个