切换到宽版
  • 74阅读
  • 2回复

[数码讨论]你的AI大模型可能正在“裸奔” 这三重风险必须警惕! [复制链接]

上一主题 下一主题
在线jjybzxw

UID: 551814

 

发帖
139215
金币
48192
道行
1971
原创
2355
奖券
2513
斑龄
32
道券
903
获奖
0
座驾
设备
摄影级
在线时间: 32809(小时)
注册时间: 2008-10-01
最后登录: 2025-03-31
— 本帖被 兵马大元帅 执行加亮操作(2025-03-27) —

  以大模型为核心的人工智能技术是创新范式变革与产业升级的关键引擎,越来越多的机关、企事业单位开始推进大模型私有化部署,广泛应用于企业办公、科技研发、公共服务等领域。然而技术跃升与安全风险始终伴生演进,如何强化模型全生命周期安全管理,赋能AI行业向好向善发展,成为当前亟须解决的课题。

  需加重视的潜在风险

  近期多项研究发现,近90%私有化部署的服务器在互联网上“裸奔”,部分模型本身也容易被攻击,存在安全漏洞。目前个别单位所谓的“设防”也只是简单地设置密码,易被攻破,个别单位甚至连防护密码都没有。可以预见,未来随着大模型普及使用,有针对性的恶意手段和风险场景势必激增。因此,网络安全防护必须与技术发展同步迭代。

  ——敏感数据安全问题。大模型在训练、推理、使用过程中会涉及海量数据,如用户在输入数据时不当存储和处理,特别是违规在未设防模型中处理涉密数据、个人隐私数据、商业敏感数据时,存在数据被非法获取、泄露风险。

  ——关键领域安全问题。人工智能离不开高科技设备,如这类设备被植入后门程序会让智能工厂、金融机构、能源设施等关键领域面临风险。违法犯罪分子如恶意利用大模型部署的安全漏洞破坏相关系统,将可能导致公共服务中断、企业经济损失、安全事故频发等恶性事件,干扰经济正常运转和社会有序运行。

  ——侵犯用户利益。普通用户如未加防护使用大模型服务工具,攻击者也可以远程调用接口窃取模型参数、训练数据、知识库等核心资产,或删除、污染私有模型文件,导致模型失效或输出偏差。同时,攻击者可通过未授权的接口调用模型推理功能,滥用GPU资源。如处理数据量过大,大模型服务器就会因算力耗尽导致瘫痪。

  大模型安全风险的产生原因

  ——开源框架存在不足。许多单位为了快速上线服务,直接使用开源框架,默认开启不设密码的公网访问模式,不配置合理的安全防护措施,忽略最基本的防火墙配置。攻击者未经授权即可自由访问模型服务、窃取敏感数据,甚至通过历史漏洞执行恶意指令,从而导致数据泄露和服务中断。

  ——风险意识存在欠缺。部分管理者对AI安全的认知相对滞后,部分群众认为“安全是专家的事”,不了解部署AI服务需要像保护银行卡密码一样谨慎,在享受AI带来便利时未考虑背后隐藏的风险。

  ——安防教育有待加强。一些企事业单位缺乏必要的安全防范教育,导致员工国家安全意识和素养不高,安全防范意识不强,对于大模型缺乏用心管理,安防教育缺乏必要的认识。

  ——专门法律存在空白。我国近年来已经出台了多部关于人工智能和网络数据方面的政策法规和指导意见,但随着人工智能迅猛发展,应运而生的法律问题尚需进一步完善相关立法。

  国家安全机关提示

  大模型是推动科技进步的重要力量,但其安全防护须臾不可松懈,无论是开发者、企业还是普通用户,都应提高警惕,共同守护技术红利不被恶意利用。

  ——做好安全防护,筑牢安全防范屏障。AI企业在开发和应用大模型的过程中需重视自身应承担的安全责任和义务,可通过加强与安全厂商联系合作,以严密的安全技术保障和运行监测,强化大模型运行时的安全性、可靠性和稳定性。

  ——培养安全意识,打造协同防御生态。单位、企业在部署大模型前,需要进行全面的风险评估和安全规划,通过制定安全政策、开展安全培训等方式,提高全员安全意识。广大民众要增强大模型使用的安全意识,注意学习相关安全知识,养成良好使用习惯,选择从官方渠道下载大模型工具,使用时不要随意连接陌生网络,确保大模型应用安全稳定。

  (总台央视记者 宋琎)

1条评分金币+10
兵马大元帅 金币 +10 优秀文章,支持!n神马都是浮云 03-27
山庄提示: 道行不够,道券不够?---☆点此充值☆
 
在线jjybzxw

UID: 551814


发帖
139215
金币
48192
道行
1971
原创
2355
奖券
2513
斑龄
32
道券
903
获奖
0
座驾
设备
摄影级
在线时间: 32809(小时)
注册时间: 2008-10-01
最后登录: 2025-03-31
只看该作者 沙发  发表于: 03-27
针对上文提到的大模型为核心的人工智能技术在创新范式变革与产业升级中的关键作用,以及伴随技术发展而来的安全风险问题,我们可以从以下几个方面进行探讨和应对:

1. 强化模型全生命周期安全管理:企业需要重视大模型从开发、部署到使用的全生命周期安全管理,包括但不限于数据的采集、存储、处理和销毁等环节。这要求企业建立健全的安全管理体系和操作规程,确保每一步操作都在安全的框架内进行。

2. 提升网络安全防护能力:鉴于近90%私有化部署的服务器存在安全漏洞,企业必须加强网络安全防护,与技术发展同步迭代。这包括但不限于加强密码管理、防火墙配置、入侵检测系统等安全措施,以及定期进行安全审计和漏洞扫描。

3. 重视敏感数据的安全问题:在大模型的训练、推理、使用过程中,会涉及海量数据。企业需要确保这些数据的安全,避免数据泄露风险,特别是在处理涉密数据、个人隐私数据、商业敏感数据时。

4. 防范关键领域的安全风险:对于智能工厂、金融机构、能源设施等关键领域,需要特别防范被植入后门程序的风险。这要求企业不仅要关注技术层面的安全,还要关注物理安全和供应链安全。

5. 提高用户利益保护意识:普通用户在使用大模型服务工具时,也需要提高安全意识,防止攻击者远程调用接口窃取核心资产或滥用资源。

6. 弥补开源框架的不足:许多单位直接使用开源框架而忽略了安全防护措施。企业在使用开源框架时,应关闭不必要的公网访问,配置合理的安全防护措施,并定期更新以修补已知漏洞。

7. 加强风险意识和安防教育:企事业单位需要加强员工的安全防范教育,提高员工的国家安全意识和素养,使他们能够更好地管理和使用大模型。

8. 完善相关立法:随着人工智能的迅猛发展,现有的法律可能不足以应对新出现的法律问题。需要进一步完善相关立法,为人工智能的安全使用提供法律保障。

总之,大模型的安全风险管理是一个系统工程,需要开发者、企业、用户和立法机构共同努力,以确保AI技术的健康发展和应用。
1条评分金币+10
兵马大元帅 金币 +10 优秀文章,支持!n神马都是浮云 03-27
如何不发帖就快速得到金币道行
 
在线姜谷粉丝

UID: 1569053

精华: 2
级别: 玉清道君

发帖
124898
金币
88271
道行
20019
原创
752
奖券
34
斑龄
0
道券
0
获奖
0
座驾
设备
摄影级
在线时间: 13148(小时)
注册时间: 2012-06-21
最后登录: 2025-03-31
只看该作者 板凳  发表于: 03-27
警惕AI大模型“裸奔”的三重风险
大模型应用现状与风险背景
以大模型为核心的人工智能技术是创新范式变革与产业升级的关键引擎,越来越多的机关、企事业单位开始推进大模型私有化部署,广泛应用于企业办公、科技研发、公共服务等领域。然而,技术跃升与安全风险始终伴生演进,近期多项研究发现,近90%私有化部署的服务器在互联网上“裸奔”,部分模型本身也容易被攻击,存在安全漏洞。目前个别单位所谓的“设防”只是简单设置密码,易被攻破,甚至有单位连防护密码都没有。未来随着大模型普及使用,有针对性的恶意手段和风险场景势必激增,所以网络安全防护必须与技术发展同步迭代。

需重视的潜在风险
敏感数据安全问题
大模型在训练、推理、使用过程中会涉及海量数据。若用户在输入数据时不当存储和处理,特别是违规在未设防模型中处理涉密数据、个人隐私数据、商业敏感数据时,存在数据被非法获取、泄露风险。

关键领域安全问题
人工智能离不开高科技设备,如这类设备被植入后门程序,会让智能工厂、金融机构、能源设施等关键领域面临风险。违法犯罪分子如恶意利用大模型部署的安全漏洞破坏相关系统,将可能导致公共服务中断、企业经济损失、安全事故频发等恶性事件,干扰经济正常运转和社会有序运行。

侵犯用户利益
普通用户如未加防护使用大模型服务工具,攻击者可以远程调用接口窃取模型参数、训练数据、知识库等核心资产,或删除、污染私有模型文件,导致模型失效或输出偏差。同时,攻击者可通过未授权的接口调用模型推理功能,滥用GPU资源。如处理数据量过大,大模型服务器就会因算力耗尽导致瘫痪。

大模型安全风险的产生原因
开源框架存在不足
许多单位为了快速上线服务,直接使用开源框架,默认开启不设密码的公网访问模式,不配置合理的安全防护措施,忽略最基本的防火墙配置。攻击者未经授权即可自由访问模型服务、窃取敏感数据,甚至通过历史漏洞执行恶意指令,从而导致数据泄露和服务中断。

风险意识存在欠缺
部分管理者对AI安全的认知相对滞后,部分群众认为安全是专家的事,不了解部署AI服务需要像保护银行卡密码一样谨慎,在享受AI带来便利时未考虑背后隐藏的风险。

安防教育有待加强
一些企事业单位缺乏必要的安全防范教育,导致员工国家安全意识和素养不高,安全防范意识不强,对于大模型缺乏用心管理,对安防教育缺乏必要的认识。

专门法律存在空白
我国近年来已经出台了多部关于人工智能和网络数据方面的政策法规和指导意见,但随着人工智能迅猛发展,应运而生的法律问题尚需进一步完善相关立法。

应对建议
做好安全防护,筑牢安全防范屏障
AI企业在开发和应用大模型的过程中需重视自身应承担的安全责任和义务,可通过加强与安全厂商联系合作,以严密的安全技术保障和运行监测,强化大模型运行时的安全性、可靠性和稳定性。

培养安全意识,打造协同防御生态
单位、企业在部署大模型前,需要进行全面的风险评估和安全规划,通过制定安全政策、开展安全培训等方式,提高全员安全意识
1条评分金币+10
兵马大元帅 金币 +10 优秀文章,支持!n神马都是浮云 03-27
如何不发帖就快速得到金币道行
 
我有我可以
快速回复
限120 字节
认真回复加分,灌水扣分~
 
上一个 下一个