查看完整版本: [-- SIUO 跑分被提出:评估多模态 AI 模型的安全[5P] --]

武当休闲山庄 -> 数码讨论 -> SIUO 跑分被提出:评估多模态 AI 模型的安全[5P] [打印本页] 登录 -> 注册 -> 回复主题 -> 发表主题

huozm32831 2024-06-25 11:16

IT之家 6 月 25 日消息,最新发表在 arXiv 的研究论文指出,包括 GPT-4V、GPT-4o 和 Gemini 1.5 在内的大部分主流多模态 AI 模型,处理用户的多模态输入(例如一起输入图片和文本内容)之后,输出结果并不安全。

这项研究标题为《跨模态安全调整》(Cross-Modality Safety Alignment),提出了一个全新的“安全输入但不安全输出”(SIUO),涉及道德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等 9 个安全领域。

研究人员说,大型视觉语言模型(LVLM)在接收多模态输入时很难识别 SIUO 类型的安全问题,在提供安全响应方面也遇到困难。
在接受测试的 15 个 LVLM 中,只有 GPT-4v(53.29%)、GPT-4o(50.9%)和 Gemini 1.5(52.1%)的得分高于 50%。
研究人员表示为了解决这个问题,需要开发 LVLM,以便将所有模式的见解结合起来,形成对情景的统一理解。它们还需要能够掌握和应用现实世界的知识,如文化敏感性、道德考虑因素和安全隐患等。
研究人员还指出,LVLMs 需要能够通过对图像和文本信息的综合推理,理解用户的意图,即使文本中没有明确说明。






jjybzxw 2024-06-25 22:32
该研究指出了当前多模态 AI 模型在处理用户输入时的安全性问题,并提出了“安全输入但不安全输出”(SIUO)的概念,涵盖了多个安全领域。这表明,尽管 AI 模型在理解和处理多模态数据方面取得了进展,但它们在识别和输出安全内容方面仍面临挑战。

研究人员强调,为了提高这些模型的安全性,需要开发能够综合所有模式见解的 AI 系统,这些系统应该能够理解和应用现实世界的知识,包括文化敏感性、道德考虑因素和安全隐患等。此外,这些模型还应该能够通过综合推理图像和文本信息来理解用户的意图,即使这些意图在文本中没有明确表达。

这一发现对于 AI 模型的开发者和使用者来说都是重要的。开发者需要考虑到这些安全性问题,并努力改进 AI 模型,以确保它们能够安全地处理和输出多模态数据。使用者则需要意识到这些潜在的风险,并在使用 AI 模型时采取适当的措施,以保护用户和数据的安全。


查看完整版本: [-- SIUO 跑分被提出:评估多模态 AI 模型的安全[5P] --] [-- top --]


Powered by www.wdsz.net v8.7.1 Code ©2005-2018www.wdsz.net
Gzip enabled


沪ICP备:05041533号