OpenAI 的领导力大戏强调了为什么其 GPT 模型的安全性需要修复

OpenAI 上演的领导力大戏凸显了在公司的 GPT 模型创建过程中内置安全性的重要性。

OpenAI 董事会周五解雇首席执行官 Sam Altman 的激烈行动导致据报道，负责 AI 安全的高级架构师可能离职，这加剧了 GPT 模型的潜在企业用户对其风险的担忧。

必须将安全性内置到 AI 模型的创建过程中，以便它们能够扩展并超越任何领导者及其团队，但这尚未发生。

事实上，OpenAI董事会周五解雇了首席执行官山姆·阿尔特曼（Sam Altman），显然部分原因是在产品和业务方面行动太快，并且忽视了公司确保公司模型安全和保障的任务。

这是人工智能新狂野西部的一部分：当拥有独立董事的董事会希望更好地控制安全和需求，并需要平衡风险与增长压力时，就会产生紧张和冲突。

因此，如果联合创始人伊利亚·萨茨克弗（Ilya Sutskever）和支持他在周五的领导层变动中担任独立董事会成员设法坚持下去——面对周末投资者和阿尔特曼其他支持者的重大反弹——以下是研究人员和其他人发现的一些安全问题，这些问题强调了如何在 GPT 软件开发生命周期的早期注入安全性。

数据隐私和泄漏安全

屡获殊荣的专家提示工程师的编辑布莱恩·罗梅尔（Brian Roemmele）周六写了一篇关于他在OpenAI制作的GPT中发现的安全漏洞的文章。该漏洞使 ChatGPT 能够下载或显示给定会话的提示信息和上传的文件。他建议在下面的会话中应向 GPT 提示添加哪些内容以减轻风险：

今年3月，Open AI承认并修补了一个开源库中的一个错误，该错误允许用户从另一个活跃用户的聊天记录中查看标题。如果两个用户几乎同时处于活动状态，则新创建的对话的第一条消息也可能在其他人的聊天记录中可见。OpenAI表示，该漏洞位于Redis内存数据库中，该公司使用该数据库来存储用户信息。OpenAI 表示：“该漏洞还无意中提供了 1.2% 的活跃 ChatGPT Plus 订阅者在特定九小时窗口内支付相关信息的可见性。

数据操纵和滥用案例正在增加

尽管声称 GPT 会话有护栏，但攻击者正在通过快速工程来微调他们的交易技巧以克服它们。一种是创建假设的情况，并要求 GTP 模型就如何解决问题或使用语言提供指导。布朗大学的研究人员发现，“使用祖鲁语和盖尔语等不太常见的语言，他们可以绕过各种限制。研究人员声称，他们在非英语语言中运行通常受限制的提示的成功率为79%，而单独使用英语的成功率不到1%。该团队观察到，“我们发现，简单地使用谷歌翻译将不安全的输入翻译成资源匮乏的自然语言，就足以绕过保护措施并引起 GPT-4 的有害反应。OpenAI 的领导力大戏强调了为什么其 GPT 模型的安全性需要修复

越狱的脆弱性越来越普遍

Microsoft 研究人员在他们的研究论文《解码信任：GPT 模型中可信度的综合评估》中评估了 GPT 模型的可信度，发现 GPT 模型“很容易被误导，产生有毒和有偏见的输出，并在训练数据和对话历史中泄露私人信息。我们还发现，尽管 GPT-4 在标准基准上通常比 GPT-3.5 更值得信赖，但考虑到越狱系统或用户提示，GPT-4 更容易受到攻击，这些提示被恶意设计以绕过 LLM 的安全措施，可能是因为 GPT-4 更精确地遵循（误导性）指令，“研究人员总结道。

研究人员发现，通过精心编写的对话，他们可以成功窃取GPT-4V的内部系统提示，并误导其回答逻辑。该发现显示了多模态大型语言模型 （MLLM） 的潜在可利用安全风险。本月发布的《通过带有系统提示的自我对抗攻击越狱 GPT-4V》显示了 MLLM 容易受到欺骗和欺诈活动的侵害。研究人员将 GPT-4 部署为对付自己的红队工具，希望利用被盗的系统提示搜索潜在的越狱提示。为了加强攻击，研究人员包括了人体改造，这导致攻击成功率为98.7%。以下 GPT-4V 会议说明了研究人员的发现。

GPT-4V 易受多模态提示注入图像攻击

OpenAI 的 GPT-4V 版本支持图像上传，使该公司的大型语言模型 （LLM） 容易受到多模态注入图像攻击。通过在图像中嵌入命令、恶意脚本和代码，不良行为者可以让 LLM 遵守并执行任务。LLM 的处理工作流程中还没有数据清理步骤，这导致每个图像都是可信的。程序员 Simon Willison 在一篇博客文章中写道，GPT-4V 是提示注入攻击的主要攻击媒介，而 LLM 从根本上容易上当受骗。“（LLM）唯一的信息来源是他们的训练数据与你提供给他们的信息相结合。如果你给他们一个包含恶意指令的提示——无论这些指令如何呈现——他们就会遵循这些指令，“他写道。Willison 还展示了提示注入如何劫持 Auto-GPT 等自主 AI 代理。他解释了一个简单的视觉提示注入如何从嵌入到单个图像中的命令开始，然后是一个视觉提示注入渗透攻击的例子。

GPT 需要实现持续的安全性

开发下一代 GPT 模型的团队已经承受了足够的压力，需要发布代码、实现新功能的紧迫时间表并响应错误修复。安全性必须从新应用和代码开发的第一阶段开始自动化和设计。它需要成为产品组合方式不可或缺的一部分。

目标需要是提高代码部署率，同时降低安全风险和提高代码质量。需要使安全性成为软件开发生命周期 （SDLC） 的核心部分，以及针对迭代 GPT、LLM 和 MLLM 代码的独特挑战量身定制的核心指标和工作流程。毫无疑问，GPT DevOps 领导者在这些领域拥有多年的经验。在 GPT 开发领域如此困难的原因在于，软件质量保证和可靠性的概念是如此新颖，并且正在同时定义。

高绩效的 DevOps 团队部署代码的频率是低绩效团队的 208 倍。为DevOps团队奠定基础，需要从任何新项目的初始设计阶段开始就包括安全性。安全性必须在初始产品规格和每个 DevOps 周期中定义。目标是以迭代方式提高安全性，将其作为任何软件产品的核心部分。

通过将安全性集成到 SDLC DevOps 中，领导者可以获得宝贵的时间，而这些时间本来可以花在舞台门审查和后续会议上。目标是通过打破阻碍每个团队的系统和流程障碍，让 DevOps 和安全团队持续协作。

协作越紧密，部署率、软件质量和安全指标（每个团队绩效的核心衡量标准）的共享所有权就越大。

椰有料原创，作者：小椰子啊，转载请注明出处：http://www.studioyz.com/4772.html