美国国务院委托的一份报告建议采取切实可行的措施来防止先进人工智能的新威胁，包括人工智能的武器化和失去对技术控制的威胁。
这份名为“纵深防御：提高高级人工智能安全性的行动计划”的报告由杰雷米和爱德华·哈里斯兄弟创立的人工智能安全公司Gladstone AI编制。
行动计划的工作于 2022 年 10 月开始，即 ChatGPT 发布前一个月。它涉及与200多人的对话，包括前沿人工智能实验室的研究人员和高管、网络安全专家和几个国家的国家安全官员。
该报告警告说，尽管先进的人工智能具有巨大的好处，但它正在“创造全新的大规模杀伤性武器类别（类似大规模杀伤性武器）和大规模杀伤性武器的灾难性风险......鉴于武器化和失控导致人工智能能力迅速扩张对国家安全构成的风险越来越大，特别是这些能力的持续扩散加剧了这两种风险，美国政府显然迫切需要进行干预。
在提供有关人工智能风险的技术细节的同时，该行动计划还提出了可以帮助美国及其盟国减轻这些风险的政策建议。
武器化和失控
该报告重点关注两个关键风险：武器化和失控。武器化包括自主发现零日漏洞的人工智能系统、人工智能驱动的虚假信息活动和生物武器设计等风险。零日漏洞是计算机系统中的未知或未缓解的漏洞，攻击者可以在网络攻击中使用这些漏洞。
虽然仍然没有人工智能系统可以完全完成此类攻击，但这些方面已经有了进展的早期迹象。未来几代人工智能可能能够进行此类攻击。报告警告说：“因此，如果没有有效的措施来监测和控制其产出，这种模型的扩散——甚至对它们的访问——可能是极其危险的。
失控表明，“随着先进的人工智能接近类似AGI的人类和超人的一般能力水平，它可能会变得无法控制。不受控制的人工智能系统可能会发展出寻求权力的行为，例如防止自己被关闭、建立对环境的控制或从事欺骗行为来操纵人类。失控是由于人工智能和人类意图之间缺乏一致性造成的。对齐是前沿人工智能实验室的一个活跃研究领域。
“错位的AGI系统是灾难性风险的来源，因为它是一个非常称职的优化器，”报告称。“它的能力使它能够发现并实施危险的创造性策略来实现其内在目标，而实现大多数类型目标的最有效策略可能涉及寻求权力的行为。
工作范围
该行动计划提出了几项政策建议，并将其归类为“努力方向”（LOE），以应对人工智能武器化和失控带来的灾难性国家安全风险，同时又不妨碍良好使用人工智能的好处。
“在高层次上，行动计划围绕着三件事，”埃德哈里斯告诉VentureBeat。“1）稳定人工智能研发带来的国家安全风险的现状。 2）加强我们在人工智能安全与安保方面的能力。3）建立立法和国际框架，一旦满足前两个条件，我们将需要安全可靠地扩大这些系统。
人工智能能力继续以加速的速度发展。当前的人工智能系统已经可以以令人担忧的方式被武器化，正如我们最近几个月在人工智能生成的图像和机器人呼叫中看到的那样。LOE1旨在建立临时保障措施，以稳定先进的人工智能发展。这可以通过建立一个“人工智能观察站”来实现，该观察站作为美国政府的人工智能威胁评估、分析和信息共享中心。与此同时，政府应通过规则，为开发人工智能系统的美国实体建立保障措施。最后，美国应该利用其对人工智能供应链的控制，确保在全球范围内安全使用云服务、人工智能模型和人工智能硬件。
LOE2旨在让美国做好准备，以应对人工智能事件。措施包括建立跨部门工作组，在美国政府范围内建立教育和培训计划以加强准备，以及制定针对高级人工智能和AGI事件的指示和警告框架。最后，政府应该有一个应急计划来应对已知和新出现的威胁。
LOE3 鼓励支持人工智能安全研究。虽然前沿实验室陷入了创造更先进人工智能能力的竞赛中，但政府应该资助对齐研究并制定法规，以确保他们继续致力于确保其系统的安全。
LOE4通过建立人工智能监管机构和法律责任框架来应对长期风险。根据行动计划，“这一法律框架应谨慎地平衡减轻潜在灾难性威胁与限制创新风险的需要，特别是如果对小规模实体施加监管负担。
LOE5概述了美国政府可以采取的近期外交行动和长期措施，以在国际法中建立有效的人工智能保障制度，同时确保人工智能供应链的安全。
“我们在提案中所做的很多事情是定义我们期望老化的框架，因为它们基于强大的趋势（例如扩展和算法进展的趋势），但根据实施时的人工智能状态，这些框架的一些细节有待确定，”杰雷米哈里斯告诉VentureBeat。“稳健的框架与灵活的组件的结合是我们在许多 LOE 中依赖的关键方法。”
解决人工智能风险的挑战之一是找到适当的平衡点：保持模型的私密性和释放模型权重。
“能够弄乱开放模型对安全和保障肯定有好处，”埃德说。“但随着模型变得越来越强大，不幸的是，天平向开放获取的风险倾斜，而不是回报。
例如，任何人都可以针对任何用例（包括武器化形式）廉价地对开放获取模型进行微调。
“一旦你将一个模型作为开放获取发布，你可能会认为它是安全可靠的，但其他人可能会微调它以使其武器化，如果发生这种情况，你就无法收回它 - 你只是承受伤害，”埃德说。“这是稳定的一部分——我们需要尽早实施常识性控制，并确保我们了解某人制作开放获取模型的危险性（目前没有人知道如何做到这一点），这样我们就可以继续安全可靠地扩大开放获取版本。
人工智能风险的早期迹象
在创立 Gladstone 之前，Jeremie 和 Ed 创立了几家 AI 初创公司，其中包括一家由 Y Combinator 支持的初创公司。
当 GPT-2 于 2019 年问世时，他们首先对 AI 的新兴威胁产生了怀疑。随着 2020 年 GPT-3 的发布，他们的担忧变得认真起来。
“GPT-3 清楚地表明 （1） 缩放是一回事;（2）我们已经在扩展曲线上走得很远，“Jeremie说。“基本上，它给了我们一个'斜率'和一个'y-intercept'，这非常清楚地表明事情即将变得疯狂。
他们与 OpenAI、DeepMind 和其他顶级实验室的研究人员进行了对话，以验证这一想法。不久之后，他们决定退出他们的人工智能公司，以调查风险。
“在接下来的12个月里，我们与前沿人工智能研究人员一起进行了人工智能安全和安保方面的技术研究，并向美国、加拿大和英国的高级国防和国家安全领导人介绍了情况，”杰雷米说。
在ChatGPT问世前一年，两家公司正在为美国国家安全和国防高级官员开设关于生成式人工智能、大型语言模型（LLM）以及未来人工智能扩展可能带来的武器化和失控风险的培训课程。
2022 年，Jeremie、Ed 和前国防部高管 Mark Beale 出于对 AI 国家安全风险的担忧而创立了 Gladstone。
“Gladstone背后的核心思想之一是，由于该领域的利害关系和发展速度，在人工智能方面，技术政策鸿沟需要比其他领域更快地弥合，”Jeremie说。“但美国政府也需要一个关于人工智能风险的技术性建议和分析来源，这些建议和分析独立于大型科技公司或具有意识形态偏见的团体。我们在这个领域没有看到任何组织，所以我们决定填补空白。
关于人工智能安全的不同观点
在与政策制定者的讨论中，Jeremie和Ed注意到对人工智能风险的看法发生了变化。在 ChatGPT 出现之前，政策制定者一直认真对待这个问题，并了解人工智能进步的技术驱动因素如何引入潜在的类似大规模杀伤性武器的风险，但不确定该怎么做。
“在此期间，我们可以从前沿人工智能安全研究人员那里获得报告，并将它们传达给基本上任何政策制定者，只要他们得到明确的解释，他们就会认真对待它们，”杰雷米说。
在ChatGPT之后，情况变得更加两极分化。
“这种两极分化可能导致错误的二分法。大型科技公司没有问'实现安全AGI系统以平衡收益和风险的最快方法是什么'，而是投资数十亿美元游说宽松的监管，而其他人则主张对人工智能的进步进行不切实际的句号，“Jeremie说。“这无疑使倡导认真对待风险的现实建议变得更加困难。在某种程度上，这并不是什么新鲜事：我们已经看到社交媒体出现了类似的问题，在这种情况下，我们必须把事情弄清楚。
该团队的下一个重大推动力将是加快向政策制定者通报工作，重点是国会和行政部门的行动与行动计划一致。
“我们将继续与前沿实验室的研究人员、人工智能安全和安保组织以及国家安全专家合作，以完善我们的建议，并可能在需要时更新我们的建议，”杰雷米说。
椰有料原创，作者：小椰子啊，转载请注明出处：http://www.studioyz.com/5752.html
文章评论