这是生成式人工智能的又一个史诗般的一周：上周一，谷歌推出了类似洗衣清单的阵容，包括PaLM API和Google Workspace中的新集成。周二，OpenAI的GPT-4模型以及Anthropic的Claude意外发布。周四，微软宣布了Copilot 365，该公司表示将“改变我们所知道的工作”。
这一切都发生在OpenAI首席执行官Sam Altman周末发表评论之前，该评论承认，在发布GPT-4几天后，该公司实际上对这一切“有点害怕”。
到周五到来的时候，我已经准备好在人工智能的炒作中接受一些深思熟虑的现实。
回顾预示当前人工智能辩论的研究
我从 2021 年的一篇人工智能研究论文的作者那里得到了它，“关于随机鹦鹉的危险：语言模型会太大吗？
在它发表两年后 - 导致其两位作者，谷歌伦理研究员Timnit Gebru和Margaret Mitchell被解雇 - 研究人员决定是时候回顾一篇爆炸性论文了，现在似乎预示了当前围绕GPT-4等LLM风险的辩论。
根据这篇论文，语言模型是一个“系统，用于随意地将它在庞大的训练数据中观察到的语言形式序列拼接在一起，根据关于它们如何组合的概率信息，但没有任何意义参考：一只随机鹦鹉。
在论文的摘要中，作者表示，他们正在解决与大型语言模型相关的可能风险以及减轻这些风险的可用途径：
“我们提供的建议包括首先权衡环境和财务成本，投入资源来策划和仔细记录数据集，而不是摄取网络上的所有内容，进行前期开发练习，评估计划的方法如何适应研发目标并支持利益相关者的价值，并鼓励超越更大的语言模型的研究方向。
在其他批评中，该论文认为，为构建 GPT-3（最初于 2020 年发布）而挖掘的大部分文本来自不包括妇女、老年人和边缘化群体声音的论坛，导致不可避免的偏见影响建立在它们之上的系统决策。
快进到现在：GPT-4 发布时没有附加任何研究论文来分享有关其架构（包括模型大小）、硬件、训练计算、数据集构建或训练方法的详细信息。但在周末接受ABC新闻采访时，Altman承认了它的风险：
“我最想告诫人们的是，我们称之为'幻觉问题'，”奥尔特曼说。“该模型将自信地陈述事物，就好像它们是完全捏造的事实一样。
作者说，“随机鹦鹉的危险”比以往任何时候都更有意义
Gebru和Mitchell以及共同作者，华盛顿大学语言学教授Emily Bender和华盛顿大学计算语言学家博士生Angelina McMillan-Major周五领导了一系列虚拟讨论，庆祝原始论文，称为“随机鹦鹉日”。
“我看到所有这些努力都进入了越来越大的语言模型，论文中列出了所有的风险，有点忽略这些风险并说，但看，我们正在构建真正理解的东西，”Bender说。
在研究人员撰写《随机鹦鹉的危险》时，米切尔说，她意识到深度学习正处于语言模型即将起飞的地步，但仍然没有引用危害和风险。
“我当时想，我们现在必须这样做，否则引用就不会存在，”米切尔回忆道。“否则，讨论将朝着完全不同的方向发展，实际上不会解决甚至承认一些非常明显的危害和风险。
GPT-4 及以后的经验教训来自“随机鹦鹉的危险”
研究人员说，从原始论文中可以学到很多经验，人工智能社区今天应该牢记这些教训。“事实证明，我们遇到了现在正在发生的很多事情，”米切尔说。
Gebru说，他们没有看到的教训之一是培训ChatGPT和其他LLM所涉及的工人剥削和内容审核问题，这些问题在过去一年中被广泛宣传。
“这是我根本没有看到的一件事，”她说。“我当时没有想到这一点，因为我没有看到信息的爆炸式增长，这需要这么多人来缓和人们输出的可怕的有毒文本。
McMillan-Major补充说，她认为普通人现在需要了解这项技术，因为它已经变得无处不在。
“在论文中，我们提到了一些关于水印文本的事情，以某种方式我们可以把它说清楚，”她说。“这仍然是我们需要努力的事情 - 让普通人更容易理解这些事情。
Bender指出，她还希望公众更加意识到LLM中源数据透明度的重要性，特别是当OpenAI表示“不告诉人们这些数据是什么是一个安全问题”时。
她回忆说，在随机鹦鹉的论文中，作者强调，它可能被错误地认为“因为数据集很大，因此它具有代表性，并且是关于世界的基本事实。
椰有料原创，作者：小椰子啊，转载请注明出处：http://www.studioyz.com/2171.html
文章评论