介绍变形金刚的具有里程碑意义的“注意力就是你所需要的”论文的八位作者中的七位今天在GTC大会上首次聚集在一起，与英伟达首席执行官黄仁勋（Jensen Huang）在座无虚席的宴会厅里聊天。
他们包括 Character.ai 的联合创始人兼首席执行官 Noam Shazeer;Cohere联合创始人兼首席执行官Aidan Gomez;Essential AI 联合创始人兼首席执行官 Ashish Vaswani;Sakana AI 联合创始人兼首席技术官 Llion Jones;Illia Polosukhin，NEAR Protocol 联合创始人;Jakob Uskhoreit，Inceptive联合创始人兼首席执行官;以及 OpenAI 的技术人员 Lukasz Kaiser。Essential AI 的联合创始人 Niki Parmar 无法出席。
2017 年，Google Brain 的八人团队凭借 Transformer 获得了金牌——这是神经网络 NLP 的一项突破，它比其前辈更准确地捕捉了单词的上下文和含义：递归神经网络和长短期记忆网络。Transformer 架构成为 GPT-4 和 ChatGPT 等 LLM 的基础，也是包括 OpenAI 的 Codex 和 DeepMind 的 AlphaFold 在内的非语言应用程序的基础。
“世界需要比变形金刚更好的东西”
但现在，《变形金刚》的创造者们的目光已经超越了他们所构建的东西——人工智能模型的下一步。Cohere的戈麦斯说，在这一点上，“世界需要比变形金刚更好的东西”，并补充说，“我认为我们在座的所有人都希望它能被一些能把我们带到新的性能高原的东西所取代。他继续问小组的其他人：“你看到接下来会发生什么？这是激动人心的一步，因为我认为（现在的情况）与六、七年前的情况太相似了。
在小组讨论结束后与 VentureBeat 的讨论中，戈麦斯扩展了他的小组评论，他说“如果 [变形金刚] 是我们能做的最好的，那将是非常可悲的”，并补充说，他从团队提交“注意力就是你所需要的”论文后的第二天就这么认为。“我希望看到它被其他10倍好的东西所取代，因为这意味着每个人都可以使用10倍好的模型。
他指出，变形金刚的内存方面存在许多低效率问题，变形金刚的许多架构组件从一开始就保持不变，应该“重新探索，重新考虑”。例如，他解释说，一个非常长的上下文变得昂贵且不可扩展。此外，“参数化可能不必要地大，我们可以进一步压缩它，我们可以更频繁地共享权重——这可能会使事情降低一个数量级。
“你必须明显地、明显地变得更好”
也就是说，他承认，虽然该论文的其他作者可能会同意，但戈麦斯说，“何时会发生不同程度的。如果它会发生，也许信念会有所不同。但每个人都想要一个更好的 - 就像，我们内心都是科学家 - 这只是意味着我们希望看到进步。
然而，在小组讨论中，Sakana的Jones指出，为了让AI行业在变形金刚之后进入下一件事——不管是什么——“你不仅要变得更好。——你必须清楚，明显更好......所以（现在）它停留在原始模型上，尽管从技术上讲，它可能不是现在最强大的东西。
戈麦斯对此表示同意，他告诉VentureBeat，变形金刚之所以如此受欢迎，不仅仅是因为它是一个很好的模型和架构，而且人们对此感到兴奋——他说，两者都需要。“如果你错过了这两件事中的任何一件，你就无法移动社区，”他解释说。“因此，为了促进从一种建筑转向另一种建筑的动力，你真的需要在他们面前放一些让人们兴奋的东西。
椰有料原创，作者：小椰子啊，转载请注明出处：http://www.studioyz.com/5792.html
文章评论