模拟AI硬件有朝一日如何降低成本和碳排放

模拟人工智能（AI）硬件（而不是数字）能否利用快速、低能耗的处理来解决机器学习不断上升的成本和碳足迹问题？

研究人员说是的：NTT Research和康奈尔大学的研究科学家Logan Wright和Tatsuhiro Onodera设想未来机器学习（ML）将使用新颖的物理硬件进行，例如基于光子学或纳米力学的硬件。他们说，这些非常规设备可以应用于边缘和服务器设置。

深度神经网络是当今人工智能工作的核心，取决于GPU等数字处理器的大量使用。但多年来，人们一直担心机器学习的货币和环境成本，这越来越限制了深度学习模型的可扩展性。

例如，马萨诸塞大学阿默斯特分校2019年的一篇论文对训练几种常见的大型AI模型进行了生命周期评估。研究发现，该过程可以排放超过626,000磅的二氧化碳当量 - 几乎是美国普通汽车终身排放量的五倍，包括汽车本身的制造。

在19月<>日与NTT Research举行的VentureBeat Transform高管峰会上，首席执行官Kazu Gomi表示，机器学习不必依赖数字电路，而是可以在物理神经网络上运行。这是一种人工神经网络，其中物理模拟硬件用于模拟神经元，而不是基于软件的方法。

“使用模拟系统而不是数字系统的一个明显好处是人工智能的能源消耗，”他说。“消费问题是真实的，所以问题是有什么新方法可以让机器学习更快、更节能？”

模拟AI：更像大脑？

赖特指出，从人工智能的早期历史来看，人们并没有试图思考如何制造数字计算机。

“他们试图思考我们如何模仿大脑，这当然不是数字化的，”他解释说。“我脑海中有一个模拟系统，它实际上比今天的数字逻辑电路更有效地执行深度神经网络中的计算类型。

大脑是用于执行AI的模拟硬件的一个例子，但其他示例包括使用光学的系统。

“我最喜欢的例子是波，因为很多像光学这样的东西都是基于波的，”他说。“例如，在浴缸里，你可以把问题写成对一组数字进行编码。在浴缸的前面，你可以设置一个波浪，波浪的高度给你这个矢量X。你让系统发展一段时间，波传播到浴缸的另一端。一段时间后，你可以测量它的高度，这给了你另一组数字。

从本质上讲，大自然本身可以执行计算。“而且你不需要把它插入任何东西，”他说。

模拟 AI 硬件方法

整个行业的研究人员正在使用各种方法来开发模拟硬件。例如，IBM研究院已经投资了模拟电子技术，特别是忆阻器技术，以执行机器学习计算。

“这是非常有希望的，”小野寺说。“这些忆阻器电路具有在电子'流过'电路时自然计算信息的特性，使它们具有比数字电子设备低得多的能耗。

然而，NTT Research专注于一个更通用的框架，不仅限于忆阻器技术。“我们的工作重点是使其他物理系统，例如基于光和力学（声音）的系统，能够执行机器学习，”他说。“通过这样做，我们可以在生成信息的原生物理域中制造智能传感器，例如智能麦克风或智能相机。

包括Mythic在内的初创公司也专注于使用电子产品的模拟人工智能 - Wright说这是“伟大的一步，这可能是进入模拟神经网络的最低风险方式。但它也是渐进的，上限有限，他补充说：“如果硬件仍然基于电子设备，那么性能的提高只有这么多。

模拟AI的长期潜力

一些初创公司，如Lightmatter，Lightelligence和Luminous Computing，使用光而不是电子技术来进行计算 - 称为光子学。这是风险更大，不太成熟的技术，赖特说。

“但长期潜力更令人兴奋，”他说。“基于光的神经网络可能更节能。

然而，光和电子并不是你可以制造计算机的唯一东西，特别是对于人工智能，他补充说。“你可以用生物材料、电化学（比如我们自己的大脑）或液体、声波（声音）或机械物体来制造它，使最早的机械计算机现代化。

例如，麻省理工学院研究公司上周宣布，它有新的质子可编程电阻器，这是一个由模拟人工神经元和突触组成的网络，可以通过在复杂的层中重复可编程电阻器阵列来进行类似于数字神经网络的计算。他们说，他们使用了一种“在制造过程中实用的无机材料”，使他们的设备“比以前的版本快1万倍，这也比人脑中的突触快1万倍。

NTT Research表示，它正在从所有这些方法中进一步退后一步，并提出更大，更长期的问题：我们可以用什么制造计算机？如果我们想实现最高速度和能源效率的人工智能系统，我们应该用什么物理来制造它们？

“我们的论文通过告诉我们如何使用任何物理基质制造神经网络计算机，为这些问题提供了第一个答案，”洛根说。“到目前为止，我们的计算表明，制造这些奇怪的计算机有一天会变得很有意义，因为它们比数字电子产品甚至模拟电子更有效率。基于光的神经网络计算机似乎是迄今为止最好的方法，但即使是这个问题也没有完全得到答案。

模拟AI不是唯一的非数字硬件赌注

根据前谷歌大脑研究员萨拉·胡克（Sara Hooker）的说法，目前经营非营利性研究实验室Cohere的人工智能，人工智能行业“正处于这个非常有趣的硬件阶段”。

她解释说，十年前，人工智能的巨大突破实际上是硬件上的突破。“深度神经网络直到GPU才起作用，GPU用于视频游戏[并且]只是被重新用于深度神经网络，”她说。

她补充说，这种变化几乎是瞬间的。“一夜之间，一夜之间需要 13,000 个 CPU 需要两个 GPU，”她说。“这是多么戏剧化。”

她说，很可能还有其他代表世界的方式可能与数字一样强大。“即使这些数据方向中的一个开始显示出进展，它也可以解锁很多效率以及不同的学习表示方式，”她解释说。“这就是实验室值得支持它们的原因。

胡克在 2020 年的文章《硬件彩票》中探讨了各种硬件工具成功和失败的原因，他说 GPU 在深度神经网络方面的成功“实际上是一个奇怪、幸运的巧合——它赢得了彩票”。

她解释说，GPU从来不是为机器学习而设计的——它们是为视频游戏开发的。她说，将GPU用于AI用途在很大程度上“取决于硬件方面的进展与建模方面的进展之间的正确时机”。“提供更多的硬件选项是最重要的因素，因为它允许更多意想不到的时刻，你会看到这些突破。

然而，模拟人工智能并不是研究人员在降低人工智能的成本和碳排放方面的唯一选择。研究人员正在押注其他领域，例如现场可编程门阵列（FPGA）作为数据中心中特定于应用的加速器，可以降低能耗并提高运行速度。她解释说，也有改进软件的努力。

她说，模拟“是风险更大的赌注之一。

当前方法的到期日期

尽管如此，必须承担风险，胡克说。当被问及她是否认为大型科技公司正在支持模拟和其他类型的替代非数字人工智能未来时，她说：“百分之百。有一个明确的动机，“并补充说，缺乏的是长期硬件领域的持续政府投资。

“当投资完全取决于公司时，这总是很棘手，因为它风险太大了，”她说。“它通常必须成为民族主义战略的一部分，才能成为一个引人注目的长期赌注。

胡克表示，她不会将自己的赌注押在模拟AI硬件的广泛采用上，但坚持认为研究工作对整个生态系统有利。

“这有点像美国宇航局最初的月球飞行，”她说。“仅仅通过设定目标就能实现如此多的科学突破。

她警告说，该行业目前的方法有一个到期日：“该领域的人们有一种理解，即必须押注风险更高的项目。

模拟 AI 的未来

NTT研究人员明确表示，他们的模拟AI工作最早，最狭窄的应用至少需要5-10年才能实现 - 即使这样，也可能首先用于边缘等特定应用。

“我认为近期的应用将发生在边缘，那里的资源较少，你可能没有那么多的力量，”Onodera说。“我认为这确实是最有潜力的地方。

该团队正在考虑的一件事是哪种类型的物理系统将最具可扩展性，并在能源效率和速度方面提供最大的优势。但就进入深度学习基础设施而言，它可能会逐步发生，Wright说。

“我认为它会慢慢进入市场，一个多层网络，前端可能发生在模拟域上，”他说。“我认为这是一种更具可持续性的方法。

椰有料原创，作者：小椰子啊，转载请注明出处：http://www.studioyz.com/3937.html