对于数据科学家来说，人工智能和复杂神经网络的原始潜力从一开始就很明显，或者接近它。但直到过去五年，设备硬件才变得足够复杂，可以兑现全部承诺，并将人工智能一路带到边缘。设备上的 AI 使 AI 成为消费者的现实。现在，各种尺寸的设备，即使电池容量较低，也能够处理功能强大、节能的设备端神经网络。这是从云计算的演变，将推理权带到源头。
“我们花了近十年的时间研究如何使人工智能在边缘发挥最佳作用，”高通技术公司产品管理高级副总裁Ziad Asghar说，“由此，我们开发了能够对任何给定功率进行更多推理的硬件，以及人工智能软件堆栈（Qualcomm AI Stack）和工具，使互联智能边缘栩栩如生。
升级 AI 用例并解锁新用例
人工智能用例已经进入了设备——人工智能增强的图片和视频、基于 AI 的语音助手、更好的声音和语音质量、实时语言翻译等都通过连接和数据处理得到了显着改善，而众多全新的用例刚刚开始在边缘的所有设备上通过摄像头、游戏、传感器和连接性广为人知。
在面向消费者的一面，用例涵盖了从智能手机、XR、计算和耳塞到互联智能汽车和智能家居的所有内容。在业务方面，他们支持工业和制造领域的数字化转型、互联医疗保健以及公司在快速变化的环境中保持竞争力所需的人工智能软件工具和平台的飞跃。
Asghar将互联智能边缘本身描述为一个具有多个节点或不同产品的网络，许多新的可能性在于这些设备云。例如，在智能家居中，这可能包括安全摄像头、车库中的汽车、电器、PC、移动设备和平板电脑，所有这些都具有一定程度的人工智能处理能力。
这些安全摄像头可能会识别家庭成员，以便打开前门的智能锁并激活环境控制。但是，互联智能边缘还在整个网络中传播AI，以便以最佳精度和最佳功耗处理用例。如果一个产品没有足够的处理能力，则可以将其交给功能更强大的设备。
例如，安全摄像头将可能的误报转移到可以处理异常和更复杂的事件的装置上。数据永远不会离开设备或本地网络，因此可以确保隐私。在设备上处理延迟敏感型用例意味着实时结果和更好的消费者体验。
专门构建的 AI 硬件和开发人员工具
“从人工智能开发人员的角度来看，他们想要一款在性能和功率方面表现出色的产品，”Asghar说。“这意味着您需要一流的底层硬件功能。
这意味着对任何给定的功率进行更多的处理。它还意味着能够快速编写软件并更快地获得产品，因为上市时间是关键。同时，开发人员需要灵活地使用他们熟悉的 AI 框架，以及进一步优化和提高性能的工具。在硬件方面，高通为Hexagon处理器提供了三个加速器（标量，矢量和张量），允许开发人员从直接映射到神经网络的设置方式一直到完全连接层。
在最近的骁龙峰会上，高通发布了几个重要的AI公告，其中包括相当大的硬件改进，包括将Snapdragon 8 Gen 2 AI性能提升了4.35倍。这是第一个可以进行整数 4 位 （INT4） AI 推理的边缘商业设计，这意味着相同的计算需要更少的位，并且在保持准确性的同时消耗更少的能量。
该公司还宣布了一项名为微瓦推理的新技术，该技术将神经网络分解成许多小块，以便可以一次处理所有内容，而不是逐层处理，并且非常有效，节省了大量电力。
就在MWC之前，该公司宣布能够在由Snapdragon 8 Gen 2提供支持的参考设备上运行Stable Diffusion，这是一种文本到图像的AI模型。通常，使用稳定扩散生成图像需要在云中具有大量的计算能力，但由于高通科技的AI研究和Snapdragon 8 Gen 2上的设备上AI的强大功能，他们不仅能够优化，量化和部署这些大型模型使用高通AI Stack到设备上，而且他们能够在几秒钟内运行这些模型。这是当前功能的重大飞跃，将允许大规模AI模型在设备上本地运行，这意味着更好的便利性，省电，安全性等。
但是，Asghar说，拥有出色的AI硬件是不够的。随着公司不断优化其硬件，他们专注于同时升级软件和工具。例如，精度损失历来是将 32 位浮点运行的网络减少到 64 位的主要挑战。现在，Qualcomm AI Studio 提供了即使在整数 INT 下也能保持精度所需的工具，将功耗降低了 <> 倍，并呈指数级增长，可以在同一功率范围内运行的神经网络数量呈指数级增长。这对于在边缘进行 AI 处理至关重要。
“Qualcomm AI Stack的巨大好处是使人们能够轻松有效地使用Qualcomm技术，而无需进行大量的设置工作，”他解释道。“现在，我可以将移动模型带到安全摄像头应用程序，而无需做新的工作。为什么？因为它是我们所有产品中相同的AI堆栈。这实际上是创造一次，然后带到任何地方的概念。
高通AI堆栈支持流行的AI框架和运行时，并提供开发人员库和服务。该公司在此基础上为其产品线构建了SDK，例如，用于汽车的Snapdragon Ride，用于物联网处理的智能多媒体SDK，Spaces（用于AR眼镜的Snapdragon Spaces XR开发人员平台的一部分）等等，包括专注于特定垂直领域的SDK。
例如，在Snapdragon Spaces中，高通公司直接在平台中内置了AR特定功能，用于注视点渲染，空间3D重建，平面检测等手部和眼睛跟踪。使用 AR 或 VR 创建新用例的开发人员可以拾取这些例程和其他预先构建的部分，并在其上构建最终产品，并更快地获得成品。
最近发布的Qualcomm AI Studio将所有AI堆栈工具整合到一个新的GUI中，以及可视化工具，以简化开发人员体验，并提供查看从模型设计到优化再到部署和分析的完整模型工作流程的能力。
“如果你在边缘做任何事情，在有限的功率包络或外形尺寸中，那么真正让你将其投入生产的最佳技术是基于高通，”他说。“通过Qualcomm AI堆栈，我们希望使开发人员能够尽可能轻松地部署他们的项目并快速进入市场。
椰有料原创，作者：小椰子啊，转载请注明出处：http://www.studioyz.com/2286.html
文章评论