尽管英伟达继续从其大量以生成式人工智能为重点的硬件和软件产品中赚钱，但在同一领域竞争的小型参与者还没有准备好屈服。举个例子：Hailo，一家总部位于以色列的初创公司，刚刚推出了一款用于边缘设备的新型节能一代 AI 加速器。
该处理器的正式名称为Hailo-10，旨在跨边缘设备（如汽车和商用机器人）部署一代AI应用程序，而无需依赖云数据中心。Hailo声称，这不仅有助于最大限度地提高设备上模型的性能，而且还可以在成本和节能方面带来显着的好处。
除了将于 2024 年第二季度出货的新一代 AI 芯片外，Hailo 还宣布已延长其 C 轮融资，额外投资 1.2 亿美元。Hailo 向 VentureBeat 证实，该轮融资由来自不同行业的新老投资者领投，对该公司的估值为 12 亿美元。
“新一轮融资的完成使我们能够利用我们管道中所有令人兴奋的机会，同时为我们未来的长期增长奠定基础。随着我们的Hailo-10 GenAI加速器的推出，它战略性地定位了我们将经典和生成式AI引入边缘设备，从而显着扩大这项非凡新技术的覆盖范围和影响，“Hailo联合创始人兼首席执行官Orr Danon在一份声明中说。
“我们设计Hailo-10是为了将GenAI功能无缝集成到用户的日常生活中，将用户从云网络限制中解放出来。这使他们能够利用聊天机器人、副驾驶和其他新兴的内容生成工具，具有无与伦比的灵活性和即时性，从而提高生产力并丰富生活，“他强调说。
对 Hailo-10 代 AI 加速器有什么期望？
从生成营销内容到与客户进行全面对话，生成式人工智能已经在企业的不同层面产生了重大影响。该技术正在不断发展，但其潜力尚未充分发挥的一个领域是边缘。想象一下，一个机器人像人类一样说话，在没有专门编程的情况下做人们要求的一切——Hailo 希望通过其新一代 AI 处理器将这样的功能变为现实。
虽然在云数据中心运行的 AI 硬件可以为边缘用例提供支持，但云计算的固有特性（需要将数据发送到远程服务器并在远程服务器中处理）可能会使其难以执行，应用程序有时会遇到延迟问题。Hailo-10 通过直接在目标设备上运行 gen AI 服务来弥合这一差距，从而增强其当前和未来的 CPU。
“无论用户使用Gen AI来自动化实时翻译或摘要服务，生成软件代码，还是从文本提示中生成图像和视频，Hailo-10都可以让他们直接在PC或其他边缘系统上完成，而不会使CPU紧张或耗尽电池电量，”Danon指出。
据首席执行官称，Hailo-10 以最佳性能成本比和性能功耗比运行边缘一代 AI 工作负载的能力是最大的亮点。新芯片使用与Hailo-8和Hailo-15捆绑的相同软件套件，可以在低于5W的功率下以每秒10个代币运行Llama2-7B。使用 Stable Diffusion 2.1 时，生成图像只需不到 5 秒，同时消耗的功率几乎相同。
“随着边缘的GenAI变得身临其境，重点转向以尽可能小的功率包络处理大型LLM——基本上不到5瓦，”Danon补充道。总体而言，该芯片能够提供高达 40 TOPS（每秒 tera 操作）的速度，Hailo 声称这是边缘 AI 加速器的新性能标准。
值得注意的是，Nvidia 的 Jetson 系列模块还可以处理边缘 AI 工作负载，性能高达 275 TOPS。但是，这也增加了功耗。Nvidia 针对入门级边缘 AI 应用程序的类似产品是 Jetson Orin Nano，它提供高达 40 TOPS 的 AI 性能，功率选项在 5W 到 15W 之间。
当 VentureBeat 谈到与同类 Nvidia 产品相比性能提升时，Danon 没有透露太多。然而，他确实指出，Hailo-10在推理方面比基于GPU的解决方案在成本和功耗方面都更有效，使其能够集成到更紧凑的边缘系统中。至于英特尔，Hailo 声称新处理器的性能至少是英特尔 Core Ultra NPU 的一半。
“我们相信，我们基于数据流的架构的独特优势，以更低的功耗和更低的成本提供高性能，以及对不同模式的各种基于人工智能的应用程序的广泛支持，使我们处于服务于新兴边缘人工智能市场的独特地位。我们是市场上唯一一家提供成熟硬件和软件堆栈的供应商，可以支持多个边缘平台，具有基于人工智能的高性能分析、生成式人工智能和基于人工智能的图像和声音增强，所有这些都只需几瓦的功耗，“他告诉 VentureBeat。
目标行业
当 Hailo-10 于 2024 年第二季度开始发货时，它将针对 PC 和汽车信息娱乐类别。目前尚不清楚它何时会被用于更广泛的应用，如人工智能驱动的机器人——这是英伟达已经在追求其GR00T项目的东西。
目前，Hailo 与计算、汽车、安全、工业 4.0、零售、医疗和其他领域的 300 家全球客户合作。这包括一些大公司，如NEC、博世、施耐德电气、戴尔、ABB和富士康。
椰有料原创，作者：小椰子啊，转载请注明出处：http://www.studioyz.com/5840.html
文章评论