英特尔推出 Gaudi 3,以开放的生态系统在 AI 芯片领域挑战英伟达

英特尔推出 Gaudi 3,以开放的生态系统在 AI 芯片领域挑战英伟达

英特尔的下一代 AI 处理芯片就在这里。旨在使 AI 开发更直接、更快速、更可扩展。Gaudi 3 AI 加速器有望简化开发人员的工作流程,简化 AI 基础设施并加速企业中的 AI 工作负载。

尽管使用与其前身相同的架构,但该芯片预计将提供四倍的计算能力、两倍的网络带宽和 1.5 倍的 HBM 内存带宽,以处理不断增长的大型语言模型 (LLM) 规模,而不会降低性能。

Gaudi 起源于图形处理单元 (GPU),但其并行处理设计和跨芯片复制多个图块的能力使其成为 AI 加速器的理想选择。该芯片是英特尔在AI加速器领域与英伟达和AMD竞争战略的一部分。

五个月前,英特尔首席执行官帕特里克·基辛格(Patrick Gelsinger)在该公司的AI Everywhere活动中预览了Gaudi 3。虽然它今天正式推出,但该芯片将于 2024 年第三季度全面上市。然而,英特尔表示,一些客户已经收到了芯片样品。

“我们相信,生成式人工智能带来的大规模转型代表了计算的基础性转型,”英特尔副总裁兼数据中心人工智能解决方案战略总经理Jeni Barovian在新闻发布会上表示。她后来评论说:“Gaudi 3将提供构建未来人工智能系统所需的性能、可扩展性和效率。

英特尔高迪 3:规格和性能

英特尔哈瓦那实验室的首席运营官 Eitan Medina 将 Gaudi 3 AI 加速器描述为具有“异构计算机架构”。它具有 64 个 Tensor 处理器内核(第 5 代)、8 个矩阵数学引擎、128 GB HBM 容量 (3.7 TB/s)、96 MB SRAM (12.8 TB/s)、24 个 200 GbE RoCE 以太网端口和 PCIe 5。

基于 Gaudi 3 构建解决方案与 Gaudi 2 没有什么不同。Medina 解释说,英特尔将每个加速器的网络带宽增加了一倍,通常一个加速器包含八个加速器。它们还使用以太网在内部连接。“因此,根据工作负载的需求(用于推理、微调或训练),您可以构建任何规模的集群......使用以太网,您可以构建具有数千个 Gaudis 的机架和完整的集群。这就是我们客户今天正在做的事情。

以下是英特尔表示,与大规模部署的常用GPU相比,其最新芯片的性能如何:

训练时间

与 Nvidia 的 H100 GPU 相比,Gaudi 3 预计将比 Nvidia 的选项快 1.7 倍,后者是当今市场上最快的 GPU 之一,并运行 Llama2-7B、Llama2-13B 和 GPT 3-175B 等常见的大型语言模型。

推理

当使用 Llama-7B、Llama-70B 和 Falcon 180B 进行测试时,英特尔将 Gaudi 3 列为比 H100 快 1.5 倍。与 Nvidia 的 H200 相比,Gaudi 3 的速度提高了 1.3 倍。

用电量

英特尔声称 Gaudi 3 在进行推理时比 Nvidia 的 H100 能效高 2.3 倍。

性能效率

据报道,Gaudi 3 的性能效率高于 Nvidia 的 H100,这意味着它可以支持更长的输入和输出序列。梅迪纳透露,这是因为英特尔专门为人工智能设计了芯片。“我们在加速器中没有图形渲染架构的传统。我们能够设计出专为人工智能打造的计算引擎。

那么,为什么英特尔将 Gaudi 3 与 H100 和 H200 进行比较,而不是 Nvidia 在 3 月份推出的 Blackwell GPU?两者将如何相互竞争?

“我们非常有意地与公布的性能结果进行比较,”Barovian回应道。“对于竞争产品,数据表和其他宣传资料中肯定有说明的功能。但是,证据在于已发布的结果和客户看到的结果。使用英伟达和其他竞争对手实际发布的性能数据,我们可以最好地了解我们的产品与市场上其他解决方案的比较情况。

她补充说:“我们当然知道关于布莱克威尔的公告,我们期待看到已发布的性能结果,并自己访问这些平台,以便能够推动测量并将它们直接与高迪3今年的能力进行比较。

详细介绍 Gaudi 3 产品线

但 Gaudi 3 并不是英特尔宣布的唯一内容。它有三款新产品来补充其下一代芯片。第一个是英特尔 Gaudi 3 AI 加速卡 HL-325L,它符合 OAM 标准。Barovian 将其描述为“符合标准开放计算项目 OEM 2.0 标准的夹层卡外形尺寸中的系统设计人员”的产品,具有 1,835 个 TFLOP、128 GB HBM2e、3.7 TB/s HBM 带宽、8 个矩阵乘法引擎、24 个 200GbE RDMA NIC 和 1.2 TB/s 双向网络。

第二个是英特尔的通用基板 HLB-325,它具有 14.6 PFLOPS、超过 1 TB 的 HBM2e、29.6 TB/s 的 HBM 带宽、64 个矩阵乘法引擎、192 个 200GbE RDMA 网卡和 9.6 TB/s 的双向网络。

Gaudi 系列的第三款新产品是 PCI Express 附加卡,双插槽全高,长 10.5 英寸。它具有被动冷却、1835 TFLOPS、128GB HBM2e、600 瓦 TDP、8 个矩阵乘法引擎和 24 个 200GbE RDMA 网卡。

“千载难逢”的转型

英特尔的 Gaudi 3 是该公司解决企业客户担忧的战略的一部分。英特尔高级副总裁兼网络和边缘事业部总经理萨钦·卡蒂(Sachin Katti)声称,这是副驾驶的时代。对他来说,这代表着“一个彬彬有礼的帮手站在我旁边,回答问题并帮助我们更有效地完成任务。这就是我们今天所处的位置——你会看到各种各样的副驾驶,无论是软件工程、个人助理,还是生成 Word 文档......所有这一切都在发生。Katti指出,目前人工智能是在公共数据上训练的。

在未来的人工智能世界中,他相信人工智能代理将控制整个特定领域的工作流程,而不仅仅是帮助。“想象一下,在一家零售店担任收银代理的角色,一个为您处理许多复杂工作流程的助手。许多此类复杂的企业特定工作流程将变得自动化,我们称之为人工智能代理时代。Katti说,与今天不同的是,这个时代的人工智能将使用专有的非结构化企业数据进行训练。

所有这些都导致了由人工智能功能组成的未来,被描述为一个多个代理成为一个团队并相互交互的时代,“相互训练以接管整个部门的职能......这就是人工智能在企业中的发展速度。你可以想象这将产生怎样的变革性影响......”

他将人工智能对企业的影响称为“一代人一次的转型”。

但是,卡蒂认为,公司很难利用这项技术。一个障碍是当今对企业数据的感知。“它是专有的、安全的、保密的,[和]非结构化的。它并不都位于数据库中。事实上,大多数数据都是非结构化的。它存在于我们的电子邮件、相机、图片和录音中,而这些都不在任何数据库中,“他澄清道。“在过去的几十年里,企业已经想出了如何处理这些数据的方法。这种基础设施主要建立在 CPU 上,CPU 是操作系统数据库和记录供应商系统的开放生态系统,企业已经弄清楚了如何部署、管理 [和] 保护这些系统。

与人工智能相比,LLM在不断发展,每天都有新的模型出现。既有闭源的,也有开源的。然而,卡蒂质疑人们是否真的了解如何评估他们。此外,在训练数据方面,他透露大多数数据都是使用公共数据训练的,而不是特定领域的数据。

“我们必须弄清楚如何将这两个截然不同的世界结合在一起,”卡蒂建议道。“我们需要可访问的、有选择权的、提供机密性的计算基础设施。这需要拼接成可扩展的系统,以便各种规模的企业都可以选择他们需要的正确系统,而不是被迫进入他们不需要的垂直集成系统。它必须基于引用,以便许多合作伙伴可以将其组合在一起,而不是仅从一个供应商那里获得它。

他继续说道,“顶部的软件,尤其是人工智能软件,必须是安全和值得信赖的。它需要负责任,这样当企业部署人工智能时,他们才能确信这是不会产生幻觉的东西。这不是不会产生有偏见的结果的东西......最后,我们需要一个繁荣、开放的生态系统,使企业能够轻松实现任何人工智能的价值。任何系统集成商都应该能够将软件组件拼接在一起,并为这些企业构建定制解决方案,以便在其企业内部采用和加速人工智能。这才是我们真正关注的重点。

然而,这并不是英特尔的第一款人工智能产品。2023 年 1 月,它推出了代号为 Sapphire Rapids 的第 4 代至强可扩展处理器。该公司在2月份推出了用于企业PC的新vPro处理器,并推出了“Granite Rapids-D”Xeon处理器。它还拥有自己的计算机视觉平台Intel Geti,前身为Sonoma Creek。

将目光投向 Nvidia

英特尔押注高迪的能力将足够大,足以吸引客户远离英伟达。随着公司面临人工智能成本上升的问题,任何既能保持性能又能以更实惠的价格出售的东西都会很有吸引力。英伟达Blackwell平台的特性和功能对任何考虑人工智能的企业都很有吸引力,但价格标签是一个严重的威慑因素。英特尔认为其 Gaudi 3 产品将是一个可以接受的替代方案。

英伟达通过建立全栈一代人工智能生态系统,在人工智能领域取得了巨大的飞跃,一些组织可能会发现这是个好消息。其他人可能不想把所有的鸡蛋都放在一个篮子里。这似乎是英特尔所希望的——它可以提供类似的服务,但提倡一种开放的方法,即与行业领导者合作,大规模提供端到端的人工智能企业解决方案。它不是一个全英特尔的产品包。

此外,拥有与英伟达相同或更高水准的计算机芯片将使那些担心供应短缺的人放心。据估计,今年人工智能芯片市场规模为670亿美元,未来三年将达到1190亿美元,多家成功的芯片制造商仍有很大的空间。

“Gen AI 为我们提供了计算史上最大的技术拐点之一,而 Gaudi 3 将迎接这一挑战,”Barovian 承诺。“我们正在开发一款具有竞争力性能、能效和性价比的引人注目的产品。我们通过开放的方法、扩展人工智能系统的开放标准、开放软件来交付它,以确保在整个开发人员生态系统和企业用例中实现最广泛的覆盖。

椰有料原创,作者:小椰子啊,转载请注明出处:http://www.studioyz.com/5881.html

0

扫一扫,分享到微信

猜你喜欢

文章评论

电子邮件地址不会被公开。 必填项已用*标注

后发表评论

上一篇

在 Google Cloud Next 上公布的 5 大 Vertex AI 进步

下一篇

Assembly AI 声称其新的 Universal-1 模型的幻觉比 Whisper 少 30%

微信公众号

微信公众号