PyTorch 2.0为开源机器学习带来新的力量

PyTorch 2.0为开源机器学习带来新的力量

经过几个月的预览,PyTorch 2.0 已由 PyTorch 基金会正式发布。

开源 PyTorch 项目是机器学习 (ML) 训练中使用最广泛的技术之一。PyTorch 1.0最初由Facebook(现为Meta)发起,于2018年问世,并受益于多年的渐进式改进。

2022 年 2 月,PyTorch 基金会成立,旨在实现更开放的治理并鼓励更多的协作和贡献。这项工作已经取得了回报,PyTorch 0.2022 的测试版将于 2 年 0 月进入预览版。PyTorch 428.<> 受益于 <> 个不同的贡献者,他们为开源工作提供了新的代码和功能。

性能是 PyTorch 2.0 的主要关注点,也是开发人员并不羞于推广的焦点。事实上,其中一个关键的新功能是加速变压器,以前称为“更好的变压器”。这些是现代大型语言模型(LLM)和生成式AI的核心,使模型能够在不同概念之间建立联系。

“我们对下一代PyTorch系列的重大性能增强感到特别兴奋,它使开发人员能够进行更大的创新,以塑造PyTorch的未来,”PyTorch基金会执行董事Ibrahim Haddad在给VentureBeat的书面声明中表示。

PyTorch 2.0 将如何加速 ML 格局

PyTorch 项目的目标是使最先进的转换器模型的训练和部署更容易、更快捷。

变形金刚是帮助实现现代生成人工智能时代的基础技术,包括 OpenAI 的模型,如 GPT-3(现在是 GPT-4)。在 PyTorch 2.0 加速转换器中,使用自定义内核架构为训练和推理提供了高性能支持,这种方法称为缩放点积注意力 (SPDA)。

由于有多种类型的硬件可以支持变压器,因此 PyTorch 2.0 可以支持多个 SDPA 自定义内核。更进一步,PyTorch 集成了自定义内核选择逻辑,该逻辑将为给定的模型和硬件类型选择性能最高的内核。

加速的影响并非微不足道,因为它有助于开发人员比以前的 PyTorch 迭代更快地训练模型。

“只需添加一行代码,PyTorch 2.0在训练变形金刚模型时提供了1.5倍到2.x之间的加速,”HuggingFace变压器的主要维护者Sylvain Gugger在PyTorch项目发表的一份声明中写道。“这是自引入混合精度训练以来最令人兴奋的事情!”

英特尔帮助领导改进 CPU PyTorch 的工作

在PyTorch 2.0的众多贡献者中,只有硅巨头英特尔。

英特尔开放生态系统副总裁兼总经理Arun Gupta告诉VentureBeat,他的公司非常支持开源软件和PyTorch转向Linux基金会托管的PyTorch基金会的开放治理模式。Gupta指出,英特尔是PyTorch的前三大贡献者,并且在社区中很活跃。

虽然AI和ML工作通常与GPU密切相关,但CPU也有作用,这一直是英特尔关注的领域。Gupta表示,英特尔领导CPU的TorchInductor优化。Gupta解释说,TorchInductor CPU优化使作为2.0版本一部分的新PyTorch编译器的优势能够在CPU上运行。

PyTorch 还集成了该项目称为 x86 CPU 平台统一量化后端的功能。统一的后端使 PyTorch 能够为训练平台选择最佳的量化实现。英特尔一直在开发自己的oneDNN技术,该技术也可用于竞争对手的开源TensorFlow ML库。新的统一后端还支持最初由Facebook / Meta开发的FBGEMM方法。

“最终用户的好处是他们只选择单个CPU后端,具有最佳性能和最佳可移植性,”Gupta说。“英特尔将编译视为一项强大的技术,即使在运行新的创新模型时,也能帮助 PyTorch 用户获得出色的性能。

椰有料原创,作者:小椰子啊,转载请注明出处:http://www.studioyz.com/2207.html

0

扫一扫,分享到微信

猜你喜欢

文章评论

电子邮件地址不会被公开。 必填项已用*标注

后发表评论

上一篇

MLOps 在整个企业中扩展 AI 的强大功能

下一篇

建筑师和工程师在 Nvidia Omniverse 中找到变革性解决方案

微信公众号

微信公众号