AI21 Labs 使用 Jamba 为一代 AI 变形金刚注入活力

自 2017 年开创性的研究论文“注意力就是你所需要的一切”首次亮相以来，变形金刚的概念一直主导着生成式人工智能领域。

然而，变形金刚并不是生成式人工智能的唯一前进道路。 AI21 Labs 的一种名为“Jamba”的新方法看起来超越了变形金刚。Jamba 将基于结构化状态空间模型 （SSM） 的 Mamba 模型与 transformer 架构相结合，以创建优化的一代 AI 模型。Jamba 是 Joint Attention 和 Mamba （Jamba） 架构的首字母缩写词，旨在将 SSM 和 transformers 的最佳属性结合在一起。Jamba 在 Apache 2.0 许可下作为开源模型发布。

需要明确的是，Jamba 今天不太可能取代当前基于 transformer 的大型语言模型 （LLM），但它可能会成为某些领域的补充。根据 AI21 Labs 的说法，Jamba 在生成推理任务上的表现优于传统的基于 Transformer 的模型，这是由 HellaSwag 等基准测试衡量的。然而，它目前在其他关键基准测试上的表现并不优于基于 Transformer 的模型，例如用于解决问题的大规模多任务语言理解 （MMLU）。

Jamba 不仅仅是 AI21 Labs 的新侏罗纪作品

AI21 Labs 特别关注企业用例的 Gen AI。该公司在 2023 年 8 月筹集了 1.55 亿美元，以支持其不断增长的努力。

该公司的企业工具包括 Wordtune，这是一项优化服务，可帮助企业生成与组织基调和品牌相匹配的内容。A121 Labs 在 2023 年告诉 VentureBeat，它经常在企业业务方面与 Gen AI 巨头 OpenAI 竞争并直接获胜。

迄今为止，AI21 Labs 的 LLM 技术一直依赖于 transformer 架构，就像其他所有 LLM 一样。就在一年多前，该公司推出了 Jurassic-2 LLM 系列，该系列是 AI21 Studio 自然语言处理 （NLP） 即服务平台的一部分，也可通过 API 进行企业集成。

Jamba 不是侏罗纪的进化，它是作为混合 SSM 和变压器模型完全不同的东西。

注意力不是你所需要的全部，你还需要上下文

迄今为止，变形金刚已经主导了一代人工智能领域，但仍存在一些缺点。最值得注意的是，推理通常会随着上下文窗口的增长而减慢。

正如 AI21 Labs 研究人员所指出的那样，转换器的注意力机制会随着序列长度的增加而变化，并减慢吞吐量，因为每个令牌都依赖于它之前的整个序列。这将长上下文用例置于高效生产范围之外。

AI21 Labs 强调的另一个问题是缩放 transformer 的内存占用量大。Transformer 内存占用量随上下文长度而扩展，因此在没有大量硬件资源的情况下运行长上下文窗口或大量并行批处理具有挑战性。

上下文和内存资源问题是 SSM 方法希望解决的两个问题。

Mamba SSM 架构最初是由卡内基梅隆大学和普林斯顿大学的研究人员提出的，具有较少的内存要求和不同的注意力机制来处理大型上下文窗口。然而，Mamba 方法难以提供与变压器模型相同的输出电平。Jamba 混合 SSM Transformer 方法试图将 SSM 架构的资源和上下文优化与 Transformer 的强大输出能力相结合。

AI21 Labs 的 Jamba 模型提供 256K 上下文窗口，与 Mixtral 8x7B 相比，可以在长上下文中提供 3 倍的吞吐量。AI21 Labs 还声称 Jamba 是其尺寸级别中唯一在单个 GPU 上适合高达 140K 上下文的型号。

值得注意的是，就像 Mixtral 一样，Jamba 使用专家混合 （MoE） 模型。然而，Jamba 使用 MoE 作为其混合 SSM Transformer 方法的一部分，该方法允许极端优化。具体来说，根据 AI21 Labs 的说法，Jamba 的 MoE 层允许它在推理时仅利用其可用的 52B 参数中的 12B，这使得这些 12B 活动参数比同等大小的仅 Transformer 模型更有效。

Jamba 还处于早期阶段，它还没有成为 AI21 Labs 企业产品的一部分。该公司计划很快在 AI21 平台上提供指导版本作为测试版。

椰有料原创，作者：小椰子啊，转载请注明出处：http://www.studioyz.com/5798.html