苹果的新人工智能研究承诺在不高价的情况下实现高性能

语言模型是强大的工具，可以为各种任务生成自然语言，例如总结、翻译、回答问题和撰写论文。但它们的训练和运行成本也很高，特别是对于需要高精度和低延迟的专用域。

这就是苹果最新的人工智能研究的用武之地。这家iPhone制造商刚刚发布了人工智能领域的重大工程突破，创建了语言模型，在有限的预算内提供高水平的性能。该团队的最新论文“Specialized Language Models with Cheap Inference from Limited Domain Data”提出了一种具有成本效益的人工智能开发方法，为以前因复杂人工智能技术的高成本而被边缘化的企业提供了一条生命线。

这一新发现迅速引起了人们的关注，包括Hugging Face的Daily Papers的一篇专题报道，它消除了经常笼罩在新AI项目上的财务不确定性。研究人员已经确定了四个成本领域：预训练预算、专业化预算、推理预算和域内训练集的大小。他们认为，通过明智地驾驭这些费用，人们可以构建既实惠又有效的人工智能模型。

开创低成本语言处理

正如该团队所描述的那样，困境在于“大型语言模型已经成为一种多功能工具，但很难应用于缺乏大量推理预算和大型域内训练集的任务。他们的工作通过提供两种截然不同的途径来回应：为那些拥有大量预训练预算的人提供超网络和专家组合，以及为预算紧张的环境提供较小的、有选择地训练的模型。

在这项研究中，作者比较了机器学习文献中的不同方法，如超网络、专家混合、重要性抽样和蒸馏，并在三个领域对其进行了评估：生物医学、法律和新闻。

他们发现，根据设置的不同，不同的方法效果更好。例如，超网络和专家混合对于大型预训练预算具有更好的困惑性，而在重要性采样数据集上训练的小型模型对于大型专业化预算具有吸引力。

本文还为为给定领域和预算选择最佳方法提供了实用指南。作者声称，他们的工作可以帮助“使语言模型对更广泛的应用程序和用户更容易访问和有用”。

用精打细算的模式颠覆行业

这篇论文是关于如何使语言模型更高效和适应性更强的研究的一部分。例如，Hugging Face是一家为自然语言处理提供开源工具和模型的公司，最近与谷歌发起了一项计划，使用户更容易为各种领域和语言创建和共享专门的语言模型。

虽然需要对下游任务进行更多评估，但该研究强调了企业在重新训练大型人工智能模型与适应更小、更高效的模型之间面临的权衡。通过正确的技术，这两种途径都可以带来精确的结果。简而言之，该研究得出的结论是，最好的语言模型不是最大的，而是最合适的。

椰有料原创，作者：小椰子啊，转载请注明出处：http://www.studioyz.com/5478.html