企业如何使用开源 LLM：16 个示例

VentureBeat和其他专家认为，开源大型语言模型（LLM）可能会对企业中的生成式AI产生更强大的影响。

也就是说，比封闭模型更强大，比如 OpenAI 流行的 ChatGPT 背后的模型，或竞争对手 Anthropic。

但是，当您考虑实际部署的示例时，很难证明这一点。虽然开源模型正在进行大量的实验或概念验证，但很少有成熟的公司公开宣布他们已经在实际业务应用程序中部署了开源模型。

因此，我们决定联系主要的开源 LLM 提供商，以查找企业公司实际部署的示例。我们联系了Meta和Mistral AI，这是两家主要的开源提供商，以及IBM，Hugging Face，Dell，Databricks，AWS和Microsoft，它们都签订了分发开源模型的协议。

通过对这些公司的采访，我们发现存在几个最初的公开例子（我们发现了 16 个可命名的案例，见下面的列表），但现在还为时过早。行业观察人士表示，今年晚些时候病例数量将大幅上升。

开源 LLM 反馈循环的延迟

其中一个原因是开源在起跑线上进展缓慢。Meta 于 2023 年 2 月发布了第一个主要开源模型 Llama，距离 OpenAI 于 2022 年 11 月公开发布其 ChatGPT 模型已经过去了三个月。Mistral AI 于 2023 年 12 月发布了 Mixtral，这是根据许多基准测试表现最好的开源 LLM，所以就在一个月前。

因此，部署的例子现在才出现。开源的倡导者们一致认为，闭源模型部署的例子还有很多，但开源赶上闭源模型只是时间问题。

当今流通的开源模型存在一些局限性。软件工具初创公司 Replit 的首席执行官 Amjad Masad 在 Twitter 上发起了一个流行的帖子，内容是关于反馈循环如何无法正常工作，因为你不能轻易地为模型开发做出贡献。

但人们可能低估了开源模型的实验量，这也是事实。开源开发人员已经创建了数以千计的 Llama 等模型的衍生产品，包括越来越多的混合模型——并且它们在某些指标上稳步实现与封闭模型的对等甚至优势（参见 FinGPT、BioBert、Defog SQLCoder 和 Phind 等示例）。

大型公共模型本身对企业来说“几乎没有价值”

戴尔人工智能战略高级副总裁马特·贝克（Matt Baker）与Meta合作，帮助将Llama 2开源人工智能带给企业用户，他直言不讳地谈到了封闭模型的局限性：“大型公共模型本身对私营公司几乎没有价值，”贝克说。他说，由于试图提供一个非常普遍的模型，他们已经变得臃肿，但他们不允许企业用户轻松访问自己的数据。Baker 估计，组织执行的 AI 工作中约有 95% 是通过检索增强生成 （RAG） 等技术将数据注入模型所需的工作流程。即便如此，RAG 也并不总是可靠的。“很多客户都在问自己：等一下，我为什么要为对我的业务知之甚少的超大型模型付费？难道我不能只使用其中一个开源模型，顺便说一句，也许可以为该（信息检索）工作流程使用一个更小的开源模型吗？

Baker 说，许多企业公司正在构建和试验基于开源的客户支持和代码生成应用程序，以便与他们自己的自定义代码进行交互，这有时是 OpenAI 或 Anthropic 构建的一般封闭模型 LLM 无法理解的。这些公司优先考虑 Python 和其他流行的云语言，而牺牲了对传统企业代码的支持。

开源 LLM 部署速度慢的其他原因

Hugging Face可以说是最大的开源LLM基础设施提供商，成千上万的开发人员一直在下载LLM和其他开源工具，包括LangChain和LlamaIndex等库和框架，以开发自己的应用程序。Hugging Face的高管安德鲁·贾丁（Andrew Jardine）负责为希望使用开源LLM的公司提供建议，他表示，企业公司需要一段时间才能推进LLM应用程序，因为他们知道他们首先需要考虑对数据隐私、客户体验和道德的影响。公司通常从他们可以在内部与自己的员工一起使用的用例开始，只有在进行概念验证后才能部署这些用例。只有这样，大多数公司才会开始关注外部用例，在那里他们再次经历概念验证阶段。他说，直到 2023 年底，OpenAI 的封闭模型部署才会大量出现，因此他预计今年会出现开源部署。

不过，也有人说，企业公司应该远离开源，因为它的工作量太大了。他们说，从OpenAI调用API，它还提供按需云服务和赔偿，比不得不解决支持许可和其他使用开源的治理挑战要容易得多。此外，GPT 模型在各种语言中都表现得相当不错，而开源 LLM 则是命中注定的。

开放式与封闭式模型之间的二分法越来越错误，Hugging Face的Jardine说：“现实情况是，大多数人将同时使用开放式和封闭式。他提到了他最近与之交谈的一家大型制药公司，该公司在其内部聊天机器人中使用封闭式 LLM，但将 Llama 用于相同的用例，但会做一些事情，例如标记具有个人身份信息的消息。它之所以这样做，是因为开源让公司对数据有了更多的控制权。Jardine 表示，该公司担心，如果封闭模型 LLM 与敏感数据交互，这些数据可能会被发送回封闭模型提供商。

开源将迎头赶上的原因

其他模式的变化，包括成本和专业化，发生得如此之快，以至于大多数公司都希望能够在他们认为合适的不同开放和封闭模式之间切换，并意识到只依赖一种模式会让他们面临风险。例如，Jardine 说，如果模型提供商突然意外地更新了模型，或者更糟糕的是，未能更新模型以跟上时代的步伐，那么公司的客户可能会受到负面影响。他说，当公司担心控制对数据的访问时，以及当他们希望更好地控制用于特殊目的的模型微调时，他们通常会选择开源路线。“您可以使用自己的数据对模型进行微调，使其更适合您，”Jardine 说。

我们发现有几家公司，如Intuit和Perplexity，它们像上面提到的制药公司一样，希望在单个应用程序中使用多个模型，以便他们可以挑选对特定子任务有利的LLM。这些公司已经建立了生成式人工智能“编排层”，通过为正在完成的任务调用最佳模型来自主完成这项工作，无论是开放的还是封闭的。

此外，虽然如果大规模运行模型，最初部署开源模型可能会更加麻烦，但使用开源模型可以节省资金，尤其是在您可以访问自己的基础结构的情况下。“从长远来看，我认为开源可能会更具成本效益，仅仅是因为你没有为知识产权和开发的额外成本买单，”Jardine说。

他说，他知道有几家全球制药公司和其他科技公司在应用程序中部署开源模型，但他们正在悄悄地这样做。封闭式模型公司 Anthropic 和 OpenAI 的营销团队负责撰写和公开宣传案例研究，而开源公司则没有一个供应商跟踪这样的部署。

我们了解到有几家企业公司正在广泛试验开源 LLM，他们部署 LLM 只是时间问题。例如，汽车公司 Edmunds 和欧洲航空公司 EasyJet 正在利用 Databricks 的湖仓一体平台（现在包括 Dolly，一种支持开源 LLM 的方法）来试验和构建开源 LLM 驱动的应用程序。

定义开源部署示例的其他挑战

即使在这里定义真正的企业源示例也很棘手。大量开发人员和初创企业正在基于开源 LLM 构建任意数量的应用程序，但我们希望找到成熟公司将它们用于明显有用的项目的例子。出于我们的目的，我们将企业公司定义为拥有至少 100 名员工。

此外，我们寻找的例子是企业公司，这些公司主要是LLM技术的“最终用户”，而不是它的供应商。即使这样也会变得模糊不清。另一个挑战是如何定义开源。Meta 的 Llama 是最受欢迎的开源 LLM 之一，它有一个受限制的开源许可证：例如，只有它的模型权重在网上泄露。它没有发布其他方面，例如数据源、训练代码或微调方法。纯粹主义者认为，由于这个原因和其他原因，Llama 不应该被认为是适当的开源。（Meta 在 7 月发布了 Llama 2，这为商业许可开放了，而不仅仅是研究，但它仍然有一些限制）。

还有一些例子，比如 Writer，它开发了自己的 LLM 系列，称为 Palmyra，为人们快速和创造性地生成内容的应用程序提供动力。它拥有埃森哲、Vanguard、Hubspot 和 Pinterest 等企业客户。虽然 Writer 已经开源了其中两个模型，但其主要的 Large Palmyra 模型仍然关闭，并且是这些企业客户默认使用的模型——因此这些不是开源使用的示例。

有了所有这些注意事项，下面我们提供了我们通过报告能够找到的示例列表。我们确信还有更多。许多公司只是不想公开谈论他们正在用开源 LLM 或其他方式做什么。近几个月来，初创公司涌现出大量面向企业的新开源 LLM，包括 Deci 和 Together 的 Redpajama。甚至Microsoft，亚马逊的AWS和Google也进入了供应游戏，而像麦肯锡这样的顾问部分利用开放式LLM为客户构建应用程序 - 因此几乎不可能跟踪企业使用情况。许多企业强迫供应商签署保密协议。也就是说，如果我们听到这个故事的更多内容，我们会添加到这个列表中。

1. VMWare

VMWare 部署了 HuggingFace StarCoder 模型，该模型通过帮助开发人员生成代码来帮助提高开发人员的效率。VMWare希望自托管模型，而不是使用像Microsoft拥有的Github的Copilot这样的外部系统，这可能是因为VMWare对其代码库很敏感，并且不想为Microsoft提供对它的访问权限。

2.勇敢

这家以安全为重点的网络浏览器初创公司试图在隐私方面脱颖而出，并部署了一个名为Leo的对话助手。Leo 之前利用了 Llama 2，但昨天 Brave 宣布 Leo 现在默认使用 Mistral AI 的开源模型 Mixtral 8x7B。（同样，我们将此作为一个真正的例子，因为 Brave 拥有 100 多名员工。

3. 加布无线

这家强调安全保障的儿童友好型手机公司，使用Hugging Face的一套开源模型来添加安全层，以筛选儿童发送和接收的消息。这样可以确保在与他们不认识的人的互动中不会使用不适当的内容。

4. 富国银行

富国银行首席信息官 Chintan Mehta 在旧金山举行的 VentureBeat AI Impact Tour 活动中接受我采访时提到，富国银行已经部署了开源 LLM 驱动的，包括 Meta 的 Llama 2 模型，用于一些内部用途，我们重点介绍了生成式 AI 在工作中应用的例子。

5. IBM公司

IBM 是一家生成式 AI 应用程序提供商，这些应用程序使用自己的名为 Granite 的 LLM，但也利用了 Hugging Face 和 Meta 的开源 LLM。但是，将 IBM 排除在已部署应用程序的真正用户列表中是不公平的。其 285,000 名员工依赖于该公司的 AskHR 应用程序，该应用程序可以回答员工在各种人力资源事务上的问题，并建立在 IBM 的 Watson Orchestration 应用程序之上，该应用程序利用开源 LLM。

就在上周，IBM宣布了其新的内部咨询产品Consulting Advantage，它利用了由Llama 2驱动的开源LLM。这包括由 IBM 的 wasonx 平台提供支持的“助手库”，并协助 IBM 的 160,000 名顾问为客户设计复杂的服务。

最后，IBM Consulting 生成式 AI 全球管理合伙人 Matt Candy 在接受 VentureBeat 采访时表示，IBM 的数千名营销员工也使用 IBM 的开源 LLM 驱动的营销应用程序来生成内容。他说，虽然该应用程序去年处于概念验证阶段，但它已经投入到整个营销部门的特定部门的部署中。该应用程序使用Adobe Firefly进行图像生成，但“通过我们正在训练和调整的LLM，以成为品牌大脑”，Candy说。他说，该应用程序了解IBM的角色指南，品牌的语气和活动指南，然后为子品牌和IBM运营的不同国家创建内容的衍生品。

6. 格莱美奖

IBM昨天还宣布了一项协议，为格莱美奖的所有者唱片学院提供一项名为AI stories的服务，该服务利用在IBM Wastonx.ai 工作室上运行的Llama 2，帮助该组织生成自定义的AI生成的见解和内容。该服务已从艺术家及其作品的相关数据集中矢量化数据，以便 LLM 可以通过 RAG 数据库检索数据。然后，粉丝将能够与内容互动。

7-9 大师赛、温布尔登网球公开赛和美国网球公开赛：

IBM的Candy说，IBM使用开源LLM帮助所有这些组织生成相关体育赛事的口头语音和评论，并找到视频集锦。IBM 技术帮助这些体育赛事公司说出关键信息，如盘子、面部手势和人群噪音，从而在整个比赛中创建兴奋指数。

10. 困惑

这家炙手可热的创业公司通过使用LLM来重塑搜索体验，它只有50名员工，但刚刚筹集了7400万美元，并且几乎不可避免地要达到100人。虽然它不符合我们对企业的定义，但它足够有趣，值得一提。当用户向 Perplexity 提出问题时，其引擎使用大约六个步骤来制定响应，并且在此过程中使用多个 LLM 模型。Perplexity 使用自己定制的开源 LLM 作为倒数第二步的默认设置，员工 Dmitry Shevelenko 说。该步骤总结了 Perplexity 发现对用户问题有响应的文章或来源的材料。Perplexity 基于 Mistral 和 Llama 模型构建了模型，并使用 AWS Bedrock 进行微调。

舍维连科说，使用骆驼至关重要，因为它可以帮助困惑掌握自己的命运。他说，在OpenAI模型上投资微调模型是不值得的，因为你不拥有结果。值得注意的是，Perplexity 还同意为 Rabbit 的新袖珍型 AI 小工具 R1 提供支持，因此 Rabbit 还将通过 Perplexity 的 API 有效地使用开源 LLM。

11. 网络代理

这家日本数字广告公司使用戴尔软件提供的开源 LLM 来支持 OpenCALM（开放 CyberAgent 语言模型），这是一种通用的日语语言模型，可以根据用户的需求进行微调。

12. 直觉

Intuit 是 TurboTax、Quickbooks 和 Mailchimp 等软件的提供商，很早就构建了自己的 LLM 模型，并在 LLM 组合中利用开源模型来驱动其 Intuit Assist 功能，该功能可帮助用户完成客户支持、分析和任务完成工作等工作。Intuit 高管 Ashok Srivastava 在接受 VB 采访时表示，该公司的内部 LLM 建立在开源之上，并使用 Intuit 自己的数据进行训练。

13. 沃尔玛

这家零售巨头已经构建了数十个对话式人工智能应用程序，包括一个聊天机器人，沃尔玛的一百万员工与之互动以提供客户服务。沃尔玛全球科技公司新兴技术副总裁 Desirée Gosby 告诉 VentureBeat，该公司使用 GPT-4 和其他 LLM，以便“不必要地将自己锁定在里面”。戈斯比说，沃尔玛的努力始于使用谷歌的BERT开源模型，该模型于2018年发布。

14.Shopify的

Shopify Sidekick 是一种人工智能驱动的工具，它利用 Llama 2 帮助小企业主自动执行管理其商务网站的各种任务，例如生成产品描述、响应客户查询和创建营销内容。

15. 莱瑞斯

这家总部位于美国的人才匹配初创公司使用基于 Llama 的聊天机器人，该聊天机器人像人类招聘人员一样进行交互，帮助企业从非洲各行各业的高质量个人资料中寻找和雇用顶尖的人工智能和数据人才。

16. 尼安蒂克

Pokemon Go 的创建者推出了一项名为 Peridot 的新功能，该功能使用 Llama 2 为游戏中的宠物角色生成特定于环境的反应和动画。

椰有料原创，作者：小椰子啊，转载请注明出处：http://www.studioyz.com/5431.html