通过计算生成式 AI 部署遏制影子 AI

影子 AI 正在成为 IT 部门在如何部署和管理生成式 AI 服务方面苦苦挣扎的潜在棘手问题。组织负有部分责任，因为 45% 的企业没有制定正式的政策来管理 gen AI 的使用。

随着大型语言模型（LLM）的数量不断激增并变得更加可移植，挑战也越来越大。

如今，IT 人员可以从一系列公共云提供商或提供 API 访问权限的专家那里访问 LLM 和 GPU 即服务，以构建一代 AI 服务。随着这些 LLM 变得更小、更易于使用，很容易想象知识工作者只需在笔记本电脑上的下拉菜单中选择方式或对着智能手机说出命令，就可以创建自己的定制数字助理。

然后是更正

这就是当今影子人工智能的现状，它让人想起SaaS应用程序和公共云服务的兴起，其中IT领导者与业务领导者和开发人员在未经许可的情况下采购软件。

IT 领导者的反击方式是锁定影子 IT，或者与使用他们喜欢的应用程序和计算资源的员工保持不安的和平相处。有时他们两者兼而有之。

与此同时，另一种不合时宜的趋势出现了，先是缓慢，然后是一下子。云消费变得笨拙且成本高昂，IT 部门因配置错误和过度配置以及其他实施错误而搬起石头砸自己的脚。

正如他们在衡量投资与业务价值时经常做的那样，IT 领导者开始寻找减少或优化云支出的方法。

随着组织意识到应用程序可以在本地或其他云中运行得更好，重新平衡 IT 工作负载成为一种流行的路线修正。随着云供应商在数据出口费用上回溯，越来越多的 IT 领导者开始重新评估他们的立场。

毋庸置疑：公有云仍然是一个快速测试和部署应用程序并快速扩展以满足需求的良好环境。但它也使组织容易受到未经授权的工作负载的影响。

人工智能功能的日益民主化是 IT 领导者的治理噩梦。即便如此，CEO们对Gen AI服务很感兴趣，因此完全取消它们是不可能的。

相反，IT 领导者必须在培养员工的 Gen AI 计划与实施负责任的 AI 治理和护栏之间取得微妙的平衡，并且——这是关键——尊重预算。

为此，IT 领导者必须与业务领导者就正确的 AI 用例进行协作。这将包括双方的妥协，IT部门将淘汰一些一代AI服务，并对特定工具进行标准化。

IT 部门应评估每个用例，以确保在本地或托管环境中实现最佳成本和性能。有些可能在公有云环境中运行得更好;许多将在本地表现良好，他们也将受益于 IT 提供的保护。

在某些情况下，在本地部署 LLM 可以为 IT 节省一些宝贵的现金。

Enterprise Strategy Group 最近的一项研究发现，使用开源 LLM 在本地通过检索增强生成（RAG）运行推理（使 AI 模型能够做出预测的工作负载）比在公共云中运行它们或使用基于 API 的方法更具成本效益。

对于公有云比较，ESG进行了两项测试。它针对 Amazon Web Services EC2 测试了开源 Mistral 7B 模型的实例（即 70 亿个参数），发现它的成本效益提高了 38% 到 48%，随着用户群的增长，成本效益也在增加。

在第二次公有云测试中，ESG 比较了 700 亿参数的 Meta Llama 2 7B 实例与 AWS EC2 的推理，发现其成本效益提高了 69% 到 75%。

最后，ESG 还针对 OpenAI 的 GPT-4 Turbo（基于 API 的一代 AI 服务）测试了 Llama 2（70B 参数），该服务面向 50,000 名企业用户，发现它的成本效益提高了 81% 到 88%。

在本地部署一代 AI 服务不会完全遏制影子 AI，但它可以使其更易于管理。此外，IT 人员能够在自己的数据中心监控模型，从而更轻松、更快速地解决由奇怪和有缺陷的输出引起的问题。这凸显了将 AI 引入组织数据的价值。

现实情况是，组织可能会在各种其他环境中运行生成 AI 工作负载，包括公共云和私有云以及边缘。

决定在哪里部署 LLM 并不容易。这就是值得信赖的合作伙伴可以提供帮助的地方。为了帮助企业简化 AI 之旅，Dell Technologies 提供了针对 AI 优化的服务器、适用于现代工作场所的客户端设备和专业服务。

影子 AI 不是一个微不足道的挑战，但这并不能使它成为创建负责任的一代 AI 战略的破坏者。合适的合作伙伴可以照亮道路。

椰有料原创，作者：小椰子啊，转载请注明出处：http://www.studioyz.com/6010.html