MLOps 在整个企业中扩展 AI 的强大功能

MLOps 在整个企业中扩展 AI 的强大功能

要说在整个企业中大规模实现人工智能具有挑战性,那就太轻描淡写了。

据估计,54% 到 90% 的机器学习 (ML) 模型从最初的试点开始就没有投入生产,原因包括数据和算法问题、定义业务案例、获得高管支持和变更管理挑战。

事实上,即使是拥有 ML 和人工智能 (AI) 专家和数据科学家的最先进的企业,将 ML 模型推广到生产中也是一项重大成就。

企业 DevOps 和 IT 团队尝试修改传统的 IT 工作流和工具,以增加模型提升到生产中的几率,但收效甚微。主要挑战之一是 ML 开发人员需要新的流程工作流和工具,以更好地适应他们的迭代方法来编码模型、测试和重新启动它们。

MLOps 的强大功能

这就是MLOps的用武之地:不到十年前,该战略作为一组最佳实践出现,以解决阻碍企业将AI付诸行动的主要障碍之一 - 从开发和培训到生产环境的过渡。

Gartner 将 MLOps 定义为一个全面的流程,“旨在简化 ML 模型的端到端开发、测试、验证、部署、操作化和实例化。它支持ML模型的发布、激活、监控、实验和性能跟踪、管理、重用、更新、维护、版本控制、风险和合规性管理以及治理。

管理模型以获得规模

Verta AI联合创始人兼首席执行官Manasi Vartak毕业于麻省理工学院,曾在麻省理工学院CSAIL领导机械工程本科生建立ModelDB,共同创建了她的公司,以大规模简化跨企业的AI和ML模型交付。

她的论文《模型管理和模型诊断的基础设施》提出了ModelDB,这是一个跟踪基于ML的工作流程的来源和性能的系统。

“虽然开发生产就绪代码的工具开发良好,可扩展且强大,但开发ML模型的工具和流程是新生和脆弱的,”她说。“在管理模型版本、重写生产研究模型和简化数据摄取的困难之间,开发和部署生产就绪模型对小型和大型公司来说都是一场巨大的战斗。”

她解释说,模型管理系统是在企业中大规模启动和运行MLOps的核心,增加了建模成功的可能性。模型的迭代很容易丢失,令人惊讶的是,尽管拥有庞大的AI和ML专家团队以及数据科学家,但仍有多少企业不进行模型版本控制。

建立可扩展的模型管理系统是在整个企业中扩展 AI 的核心。AI 和 ML 模型开发人员和数据科学家告诉 VentureBeat,从 MLOps 实现 DevOps 级收益的潜力是存在的;挑战在于迭代模型并更有效地管理它们,利用从每次迭代中吸取的经验教训。

VentureBeat看到了试验MLOps的企业的强劲需求。IDC 的预测支持了这一观察结果,即到 60 年,2024% 的企业将使用 MLOps 操作其 ML 工作流程。而且,德勤预测,MLOps 解决方案的市场将从 350 年的 2019.4 亿美元增长到 2025 年的 <> 亿美元。

提高 MLOps 的功能

使用新工具和工作流支持 MLOps 开发对于在整个企业中缩放模型并从中获得业务价值至关重要。

首先,改进模型管理版本控制对企业增长至关重要。MLOps 团队需要模型管理系统来集成或横向扩展,并涵盖模型暂存、打包、部署和在生产中运行的模型。我们需要的是能够跨 ML 模型生命周期大规模提供可扩展性的平台。

此外,组织需要更一致的模型操作过程。MLOps 团队和业务部门协同工作以实施模型的方式因用例和团队而异,从而减少了组织可以提升到生产中的模型数量。缺乏一致性促使 MLOps 团队采用更标准化的 MLOps 方法,利用持续集成和交付 (CI/CD)。目标是通过更彻底、一致的操作化流程,在每个 ML 模型的生命周期中获得更大的可见性。

最后,企业需要自动化模型维护以提高良率。模型维护的自动化程度越高,整个 MLOps 流程的效率就越高,模型投入生产的可能性就越高。MLOps 平台和数据管理供应商需要加速对更多角色的基于角色的支持,以便为客户提供更有效的管理和治理框架。

MLOps 供应商包括公共云平台提供商、ML 平台和数据管理供应商。公共云提供商AWS,Google Cloud和Microsoft Azure都提供MLOps平台支持。

DataRobot,Dataiku,Iguazio,Cloudera和DataBricks是数据管理市场中竞争的领先供应商。

LeadCrunch 如何使用 ML 建模来推动更多客户线索

基于云的潜在客户生成公司 LeadCrunch 使用 AI 和获得专利的 ML 方法来分析 B2B 数据,以确定最有可能成为高价值客户的潜在客户。

但是,ML 模型更新和修订速度很慢,公司需要一种更有效的方法来定期更新模型,以便为客户提供更好的潜在客户建议。LeadCrunch 的数据科学团队定期更新和完善 ML 模型,但由于有 10 多个子模型和不断发展的堆栈,实施速度很慢。新模型的部署每年只发生几次。

获得实验的概述也具有挑战性。每个模型的管理方式不同,效率低下。数据科学家很难全面了解正在进行的所有实验。这种洞察力的缺乏进一步减缓了新模型的开发。

部署和维护模型通常需要 LeadCrunch 工程团队花费大量时间和精力。但作为一家小公司,这些时间通常不可用。LeadCrunch评估了一系列MLOps平台,同时也了解了它们如何简化模型管理。经过广泛的搜索,他们选择了 Verta AI 来简化 ML 模型开发、版本控制、生产和持续维护的每个阶段。

Verta AI将LeadCrunch的数据科学家从跟踪版本控制和保持如此多的模型井井有条中解放出来。这使得数据科学家能够进行更多的探索性建模。在初始部署期间,LeadCrunch 还有 21 个痛点需要解决,Verta AI 在实施后立即解决了 20 个痛点。最重要的是,Verta AI 将模型生产速度提高了 5 倍,并帮助 LeadCrunch 实现了每月一次部署,而一年一次部署有所提高。

MLOps 的强大潜力

MLOps 以 DevOps 的规模和速度交付模型的潜力是继续投资于此过程的企业的主要动力。提高模型良率始于改进的模型管理系统,该系统可以从模型的每次重新训练中“学习”。

操作化过程需要更加标准化,CI/CD 模型不需要作为约束应用,而是作为 MLOps 实现其潜力的支持框架。

椰有料原创,作者:小椰子啊,转载请注明出处:http://www.studioyz.com/2210.html

0

扫一扫,分享到微信

猜你喜欢

文章评论

电子邮件地址不会被公开。 必填项已用*标注

后发表评论

上一篇

Aflac 接受索赔挑战以扩展 AI 工作

下一篇

PyTorch 2.0为开源机器学习带来新的力量

微信公众号

微信公众号