人工智能如何缓解这些数据管理困境

数据是新的石油，但原始数据本身并不好。与石油一样，数据资产必须完整准确地收集，并通过不同的炼油流程发送，为最终用户创造价值。这是通用数据生命周期——人工智能（AI）将在企业中发挥重要作用的领域。

最初，管理数据生命周期是一项足够小的任务，可以由专家团队手动处理。信息量并不多，来源屈指可数，可能的应用也很有限。但随着向云的过渡以及新来源的引入，数据的数量和多样性都激增。

“数据管理不再完全专注于关系数据，”Gartner的ITL数据和分析小组研究副总裁Adam Ronthal告诉VentureBeat。“文档、图形、时间序列、宽列、键值、账本和其他目标数据存储都为不同类型的数据和不同的用例提供了特定的优化。有时，这些组合在一个单一的数据管理平台中——多模型数据库;有时，它们仍然是最合适、最有针对性的单点解决方案。

信息量和多样性的增加使传统的数据管理方式变得无效。如今，一家单独选择、管理和优化（清理和增强）每个数据集组件的公司最终将浪费大量时间（仅清理和转换就可能需要数天或数周）和资金。

这种情况与雅虎使用人类专家手动评估和编目大量网页相当。该公司投入了大量资源，但只能评估互联网的一小部分，并且努力使评估保持最新。

将 AI 引入数据管理

正如谷歌凭借其自动化算法从雅虎手中接管了互联网主导地位，以更低的成本更快地评估网页一样，今天的人工智能将彻底改变数据生命周期。

根据Ronthal的说法，人工智能在数据管理中的应用依赖于元数据分析和激活。这允许模型检测数据使用与系统设计的偏差，并（理想情况下自动）纠正它们。这就是增强的数据管理：使用 AI/ML 来自动化和优化数据管理，使组织能够花更少的时间来管理和优化基础设施，而将更多的时间用于构建核心业务价值。

许多组织已经开始使用 AI 和 ML 驱动的技术来接触数据管理的各个组件，从而提高速度和成本效益。

例如，2023 年 500 月，Google 和 Aible（一家将 AI 优先方法引入数据旅程的公司）与一家财富 75 强企业合作，使其能够分析超过 100 个数据集，其中包含 150.80 亿个变量组合中超过 <> 亿行数据。总计算成本：<> 美元，不到传统方法成本的千分之一。

Aible 还与英特尔一起发布了 25 个案例研究，重点介绍了跨地区和垂直行业的企业如何在不到 30 天的时间内从人工智能中受益，并推动跨职能部门的价值。

总体而言，Ronthal指出，人工智能增强可以对数据管理的多个学科产生影响，包括：

• 元数据管理：在这里，AI 和 ML 可用于探索和定义数据的元数据，更快、更准确地评估元数据，减少冗余。同样，增强的数据管理功能可以在数据提取、访问和处理过程中自动对数据元素进行编目。
• 数据集成：AI 可用于通过推荐或部署重复的集成流（例如源到目标映射）来自动化集成开发过程。
• 数据质量：AI 和 ML 可用于扩展分析、清理、链接、识别和语义协调不同数据源中的主数据。
• DBMS：除了增强性能和基于成本的查询优化外，AI 和 ML 还可以自动执行许多当前的手动管理操作，包括管理配置、弹性扩展、存储、索引和分区以及数据库调优。
• FinOps：AI 和 ML 可以应用于预算和成本优化问题，并就资源使用情况、定价模型以及在高度互联的环境中进行更改的二阶和三阶效果提出建议。

IBM数据和人工智能产品管理主管Priya Krishnan强调了类似的应用。

“人工智能正被用于从各种来源摄取、识别和分类数据集，”她说。“它不断挖掘内容以揭示看不见的模式和趋势，为组织提供更高的可见性和可操作的见解，以帮助决策。企业正在使用 AI 来自动执行其他手动任务，例如数据捕获、重复数据删除、异常检测和数据验证。它们也是自动应用监管政策和道德标准的训练模型，确保这些原则从一开始就被嵌入。

一些障碍

虽然人工智能可以成为管理数据生命周期的便捷资源，但并非每个组织都有专门的专家数据科学家团队，他们可以构建负责任、安全、无偏见以及符合监管和道德原则的模型。

这就是公司应该尝试循环第二代工具的地方，这些工具可以使人工智能更容易实现数据准备、预测和预测等任务。

“你不再需要成为数据工程师或数据科学家来进行复杂的数据转换 - 你可以使用大型语言模型（LLM）生成它们，”无代码AI公司Akkio的首席运营官兼联合创始人Jon Reilly告诉VentureBeat，该公司最近推出了基于GPT-3的数据准备工具。

至于建立信任，Ronthal建议用“爬行，走路和跑步”的范式让人类处于循环中。

“从[AI]提出建议开始，这些建议由人类审查。如果这些是正确的并产生预期的影响，最终我们将建立信任并降低所需的监督水平。最终，我们将达到人工智能多次正确的地步，我们可以允许它以最少的监督自主地自动优化。成熟阶段可以大致描述为：观察、报告、推荐、优化和预测。最后三个是应用增强的地方，“他说。

椰有料原创，作者：小椰子啊，转载请注明出处：http://www.studioyz.com/2255.html