人工智能：应对AI数据困境：恰当的数据集成方法、治理和工具

应对 AI 数据困境恰当的数据集成方法、治理和工具专家洞察IBM 商业价值研究院主题专家Michael Haydock IBM 院士，IBM 全球企业咨询服务部副总裁兼首席科学家 mhaydock@us.ibm.comlinkedin.com/in/drmikehaydockSteven Eliuk IBM 全球首席数据办公室 (GCDO) 人工智能与治理自动化副总裁 Steven.Eliuk@ibm.comlinkedin.com/in/m3the01Michael 是知名的人工智能专家，在 IBM 全球企业咨询服务部 (GBS) 从事深度学习研究工作。他专攻数值优化和定量机器学习领域，应用这些呈指数级发展的技术理解客户关系以及优化企业供应链。Michael 拥有明尼苏达州明尼阿波利斯瓦尔登大学运筹学博士学位。Susara van den Heever云与认知软件专家实验室主任 svdheever@fr.ibm.comlinkedin.com/in/susaravandenheeverSusara 担任欧洲、中东和非洲专家实验室主任一职，工作重心是使用 IBM Cloud 和认知软件为客户创造价值。她的理想是借助数据和 AI 让世界变得更加美好。她帮助个人和企业提高效率、节省时间、更好地管理资源 — 甚至做出更好的环保选择。她曾供职于许多行业：帮助啤酒生产商创建更有效的供应链，确保为电信提供商公平分配带宽，帮助能源企业建立可持续生产，以及让城市更加宜居，等等。Susara 拥有卡内基梅隆大学化学工程专业博士学位。Steven 在 IBM 的认知型企业数据平台（数据湖）中领导 AI 平台和基础架构组件的开发。他还负责将企业中的 AI 应用于内部流程，保持可靠的治理、安全、隐私和信任水平。他的团队负责开发、维护和运营 IBM 的一系列全球隐私服务，包括满足 GDPR、CCPA 和其他法规的要求。在加入 IBM 之前，Steven 在三星美国研究院领导设计人工智能高性能计算 (HPC) 基础架构。Steven 拥有阿尔伯塔大学计算机科学专业博士学位。扫码关注 IBM 商业价值研究院官网微博微信公众号微信小程序要从 AI 中获得最大价值，就一定要从业务问题入手。然后寻找多种数据类型 — 结构化和非结构化数据、内部和外部数据、定性和定量数据，以解决问题并丰富解决方案。 融入基于权限的强有力治理，建立数据溯源能力，以形成对数据和 AI 洞察的信任。制定计划，应对严格的数据准备挑战以及合并不同数据源带来的复杂性。复用数据，自动执行流程并采用适当的工具。为什么大约一半的 AI 项目以失败告终？ 一言蔽之，数据使然。 要点AI 的独特数据挑战 人工智能 (AI) 不再是新生事物 — 量子计算才是。AI 正广泛应用于各种商业和社会用途。在疫情初期，84% 的组织预计将保持或提高对 AI 的关注度，近三分之一的组织因疫情直接增加 AI 投资。1 最近的一项调研表明，AI、物联网 (IoT) 和云计算是受访 CEO 们认为最有助于实现成果的 3 项技术。2 43% 的 IT 专业人员表示，他们的企业受疫情影响而加快部署 AI 解决方案。3这转化为企业对建立战略性 AI 能力（包括战略、运营模式、人才）以及将该能力整合到企业的迫切需求。但即使在完成有前景的概念验证 (PoC) 阶段之后，许多 AI 项目仍处于停滞状态。90% 的企业难以在整个企业中扩大 AI 的应用范围。4 大约一半的 AI 项目归于失败也就不足为奇了。5 为什么？一言蔽之，数据使然。超过半数的 AI 战略负责人承认，他们不清楚自己的 AI 数据需求。6 39% 的 IT 专业人员表示，分析数据以建立和扩展可信的 AI 是组织 AI 之旅中最困难的部分，32% 表示数据复杂性和数据孤岛是采用 AI 的最大障碍。7 1难怪超过一半的组织将数据视为 AI 项目停滞的罪魁祸首，他们将数据质量问题视为最主要的因素 (58%)，其次是缺乏整理有序的数据 (45%)，接下来是数据治理问题 (40%)。8 事实上，即便是高级数据能力的常见最佳实践对 AI 而言也是远远不够的。虽然 AI 可能只是数据的一个用例 — 尽管是重要用例，但需要将汲取的经验教训广泛应用于 AI 领域。AI 有几个特殊的数据考虑因素，会对实践起到重要作用： – AI 规模： 一般来说，对于 AI 而言，可用数据越多，结果的质量和准确性就越好。因此，AI 所需的数据量可能远高于某些高级分析。 – AI 速度： 必须使用最新数据，才能达到某些 AI 洞察和最佳预测所需的响应速度。有时甚至需要实时数据或非常接近实时的数据。 – 数据种类： 数据越多，而且是可增添背景信息的数据越多，AI 结果通常越好。然而，AI 模型的结果可通过操纵数据（恶意或无意）甚至只是广义的“数据漂移”来改变，因此确保所有数据得到正确处理至关重要。 – 数据质量： AI 对数据高度敏感，因此数据必须能够准确反映基本现实。 在某些情况下，AI 密切关注其他传统分析方法可能认为是异常情况的峰值，因此准确性非常重要。 – 人类观点： 人类如何看待数据 — 包括我们自己经验中的偏见和大脑“黑盒”中的不透明性 — 通常会影响数据使用方法。数据具有背景意义，因此必须结合背景查看和理解数据。如果没有适当的背景信息，可能会无意误用或误解数据。 然而，企业常常被这些复杂性所淹没，在应对数据挑战时受困于动机虽好但不一致的方法。 为了满足 AI 的独特数据需求，组织首先必须对试图解决的业务问题有着清晰的认识，然后运用务实的方法来解决这些问题。密切关注业务问题一些经过传统培训的数据专家仍然难以应付 AI，他们过分关注数据科学和工程的细节，也就是如何使用 AI。如果无法充分理解和考虑较大的业务问题，例如企业为什么使用 AI，那么概念证明和研究型项目可能会激增，但不会带来效益。此外，数据科学家和工程师往往倾向于采用“大数据解决方案”来解决业务问题，而这些问题有时可通过高质量、定位精确甚至定性式的“小数据解决方案”来解决。 团队首先需要回答两个基本问题：试图解决什么业务问题？如何最恰当地解决？有时，最复杂的 AI 可能并不是最佳答案（见图 1）。根据数据揭示的洞察以及 AI 建议或采取的行动，就可以明确何时以及如何干预业务工作流程。2 要快速取得成功，展示积极的业务成果，就必须始终关注于业务。 实现价值的务实方法鉴于数据对于 AI 的重要性，以及在获取、整合、准备和正确管理数据方面存在诸多挑战，许多组织都急于通过开展单一项目，整理组织内的所有数据。这通常包括将数据放入大型数据湖中，尝试一劳永逸地解决所有数据问题。当然，这基本上不可能取得成功。这种想法不切实际，因为其范围通常不明确，导致无法实现合理的投资回报 (ROI)。更重要的是，数据和企业的需求变化太快，无法完成如此庞大的工作。图 1需求匹配从 AI/分析“连续体”中选择适当的工具。高级/其他 AI 方法深度学习/机器学习随机优化优化预测性建模预测模拟警报查询/下钻专门报告标准报告人工智能规范性分析预测性分析描述性分析如何改进推理、解释、理解与信任并相应实现自动化？应该采取哪些措