人工智能行业迈向智能世界白皮书2024：数据存储，数据是数字化到数智化成功转型的关键要素

构建万物互联的智能世界数据存储迈向智能世界白皮书2024数据是数字化到数智化成功转型的关键要素序言：人类出现在地球上，已有数十万年的历史，但人类文明真正的高速发展时期也仅仅是最近几千年的时间。这里最关键的是纸张的出现，使得人类可以记录经验和知识，并借助纸张进行群体分享、学习、演进、发展，直接促进了人类社会文明的高速发展。值得一提的是，以前在中世纪欧洲采用羊皮进行重要文字的记录，当时一本书上千页，需要数百张羊皮来制作，是十分复杂和昂贵的，不利于知识的记录和传播。在人们发明以数字化形式保存和传播信息后，人类进入数字时代，而数字化形式的信息则被称为数据。因为数据可以被高效处理，这促进了数据爆发式增长。而数据存储作为保存数据的载体，如同新时代的“纸张”，开始加速人类文明的跃迁。我们是新时代的数据存储缔造者、完善者、创新者，制造出面向数字化世界的“新纸张”。缺数据，不 AI。伴随着 AI 大模型持续成熟并走向多模态，数据逐渐成为 AI 的关键，因为 AI是以电脑模拟人脑的思考方式、从海量数据中发现规律、总结知识，再将这些知识融入不同的业务场景，生成业务咨询师、编程机器人、智能客服等，让它们拥有自主学习的大脑并实现自我进化。人工智能角逐的决胜因素是数据的产生、保存和使用。华为公司在数据存储产业上的大规模投入超过十五年，产品已进入全球超过 150 个国家和地区，广泛服务于金融、运营商、政务、制造、电力、能源、医疗、科研教育、交通等多个行业，在全球拥有超过 26,000 家客户。通过与业界专家、客户和伙伴深入交流，我们编写了《迈向智能世界白皮书 2024- 数据存储篇》白皮书报告，结合数字化、智能化，展望数据存储在各行业中的发展趋势和挑战，并提供行动建议。我相信这是一次有意义的探索，将凝聚更多的产业力量共同推进数据存储产业的发展。过去三十年，新技术、新应用不断涌现，产生了海量数据。数据存储为这些数据提供了一个温馨的“家”，帮助这些新技术、新应用持续成长。华为数据存储产品线愿与社会各界更加紧密携手努力，汇聚产业力量，为更多新技术、新应用提供先进数据存力，共创数据存储美好未来。周跃峰华为数据存储产品线总裁Ⅰ1CONTENTS目 录6710131520232629一数字化快速走向数智化1.1 金融1.2 运营商1.3 政务1.4 制造1.5 电力1.6 科研教育1.7 医疗1.8 行业数智化：数据是关键01I 14序言目录执行摘要2CONTENTS392.3 数据效率：以高效数据访问使能高效数据处理，加速行业数智化33352.1 数据觉醒：充分发挥历史数据价值2.2 数据生成与合成：让数据为数智化而生二数据为纲：行业数智化呼唤高质量数据和高效数据处理02三数智化时代数据基础设施展望0354524942603.1 基于存算分离架构的 AI-Ready 数据基础设施3.2 全闪存助力高效数据处理3.3 存储内生安全成为基本需求3.4 AI 数据湖使能数据可视可管可用3.5 训 / 推一体机加速 AI 大模型落地行业应用3规模定律（Scaling Law）揭示了 AI 人工智能在当前深度学习算法框架下，算力和数据之间的关系：更强的算力加上更多的有效训练数据，可以得到更好的 AI 大模型。在规模定律的支持下，AI 大模型由单模态走向多模态，同时大模型能力和性能持续提升，这帮助了 AI 逐步走出中心训练、走向千行万业并得以应用，从办公辅助逐渐走向生产决策，从降低成本逐步走向增加效率，从管理当下逐渐走向预测未来，从高容错场景逐渐走向低容错场景，不断引发各行各业智能化转型和业务变革。在这个过程中，人们逐渐发现，进一步深化并加速业务数字化转型、以产生数量更多、类型更丰富的高价值数据，其重要性对于 AI 而言，不亚于唤醒历史沉睡数据。数字化和智能化以数据为纽带，相互促进、加速和融合，逐渐走向两者相结合的数智化，这对数据基础设施提出了新的更高要求，不断驱动着数据基础设施的演进。数智化将持续高速发展，并将实现通用人工智能，帮助人类进入一个全新的智能世界。面向未来，我们对数智化必不可少的数据基础设施进行如下展望：执行摘要AI 大模型走向多模态，算力集群规模和数据规模持续增长，只有算力和存力协同演进、算存比可基于 AI 发展进行灵活调整，才能有效降低系统管理难度、助力 AI 在实际业务场景发挥不可替代的作用。在 AI 大模型训练阶段，伴随 AI 算力集群规模增长，相邻训练中断的间隔时间越来越短，这带来了更加频繁的 Checkpoint 存档，也带来了更加频繁的断点续训，亟需加速数据访问性能以快速完成 Checkpoint 的保存于加载。与此同时，智能化升级也在加速数字化转型，进而产生更多的业务数据，增加了数字化基础设施处理数据的复杂度和压力。智能化升级过程中，一方面加速了数字化转型，产生更多高价值业务数据，另一方面降低了黑客门槛，让勒索攻击更加频繁。伴随 AI 算力集群规模增长，对海量多源异构数据的高效管理逐渐成为 AI 赛道的关键竞争力。数据地图绘制、数据归集、数据预处理等工作，是 AI 大模型训练首当其冲的要务。千行万业在尝试将 AI 落地到行业应用的过程中，发现面临基础设施部署、大模型选择、二次训练和监督微调等方面的困难。复用基础设施厂商和 AI 大模型厂商的能力，成为千行万业快速落地 AI 的关键。123454面向以 AI 大模型为代表的企业智能化新应用，新的数据基础设施架构也正在逐渐形成。为了构建 AI 大模型时代最佳的数据基础设施，我们建议：重视存算分离架构的灵活性和独立扩展，利用存算分离架构有效简化智算集群管理、让计算和存储分别按需扩展；关注横向扩展、性能线增、多协议互通等数智化时代数据基础设施基本能力。全闪存是数智化时代提升数据处理效率、满足业务需求的最优解，同时满足不断增长的数字化转型和日益深化的智能化变革；与此同时，配合向量 RAG、长上下文记忆存储等新兴数据范式，可以有效简化数据访问，实现以存强算，提升系统整体性能。不管是产生了更多数据的数字化，还是持续成长的智能化，均需要构建防治结合数据安全体系，从被动应对攻击走向主动全面防护。为 AI 算力集群建设 AI 数据湖底座，打破数据烟囱，实现数据的可视可管可用。针对 AI 大模型在行业场景的落地，用好训 / 推一体机，基于预集成了基础设施、工具软件等部件的一体化设备，并借助 AI 大模型供应商的系统集成能力，有效加速 AI 落地行业应用。123455数字化快速走向数智化0161956 年，人工智能（AI）被确立为一门学科。经过近 70 年的探索和发展，AI 进入了大模型时代，基于深度学习算法，通过大规模算力对海量数据进行学习和训练，从而得到较优的 AI 模型。今天，随着 AI 大模型能力和性能持续提升，AI 正逐渐由大模型中心训练走向行业应用，引发各行各业智能化转型和业务变革。在 AI 大模型时代，算力、算法、数据构成了大模型训练三要素。规模定律（Scali