华为云昇腾AI云服务行业：6A云化算力底座

华为云昇腾AI云服务6A FAMILY 云化算力底座目录大模型为 AI 产业带来拐点 03Sora 的出现再次印证 Scaling law，大模型创新需要澎湃算力支撑 04大模型引发全球算力需求的指数级增长 02大模型是人类迄今为止最复杂的软件、硬件系统 06昇腾 AI 云服务，大模型时代的最佳云化全栈算力服务 07满足多样化算力使用模式 08满足多样化算力管理模式 09满足多样化算力部署模式 10聚焦业务创新，企业需要全栈算力服务 05AI Gallery：一站式 AI 社区服务平台，构建百模千态的开放昇腾社区 23D-Plan：生态伙伴计划 24昇腾云服务开放兼容支持百模千态 22FAMILY昇腾云服务打造 6A 算力沃土 11昇腾 AI 云服务打造 6A 算力沃土，构建百模千态首选云底座 12故障恢复快 Fault recovery Acceleration 13资源获取快 Access Acceleration 14模型迁移快 Migration Acceleration 15云上推理投资优 Investment Advantage 17就近服务时延优 Latency Advantage 19云上性能优 Yield Advantage 21FAMILY昇腾 AI 云服务 — 全球行业先行者 26客户案例 2601华为云昇腾AI云服务大模型引发全球算力需求的指数级增长大模型引发全球算力需求的指数级增长02华为云昇腾AI云服务大模型引发全球算力需求的指数级增长AI技术里程碑AI产业发展浪潮AI重点事件里程碑感知理解世界，专用领域替代低端重复性工作生成创造世界，通用领域替代较高端脑力劳动工作1956 年达特茅斯会议1997 年“深蓝”战胜人类2015 年视觉识别超过人类2020 年蛋白质结构预测2022 年ChatGPT……专家系统视觉识别，翻译内容生成，预测ChatGPTGPT4Gemini…控制论深度学习GANAI4SNLPCV大模型为 AI 产业带来拐点从“感知”走向“生成”，从专用走向通用人工智能产业发展经历三次浪潮。最近的一次是以 Transformer 架构为代表的大模型，生成式 AI 的兴起，将我们带入新的 AI 产业浪潮之中。大模型是人工智能历史的分水岭，此前，人们更多关注和讨论的是机器如何感知世界，例如识别日常生活中的各种物体 ；而现在，人类则进入到通过大模型的生成能力创造数字世界，预测未来趋势。通过对海量数据的预训练，大模型可以在超高维度空间上对人类全部知识进行高度压缩，进行微调就可以完成多个应用场景任务的泛化，模型正在从专用走向通用。随着人工智能技术的日新月异，AI 将进一步驱动各行各业生产能力、生产效率从“量变到质变”，实现跨越式发展和新质生产力跃升，如何用好 AI 将成为国家、行业、企业的核心竞争力。03华为云昇腾AI云服务Sora 的出现再次印证 Scaling law，大模型创新需要澎湃算力支撑大模型的爆发引发全球算力需求的指数级增长。2024 年基于扩散的视频生成模型 Sora 的出现，其革命性的视频生成能力，不仅展示了 AI 在视觉内容创造上的突破，更预示着全球算力需求的新一轮激增。数据显示，过去10 年 AI 算力需求翻了 30 万倍。而未来 10 年 AI 算力将再增长 500 倍。数据集规模将从目前的一两个 T 增长到100T。此外，大模型还需要理解更长的上下文，Token 长度将从千级发展到十万级。视频生成类模型的算力消耗相比 LLM 提升 20 倍，意味着训练集群规模要扩大一个数量级。万卡训练集群将成为训练下一代生成式模型的必备条件。由于算力规模扩大，算力的调度和管理的难度将大幅提升，需要有一个算力平台可以整合管理，调度，自动故障隔离，checkpointing，自动任务恢复的任务。这些挑战相互影响、环环相扣。针对 AI 时代的这些挑战，华为云提出了软硬件结合的系统性创新，华为云昇腾 AI 云服务整合集群算力、计算引擎 CANN、AI 开发框架 MindSpore 和 ModelArts AI 开发生产线。为大模型的训练，推理，AI 应用的开发、运行提供稳定可靠的全栈算力保障。2012 年至 2023 年算力需求翻了数十万倍感知认知生成1e+41e+31e+21e+11e+01e-11e-21e-31e-4201220132014201520162017201820192020202120222023GPT-4ChatGPTGPT-3AlphaZeroTI7 Dota 1v1XceptionDeepSpeech2AlphaGoZeroVGGNeural Machine TranslationVisualizing and Understanding ConvNetsGoogleNetAlexNetSeq2SeqResNets数十万倍需求增长百倍级AI 算力增长数千倍差距模型规模及发布时间Source: Factorial Funds AI inference compute comparisonSORA 所消耗的算力相比LLM 类模型要大数个量级推理消耗算力对比 FLOPS1025102310211019101710150.81.00.60.40.20.0Sora (1 min video)GPT-4 (1000 text tokens)LLama-2 70B (1000 text tokens)DiT-XL/2 Image Generation (512x512px images)大模型引发全球算力需求的指数级增长04华为云昇腾AI云服务聚焦业务创新，企业需要全栈算力服务聚焦业务创新，企业需要全栈算力服务05华为云昇腾AI云服务大模型是人类迄今为止最复杂的软件、硬件系统大模型是一个复杂系统工程，大模型开发的每一步都存在着大量的工程化技术挑战。算力系统也并非算力的简单堆积，需要解决诸如低时延数据交换，节点之间均衡计算避免冷热不均，消弭算力堵点。避免出现单点硬件故障导致的全面训练中断、梯度爆炸、算法重训等一系列的问题，是一项复杂的系统工程，需要从算力效率、线性扩展、长效稳定等多个方面进行系统设计。而云化的全栈算力服务由于积累了足够多的模型训练，运维经验，以服务的方式让企业使用到最新的经验，技术成果，避免重复解决问题，让企业得以聚焦创新。大模型不仅需要算法，而且需要数据处理，软硬件优化、模型开发、应用创新、推理部署的系统工程能力业务规划应用发布压缩 / 转换优化 / 部署一 . 数据 & 模型准备1. 数据处理5. 推理部署6. 集成2. 模型设计3. 算力准备& 系统调优4. 大规模训练 & 微调二 . 算力准备 & 模型训练三 . 推理部署 & 集成公共开放数据处理行业特征工程模型架构设计超参定义和范围标定模型层 /优化器设计模型微调设计行业私有数据处理指令微调数据处理计算平台系统设计AI 集群平台建设系统调试与上线转换剪枝蒸馏量化在线推理离线推理模型预训练代码调试模型训练下游任务微调防攻击 /故障隔离API 开放代码调试模型微调 » 参数面无损网络 » 多级存储优化 » 计算集群密度设计 » 液冷设计 » 多样化算力调度 »