电子行业专题报告：如何测算文本大模型，AI训练端算力需求？

行业研究行业专题报告证券研究报告电子2024 年 06 月 03 日诚信专业发现价值1请务必阅读报告末页的声明电子如何测算文本大模型 AI 训练端算力需求？投资要点：需求侧：Scaling Law 驱动大模型算力需求不减Scaling Law 仍然是当下驱动行业发展的重要标准。Scaling Law 的基本原理是，模型的最终性能主要与计算量、模型参数量和数据大小三者相关，当不受其他两个因素制约时，模型性能与每个因素都呈现幂律关系。因此，为了提升模型性能，模型参数量和数据大小需要同步放大。从大模型数量上看，近年来呈现爆发式增长趋势。且由于尖端 AI 模型对于资源投入的大量需求，产业界对于大模型的影响力逐步加深。我们统计了产业界诸多公开披露的大模型训练数据，从大模型算力需求来看，GPT-3 到 GPT-4 参数上从 175B 快速提升到 1.8TB（提升 9 倍），训练数据量（Token 数）同方向快速增长，由 0.3TB 提升至13TB（提升 42 倍）。绝对值上看，根据我们的非完全统计情况，国内外主流大模型在参数量上基本已来到千亿量级，在预训练数据规模上均已来到个位数乃至十位数的 TB 量级。供给侧：黄氏定律推动英伟达 GPU 一路高歌英伟达 GPU 持续引领全球 AI 算力发展，虽然“摩尔定律”逐步放缓，但“黄氏定律”仍在支撑英伟达 GPU 算力快速提升，一方面，英伟达寻求制程工艺迭代、更大的 HBM 容量和带宽、双 die 设计等方法，另一方面，数据精度的降低起到关键作用，Blackwell 首度支持FP4 新格式，虽然低精度可能会存在应用上的局限性，但不失为一种算力提升策略。若仅考虑英伟达 FP16 算力，A100/H100/GB200 产品的FP16 算力分别为前代产品的 2.5/6.3/2.5 倍，在数量级上持续爆发，自2017 年至今，GB200 的 FP16 算力已达到 V100 的 40 倍。与之对比，AI 大模型参数的爆发速度相对更快，以 GPT 为例，2018 年至 2023 年，GPT 系列模型从 1 亿参数规模大幅提升至 18000 亿。相较于 AI 大模型由 Scaling Law 驱动的参数爆发，GPU 算力增速仍亟待提升。结论：预计 24-26 年全球文本大模型训练卡需求为 271/592/1244 万张我们根据侧算力供给需求公式，需求侧假设行业依然沿 ScalingLaw 发展方向进一步增长，供给侧通过对英伟达 GPU 的 FP16 算力、训练市场、算力利用率等进行假设，推导得出 GPU 需求量。以英伟达Hopper/Blackwell/下一代 GPU 卡 FP16 算力衡量，我们认为 2024-2026年全球文本大模型 AI 训练侧 GPU 需求量为 271/592/1244 万张。建议关注- 算力芯片：寒武纪 海光信息 龙芯中科- 服务器产业链：工业富联 沪电股份 深南电路 胜宏科技风险提示AI 需求不及预期风险、Scaling Law 失效风险、GPU 技术升级不及预期的风险、测算模型假设存在偏差风险。强于大市（维持评级）一年内行业相对大盘走势团队成员分析师： 任志强(S0210524030001)rzq30466@hfzq.com.cn联系人： 徐巡(S0210124040079)相关报告1、半导体板块再度活跃，消费回暖趋势进一步明确-半导体系列跟踪——2024.06.032、【华福电子】20240531 周报：AI 终端崭露头角，Mini LED 或迎机遇——2024.06.013、巨头轮番入场，AI PC 爆发在即——消费电子系列跟踪——2024.06.01华福证券华福证券诚信专业发现价值2请务必阅读报告末页的声明行业专题报告 | 电子正文目录1 如何测算文本大模型 AI 训练侧算力需求？.............................................................32 需求侧：Scaling Law 驱动大模型算力需求不减.....................................................52.1 Scaling Law 带动大模型参数爆发........................................................................... 52.2 大模型厂商持续涌现，AI 大模型数量激增...........................................................63 供给侧：黄氏定律推动英伟达 GPU 一路高歌.........................................................83.1 GPU：算力底层硬科技，支撑 AI 大模型发展......................................................83.2 算力利用率：来自通信、存储等多维度的综合影响............................................94 文本大模型 AI 训练侧对 GPU 的需求量如何求解？............................................125 风险提示......................................................................................................................14图表目录图表 1： 文本大模型 AI 训练侧算力供给需求公式................................................... 3图表 2： 海外主流 AI 大模型训练侧算力供给需求情况........................................... 4图表 3： 国内主流 AI 大模型训练侧算力供给需求情况........................................... 4图表 4： 各类别主流机器学习模型计算量..................................................................4图表 5： 大模型训练的 Scaling Law............................................................................ 5图表 6： 与 Chinchilla 数据优化模型一致所需的数据集大小..................................6图表 7： 各领域知名机器学习模型数量...................................................................... 6图表 8： 各地区知名机器学习模型数量...................................