DeepSeek开启AI算法变革元年

2025DeepSeek开启AI算法变革元年出品机构：甲子光年智库研究团队：宋涛、刘瑶、翟惠宇、何伟康、小麦发布时间：2025.021、人工智能的发展已到战略拐点图1：技术革命的周期性示意图第五阶段技术能力产业发展酝酿期构造范式新产品、新产业、新技术体系接连出现并持续更新技术大爆炸第四阶段第三阶段第二阶段新产品、新产业的爆炸性增长和迅速创新全部集群（新产业、技术体系和基础设施）创新和市场潜力的全面扩张产业范式的颠覆式创新扩张新产品和新产业接近成熟，已经构建独立的技术体系AI所处位置成长期产业化成熟期第一阶段用得上新技术用得好新技术看得到新技术看得懂新技术中国式新技术 经过近七十年的发展，人工智能自出现至今其核心能力一直在提升，到如今已经成为覆盖感知、认知、决策、学习、执行、社会协作能力，未来还会向符合人类情感、伦理与道德观念的智能机器迈进。 发展到现在，人工智能的技术能力已经到了一个拐点，即从技术能力驱动向需求应用驱动转型的关键时期。随着技术能力的提升，技术进化引发经济进化，从旧范式抵达新范式。如今人工智能的发展已经处于从第三阶段向第四阶段过渡的时期。人工智能的能力成长历程已经足够长，到了寻找需求的战略拐点。2、算力拐点：DeepSeek的出现，意味着算力效率拐点显现DeepSeek通过优化算法架构，显著提升了算力利用效率，打破了算力至上的传统认知1.E+021.E+041.E+061.E+081.E+101.E+122011201220132014201520162017201820192020202120222023202420252026训练算力 (petaFLOPs)AlexNetTransformerBERT-LargeGPT-3 175B ( davinci )Megatron-Turing NLG 530B PaLM（540B）GPT-4Gemini UltraGLM-130BBaichuan2-13BBaichuan2-7BLlama 2-70BClaude 2o1GPT-4oDeepSeek-R1-671BDeepSeek-R1-Distill-Qwen-32BDeepSeek-R1-Distill-Qwen-1.5B2、算力拐点： DeepSeek的出现，意味着算力效率拐点显现DeepSeek通过重新设计AI Infra，验证“性价比”训练路径DeepSeek-R1少多GPU数量模型效果低高DeepSeek-R1的效果示意：更少的GPU（或其他AI芯片）带来同样的效果备注：该图仅为示意，不代表实际情况下具体数量与效果的对比*该图为无编码基础分析师通过DeepSeek R1协作利用python编码生成DeepSeek-R1的惊艳之处是通过重新设计训练流程、以少量SFT数据+多轮强化学习的办法，在提高了模型准确性的同时，也显著降低了内存占用和计算开销。DeepSeek-R1提供了一种低成本训练的方法，而不是说只能通过低成本来进行训练。反而通过优化，DeepSeek-R1 可能实现了算力与性能的近似线性关系。每增加一张 GPU，模型推理能力可稳定提升，无需依赖复杂的外部监督机制。这一特性直接验证了“算力即性能”的 Scaling Law，为AI芯片市场及AI Infra市场提供了明确的增量需求逻辑。3、数据拐点：AI基础大模型的参数量迎来拐点2025年发布的大模型，都具有低参数量的特征，为本地化部署到AI终端运行提供了可能2018年6月2018年10月2019年2月2019年7月2020年6月2021年12月2023年2024年图：AI预训练模型的参数规模呈现走势Llama3-400B-InTraining 4万亿新版BERT4810亿GPT-31750亿Facebook94亿GPT-215亿BERT-Large3.4亿StableLM M61750亿2024年之前，最大参数量一直在增长GPT-11.17亿DeepSeek-R1-671B, 6710MiniMax-Text-01, 4560MiniMax-VL-01, 4560DeepSeek-R1-Distill-Qwen-32B, 320Phi-4, 140DeepSeek-R1-Distill-Qwen-1.5B, 152025年1月2025年1月2025年1月2025年1月2025年1月2025年1月2025年发布的大模型开始分化为两极高参数量低参数量4、技术路径的循环：算法创新再次成为新的突破点AI技术创新一直在围绕核心三要素在动态循环，2025年再次进入算法创新阶段图：每年AI技术创新发展的方向围绕三要素迭代展开算力、数据、算法的三角创新体系，在动态循环之中再次进入算法创新阶段。•2022年：算法创新为主，ChatGPT发布，引发Transformer架构的风潮迭起•2023年：数据创新为主，数据合成、数据标注等成为高质量数据集建设的热点方向•2024年：算力创新为主，算力迈向超万卡时代，算力运营商等产业新物种诞生•2025年：再次进入算法创新阶段2022年时间2025年2024年2023年AI技术成熟度？算法创新数据创新算力创新算法创新未来核心三要素的创新循环5、算法变革元年：DeepSeek的推理模型开启算法变革的元年R1-zero完全基于RL（强化学习）进行训练，以第三阶段为主，通过自我学习来提高性能图2：DeepSeek聚焦的训练过程核心在第三阶段图1：传统AI基础大模型的训练过程三个阶段都注重第一阶段训练监督策略模型第二阶段训练奖励模型（RM）第三阶段强化学习优化模型•数据集中随机抽取问题•使用PPO模型生成回答•RM模型给出质量分数•基于质量分数优化PPO模型参数•循环迭代出新模型•数据集中随机抽取问题•生成多个不同的回答•标注答案排名顺序•排序结果数据来训练奖励模型•RM模型给出高质量回答的分数•数据集中随机抽取问题•生成多个不同的回答•标注高质量答案•用标注好的数据来微调模型收集演示数据并训练有监督策略收集比较数据并训练奖励模型采用PPO强化学习算法针对奖励模型来优化策略第一阶段训练监督策略模型第二阶段训练奖励模型（RM）第三阶段强化学习训练模型• GRPO算法对比分析，提升训练效率• "冷启动数据"建立基础的推理框架• 推理导向的强化学习• 利用训练得到的检查点来收集新的监督训练数据• 全场景强化学习• 蒸馏赋予小型模型推理能力收集演示数据并训练有监督策略收集比较数据并训练奖励模型采用GRPO算法，通过对比分析方式针对奖励模型来进行优化核心创新点5、算法变革元年：DeepSeek的推理模型开启算法变革的元年DeepSeek-R1的训练流程：通过RL强化LLM的推理能力 R1-zero完全基于RL（强化学习）进行训练，未使用任何监督训练或人类反馈，能够通过自我学习来提高性能。 R1是在 R1-zero 的基础上，通过少量冷启动数据进行微调，提高了输出质量和可读性。DeepSeek-R1的训练过程 除了基于Transformer架构的算法创新之外，非Transformer架构的新算法也成为近期新出现的重点发展方向。 一种新架构模型LFM（Liquid Foundation Model）