2024年度AI十大趋势报告

目录2024年度⼗⼤AI趋势PART 1技术篇趋势⼀ ⼤模型创新：架构优化加速涌现，融合迭代⼤势所趋趋势⼆ Scaling Law泛化：推理能⼒成皇冠明珠，倒逼计算和数据变⾰趋势三 AGI探索：视频⽣成点燃世界模型，空间智能统⼀虚拟和现实/02/10/16趋势四 AI应⽤格局：第⼀轮洗牌结束，聚焦20赛道5⼤场景趋势五 AI应⽤竞争：多领域竞速运营⼤于技术，AI助⼿兵家必争趋势六 AI应⽤增⻓：AI+X赋能类产品⼤⼲快上，原⽣AI爆款难求趋势七 AI产品趋势：多模态上⻢，Agent席卷⼀切，⾼度个性化呼之欲出PART 2产品篇/25/35/45/50结语趋势⼋ AI智变千⾏百业：左⼿变⾰⽣产⼒，右⼿重塑⾏业⽣态趋势九 AI⾏业渗透率：数据基础决定初速度，⽤⼾需求成为加速度趋势⼗ AI创投：投融资⻢太效应明显，国家队出⼿频率提升千⾏百业AI优秀落地⽅案推荐PART 3⾏业篇/54/75/78/8701TECHNOLOGY鱶ⲹ┞ 㝕埛㒘⮱假厜卐⚳Ⲏꅌ巏⻓鄌⻉ꃆ♣㝕ⲹ䨿鱶1. 架构层创新助⼒解决算⼒瓶颈现实问题2. 创新混合架构挑战Transformer垄断技术原理——1. 路径⼀：循环神经⽹络及其变种（以RWKV为代表）2. 路径⼆：状态空间模型（以Mamba为代表）3. 路径三：层次化卷积模型（以UniRepLKNet为代表）4. 路径四：多尺度保持机制模型（以RetNet为代表）5. 路径五：液体神经⽹络模型（以LFM为代表）鱶ⲹ◝ Scaling Law峅䲀槏茤ⲇ䧯溽⫵僻榓⠲ꆔ駉砯⾕俚䰕⺈긞技术原理——1. AI模型的性能强烈依赖于规模2. 全新的Scaling Law鱶ⲹ┩ AGI䱲筻閗뀡气䧯掾旓┿汕埛㒘疿ꭊ冝茤缛┞輁䬸⾕⻓㵄技术原理——1. 视频⽣成：从扩散模型出发2. 世界模型：从⾃动驾驶领域到整个世界3. 具⾝智能：回到现实世界，回到产业链4. 空间智能：连结具⾝智能与空间计算/02/02/03/05/06/07/08/10/13/16/19/20/22┞յ㝕埛㒘⮱假厜卐⚳Ⲏꅌ巏⻓鄌⻉ꃆ♣㝕ⲹ䨿鱶0 21. 架构层创新助⼒解决算⼒瓶颈现实问题Transformer架构是⽬前应⽤最⼴泛的主流⼤模型架构，⽽⾃注意⼒机制（Self-Attention,SA）则是Transformer架构的核⼼——它允许模型进⾏并⾏计算，在序列中⾮线性地直接捕捉任意两个位置之间的关联权重，⼤幅提⾼模型能⼒上限。但另⼀⽅⾯，这也使模型的算⼒需求、计算复杂性和消耗资源成本都随参数增加呈指数级增⻓，在⼤规模任务中快速触达天花板。图：Transformer模型架构，⾕歌、多伦多⼤学2024年以来，随着⼤模型参数量的⻜速规模化以及训练与部署的深⼊落地，Transformer架构的上述弊端愈发显著，成为助推全球性算⼒紧缺的重要因素，也为⼤模型的端侧落地提出了挑战。为寻求突破，对⼤模型架构的创新性探索逐渐成为不容忽视的趋势。2. 创新混合架构挑战Transformer垄断⾃2017年Attention Is All You Need出世提出Transformer架构以来，7年已过。AI⾏业对Transformer的路径依赖引发了越来越多的“过时”争论，体现出⽇渐迫切的架构创新需求。2023年以来，RWKV和Mamba引起热议，多种新架构加速涌现，世界范围内的学者从多个⽅向努⼒，试图在保留Transformer架构优势的基础上创新性引⼊其他架构特点，解决算⼒开销问题，Transformer的绝对统治地位得到挑战，兼采众家之⻓的混合模型（Hybrid）已成未来趋势。⼤ 模 型 创 新01若能突破Transformer在算⼒和数据需求⽅⾯的限制，新架构有望在⾃然语⾔处理和计算机视觉领域引发新⼀轮技术⾰新。 ——明势创投Transformer架构、Next-Token Prediction和Scaling Law是当前⼤模型的算法基⽯，但这些领域也越来越需要新的突破，以构建强⼤且⾼效的新⼀代基础⼤模型。强⼤意味着卓越的性能、泛化能⼒和抵抗幻觉能⼒；⾼效则指低成本、⾼效率和低能耗。只有具备这两⼤特质，⼈⼯智能才能真正成为⽔和电⼀样的基础设施。——微软亚洲研究院这些新兴⼤模型架构不仅在性能上可以与Transformer模型竞争，还在内存效率和可扩展性上展现出优势。梅花创投杨颜媛表⽰，部分新架构更易于进⾏并⾏计算，能够充分利⽤现代硬件的并⾏计算能⼒，提⾼训练和推理的速度。它们的出现，为AI领域带来了新的活⼒，也为未来的研究和应⽤开辟了新的可能性。随着这些模型的不断发展和优化，我们有理由相信，⼤模型创新架构将在AI未来发展中扮演越来越重要的⻆⾊。䪫勘ⸯ槏0 31. 路径⼀：循环神经⽹络及其变种（以RWKV为代表）循环神经⽹络（RNN）通过循环⽅式处理序列数据，能够对过去的输⼊保留记忆，但存在难以并⾏化的问题，Transformer架构的诞⽣最早就是为弥补这⼀缺陷。但仍有很多学者认为，RNN的潜⼒还远未达到天花板，在Transformer架构越来越受到诟病的今天，RNN凭借其独特优势再度获得了越来越多学者的探索创新。⼤ 模 型 创 新01Hyena Hierarchy2023.04Michael Poli, Stefano Massaroli, Eric Nguyen, Daniel Y. Fu, Tri Dao, Stephen Baccus, Yoshua Bengio, Stefano Ermon, Christopher RéStanford University, Mila and Université de MontréalRWKV2023.05Bo Peng, Eric Alcaide, Quentin Anthony等RWKV元始智能RetNet2023.07Yutao Sun, Li Dong, Shaohan Huang, Shuming Ma, Yuqing Xia, Jilong Xue, Jianyong Wang, Furu Wei微软亚洲研究院KAN2024.04Ziming Liu, Yixuan Wang, Sachin Vaidya, Fabian Ruehle, James Halverson, Marin Soljacˇic, Thomas Y. Hou, Max TegmarkMIT, Caltech, Northeastern University, IAIFITimeMixer2024.05Shiyu Wang, Haixu Wu, Xiaoming Shi, Tengge Hu, Huakun Luo, Lintao Ma, James Y. Zhang, Jun Zhou蚂蚁集团,清华⼤学Mamba-22024.05Albert Gu, Tri Dao普林斯顿、卡内基梅隆⼤学Falcon Mamba2024.08Jingwei Zuo, Maksim Velikanov, Rhaiem, Ilyas Chahed, Younes Belkada, Guillaume Kunsch阿布扎⽐Technology Innov