大小模型端云协同赋能人机交互

大小模型端云协同赋能人机交互张圣宇｜浙江大学2025年4月浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江2 马斯克的大胆预言：碳基生命（也就是我们人类）只是硅基生命的启动程序。随着科技的不断发展，尤其是AI领域取得的突破，以人工智能为主的硅基生命形态将会在未来成为地球上的主宰生物。浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江•2007年1月9日，乔布斯发布第一代iPhone苹果手机，把iPod、电话、移动互联网设备等进行有机整合，推动了移动互联网进入了黄金发展年代。•今天大模型给人类社会诸多生产、生活模式带来一次大变革。2023年2月，英伟达创始人兼CEO黄仁勋提出随着ChatGPT为代表的大模型出现，我们已经进入“人工智能的iPhone时刻（iPhone moment of AI）”，这一观点受到美国《财富》杂志、华尔街时报等媒体的广泛认可并转载。•DeepSeek在模型算法和工程优化方面进行了系统级创新，在2048块英伟达H800 GPU（针对中国市场的低配版GPU）集群上完成训练，打破了大语言模型以大算力为核心的预期天花板，为在受限资源下探索通用人工智能开辟了新的道路。DeepSeek & ChatGPT浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江https://openai.com/index/hello-gpt-4o/GPT-4o浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江GPT-4o：By my eyeshttps://openai.com/index/be-my-eyes/浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江移动端智能：生活的方方面面手机、平板、智能手表发信息、看视频、听音乐、导航、游戏、购物•小设备功能不简单•小设备如何搭载大模型？•大小模型协同浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江端侧计算能力越来越强https://hanlab.mit.edu/courses/2024-fall-65940浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江大小模型端云协同https://hanlab.mit.edu/courses/2024-fall-65940l 端云协同（Device-Cloud Collaboration）：指边缘设备（如智能手机、IoT设备）模型和云侧服务器模型协同进化推断。l 云侧大模型（Large Model）：通用认知计算，拥有强大的计算能力、海量的数据、充分的知识库。l 终端小模型（Small Model）：实时感知、实时响应，运行轻量级任务，响应速度快。浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江https://hanlab.mit.edu/courses/2024-fall-65940l 端云协同计算通过卸载部分学习任务至端侧，让端和云协同完成任务，从而发挥终端靠近用户和数据源的天然优势，降低服务延时至毫秒级，增强模型个性化精准推理能力，缓解云服务器中心负载压力，同时支持用户原始数据在设备本地处理l 有效克服主流云学习范式在实时性、个性化、负载成本、隐私安全等方面的不足自动驾驶 (Gan et al.)Yulu Gan, Mingjie Pan, Rongyu Zhang, et al.: Cloud-Device Collaborative Adaptation to Continual Changing Environments in the Real-World. CVPR 2023: 12157-12166Chengfei Lv, Chaoyue Niu, Renjie Gu, et al.: Walle: An End-to-End, General-Purpose, and Large-Scale Production System for Device-Cloud Collaborative Machine Learning. OSDI 2022: 249-265Xufeng Qian, Yue Xu, Fuyu Lv, Shengyu Zhang, et al.: Intelligent Request Strategy Design in Recommender System. KDD 2022: 3772-37823D渲染 (Lv et al.)推荐系统 (Qian et al.)前沿应用大小模型端云协同浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江大小模型端云协同≈大小模型协同 + 端云高效协同浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江基于调度的协同基于反馈的协同基于生成的协同大模型小模型反馈学习检索增强大模型小模型调度大模型小模型调度IntellectReq自主智能请求WWW 24FiGRetRAG反馈学习Arxiv大模型小模型1小模型2小模型3模型架构参数生成大模型小模型任意模型知识迁移ModelGPT大模型生成小模型ArxivMergeNet任意模型知识迁移AAAI 25大模型小模型反馈学习单视角采样MPOD1232D到3D生成CVPR 2024LLMCO4MS组合优化LLMECCV 2024联合应用