智能金融：AI+驱动的金融变革

郑小林 教授浙江大学人工智能研究所2025年03月24日智能金融：AI 驱动的金融变革浙江大学人工智能教育教学研究中心育教学研究中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教浙江大学人工智新一代人工智能金融智能研究金融智能应用新一代AI展望提 纲浙江大学人工智能教育教学研究中心育教学研究中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教浙江大学人工智Research Project on Artificial Intelligence , August 31, 1955， Dartmouth定义：人工智能（Artificial Intelligence，缩写为AI），又称机器智能，指由人制造出来的机器所表现出来的智能。——维基百科AI的核心问题：建构能够跟人类似甚至超卓的推理、知识、计划、学习、交流、感知、移动 、移物、使用工具和操控机械的能力等。——维基百科一、新一代人工智能浙江大学人工智能教育教学研究中心育教学研究中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教浙江大学人工智统计语言模型（SLM）神经语言模型（NLM）预训练语言模型（PLM）大语言模型（LLM）Seq2Seq建模基于循环神经网络RNN描述单词序列的概率• 优点：通过词嵌入和隐藏层，上下文捕捉和泛化能力较强；• 缺点：计算复杂度高，面对长文本序列仍会有“灾难性遗忘”问题基于文本概率分布建模通常基于马尔可夫假设建立词预测模型（N-gram）• 优点：可解释、计算速度快• 缺点：从前向后单向计算；单纯基于统计频次、缺少对上下文的泛化；随着n的增大，参数空间呈指数增长“预训练-微调”学习范式（BERT、GPT）上下文学习、指令微调、扩展规律(GPT3、GPT4…)基于Transformer架构的语言模型• 优点：✓ 长距离依赖处理能力强：自注意力机制能捕捉任意距离的依赖关系。✓ 并行计算能力强：Transformer架构支持并行计算，训练速度更快。• 缺点：资源消耗大自然语言处理模型的演进浙江大学人工智能教育教学研究中心育教学研究中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教浙江大学人工智编码器Encoder处理输入序列解码器Decoder生成输出序列Google (2017): Attention is all you need嵌入层EmbeddingWord Embedding: 目的是将这些非结构化的文本信息转化为结构化的信息，具体来说是将文本空间中的某个word，映射或者说嵌入（embedding）到另一个数值向量空间Position Embedding：输入句子的所有word是同时处理的，没有考虑词的排序和位置信息，所以通过positional encoding来衡量word位置信息注意力Attention自注意力机制：使序列中的每个单词都能“关注”其他单词，包括自己在内，以更好地理解上下文。（通过计算输入序列中每个位置与其他位置之间的注意力权重，得到加权的位置向量作为输出）多头注意力机制：多个独立计算的自注意力机制，将相同的输入映射到不同的空间中进行上下文理解，使得模型获得了对输入序列有更细致透视，丰富了其表示，带有多样化的上下文信息。前馈网络Feed Forward捕捉序列中元素之间复杂关系的多功能组件。通过使用线性变换和非线性激活函数，前馈网络使模型能够处理复杂语义，促进文本的稳健理解和生成。Google Transformer：引入注意力（Attention）学习, 2017浙江大学人工智能教育教学研究中心育教学研究中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教浙江大学人工智•编码器和解码器里的部分前馈神经网络（ FFN）层被混合专家MoE 层替代，并采用 top-2 门控机制；•当模型扩展到多个设备时，MoE 层在这些设备间共享，而其他层则在每个设备上独立存在。 —有利于大规模计算GShard：基于 MoE 探索巨型 Transformer 网络（Google, 2020）浙江大学人工智能教育教学研究中心育教学研究中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教浙江大学人工智新一代人工智能发展现状TransformerEncoder-DecoderGPTOnly DecoderBERTOnly EncoderBARTEncoder-DecoderGPTOnly DecoderRoBERTaOnly EncoderChatGPT上下文对话语料学习DeepSeek-V3DeepSeek-R1DeepSeek-V3跨节点专家并行硬件协同优化Grok-320万张卡思维链推理QWQ-32B两阶段强化学习Gemma-3多模态推理融合思维链推理2018年图灵奖、深度机器学习2024年图灵奖、强化学习浙江大学人工智能教育教学研究中心育教学研究中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教浙江大学人工智强化学习奠基人获得2024图灵奖3月5日公布了ACM图灵奖获得者Andrew Barto（MIT教授） 和 Richard Sutton（强化学习之父，阿尔伯塔大学教授，DeepMind科学家）◼强化学习的目标是得到一个策略，用于判断在什么状态下选取什么动作才能得到最终奖赏。折扣因子（Discount Factor）浙江大学人工智能教育教学研究中心育教学研究中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教浙江大学人工智DeepSeek-R1：监督微调+强化学习训练DeepSeek-R1-Zero（强推理模型）推理导向强化学习（准确率奖励+格式奖励）纯强化学习训练低可控：生成文本可读性差、语言混乱高探索自由度 => 推理能力自我觉醒（更长的思维链、更深层次的推理路径）DeepSeek-V3（基础模型）监督微调强化学习图源自《ReFT: Reasoning with Reinforced Fine-Tuning》综合性能更强在探索自由度、学习效率、行为可控性 找到动态平衡混合数据监督微调面向全场景的强化学习（规则奖励+奖励模型）DeepSeek-R1（强推理模型）671B第一阶段训练：增强推理能力，生成高质量推理数据第二阶段训练：增强通用能力，避免灾难性遗忘对V3模型监督微调推理导向强化学习（准确率奖励+可读性奖励）R1-Zero生成的长思维链数据60万条推理数据20万条通用数据多阶段增强训练拒绝采样：筛选高质量样本R1蒸馏版1.5B~32B浙江大学人工智能教育教学研究中心育教学研究中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中