阿里云AI搜索RAG大模型优化实践

阿⾥云AI搜索RAG⼤模型优化实践欧明栋阿⾥云AI搜索RAG⼤模型算法负责⼈RAG背景01⼤模型知识问答⼤模型直答⼤模型微调RAG(检索增强⽣成)问题LLM外在幻觉多中少领域知识⽆有有实时信息⽆⽆有可溯源⽆⽆有成本低⾼低回答问题LLM+领域知识回答问题LLM回答+检索知识RAG架构⽂档语义切⽚混合索引向量+⽂本问题⽂档解析query改写扩展检索服务混合索引+重排LLM服务回答RAG的效果问题及归因⽂档解析及切⽚Query理解&检索服务LLM幻觉切⽚截断⽂档解析错误模型⽣成幻觉拒答检索结果不相关&不完整模型未理解内容回答不完整切⽚不完整检索结果不相关&不完整模型总结不完整回答不相关模型理解出错响应速度慢模型参数量⼤RAG效果关键点切⽚语义完整信息召回完整⽂档解析准确⼤模型推理总结准确RAG架构-⼤模型优化⽂档语义切⽚混合索引向量+⽂本问题⽂档解析query改写扩展检索服务混合索引+重排回答LLM Agent检索信息不完整时/意图澄清层级抽取微调⼤模型评测⼤模型效果评测在线离线RAG模块架构：阿⾥云AI搜索开发平台搜索组件Query理解⼤模型服务第三⽅开源⼤模型⼤模型评测服务训练服务（PAI）推理服务（PAI-EAS）SFT数据⽣成Query改写实体识别Query分词数据层在线引擎HavenaskElasticsearch数据格式数据源PDF、Word、PPTJSON、HTML、MarkdownExcel、CSVMaxComputeHologresHDFSOSSRDS离线服务数据提取⽂本切⽚向量化sgpt-bloomstellabge-m3多粒度切分层次切分语义切分⽂本提取OCR视觉模型拼写纠错指代消解多轮对话Qwen系列⼤模型组件编排LangChainLlamaIndex数据湖Paimon、Hudi意图识别NL2SQL阿⾥云SDKOpenAI SDK⽂档结构化02⽂档切⽚问题已知信息： [⽂档1] 修改云盘的UUID步骤如下， 根据已知信息回答问题，确保只使⽤已知信息中的内容回答问题， 问题：'''如何修改云盘的UUID'''要修改云盘的UUID，请按照以下步骤操作： 1. 登录到云盘服务的管理控制台。 2. 寻找并进⼊“存储”或“磁盘管理”相关的设置⻚⾯。 ……切⽚截断切⽚不完整⼤模型幻觉补全PDF、纯⽂本等⽂件类型⽆法直接解析语义层级，导致切⽚语义不完整上下⽂回答回答不完整已知信息： [⽂档1] 修改云盘的UUID步骤如下： 1. 远程连接ECS实例。 根据已知信息回答问题，确保只使⽤已知信息中的内容回答问题， 问题：'''如何修改云盘的UUID'''要修改云盘的UUID，请按照以下步骤操作： 1. 远程连接ECS实例。上下⽂回答不完整幻觉⽂档切⽚-语义层级抽取模型公开数据集PDFWord纯⽂本数据增强层级合并噪声混⼊纯⽂本模型训练SFTStepDPO后处理策略层级定位递归抽取⻓⽂切分⼤模型抽取⽂档语义层级实现基于语义层级的内容摘要，回答全局（超⻓上下⽂）问题保证切⽚语义完整语义层级抽取模型-数据增强层级合并不同层级标题合并到相同层级噪声混⼊基于业务数据构造噪声纯⽂本构造删除所有格式信息，转为纯⽂本标题换⾏假标题引⼊…语义层级抽取模型-模型训练SFTInputOutput基于qwen2-1.5B，约5万训练样本StepDPOInputChosen基于SFT模型预测错误样本构造，只优化第⼀个出错的层级Reject{ "h1": "Opensearch产品架构", "substructure": [ {"h2": "搜索开发⼯作台"{ "h1": "Opensearch产品架构", "substructure": [ {"h2": "搜索开发⼯作台", "substructure": []}, {"h2": "LLM智能问答版", "substructure": []} ]}{ "h1": "Opensearch产品架构", "substructure": [ {"h2": "Opensearch版本包括"语义层级切⽚耗时&成本Lost in the Middle⼀级标题⼆级标题1⼆级标题2段落1段落2段落3段落4⼀级标题⼆级标题1段落1/摘要⼀级标题⼆级标题2段落3/摘要⼀级标题⼆级标题1段落2/摘要⼀级标题⼆级标题2段落4/摘要语义层级切⽚ 切⽚⻓上下⽂低⾼少多信息完整度⾼中v.s.当前⽅案：适当增加切⽚⻓度 更优⽅案？03⼤模型微调&Agent探索⼤模型⽣成问题… AnalyticDB MySQL版有多种删除数据的⽅式，建议如下： * 数据删除频率低、基于主键为条件的删除，可通过DELETE删除数据。 * 数据删除频率低、基于任意条件的删除，可通过DELETE删除数据。 * 通过 TRUNCATE TABLE删除指定⼆级分区。 根据已知信息回答问题，确保只使⽤已知信息中的内容回答问题， 问题：'''analyticdb mysql怎么清除过期的⼆级分区'''AnalyticDB MySQL版清除过期的⼆级分区可以通过以下⽅式进⾏： 1. 基于主键为条件的删除，可以使⽤DELETE的⽅式删除数据。 ……上下⽂回答 (from GPT4)幻觉RAG实际应⽤中模型幻觉率仍偏⾼，幻觉率：GPT4 ~7%，14B及以下模型普遍20+%… RDS PostgreSQL实例创建数据库 … 创建RDS MySQL实例、数据库和账号 … 快速创建RDS SQL Server实例 根据已知信息回答问题，确保只使⽤已知信息中的内容回答问题， 问题：'''rds创建数据库⽅法'''创建云数据库RDS的数据库⽅法分为RDS PostgreSQL数据库和 RDS MySQL数据库两种情况： ……上下⽂回答 (from GPT4)缺少RDS SQL Server复杂答案中容易遗漏部分内容幻觉不完整效果评测 Model-as-Judge检索结果问题回答评测指标（类似RAGAS）•幻觉•编造：基于检索结果-回答，回答中是否存在检索结果之外的信息•混淆：基于检索结果-问题-回答，回答中是否使⽤了检索结果中与问题⽆关的信息回答问题•完整性：基于检索结果-问题-回答，回答中是否遗漏检索结果中的关键信息•相关性：基于问题-回答，回答中是否存在于不回答问题的表述初评反思评测⼯作流修正单prompt⼯作流⼯作流+⼈⼯⼈⼯67%83%95%100%⼤模型微调数据来源公开数据合成问题+ 搜索引擎结果指令构造引⽤溯源⻛格⾃定义样本筛选规则筛选数据构造拒答数据领域多样性多轮对话幻觉控制模型评测样本混合模型训练DPOSFT富⽂本⽣成模型效果GPT4-oQwen1.5-72B-ChatQwen1.5-14B-ChatOpenSearch-Qwen-SFTOpenSearch-Qwen-DPO综合评分幻觉率综合评分幻觉率综合评分幻觉率综合评分幻觉率综合评分幻觉率简单场景RGB0.9556.0%0.91711.7%0.9316.5%0.9544.2%CRUD0.9663.0%0.96511.0%0.9635.0%0.9755.0%复杂场