蚂蚁集团（陈发强）：AI原生数据应用架构与落地探讨

1陈发强（踏天）蚂蚁集团国际数据库负责人2024/7/6AI原生数据应用架构与落地探讨2目录背景DB-GPT架构介绍智能体应用实践与挑战未来规划123401|背景AI给数据领域带来的挑战与机遇？LLMS| ChatGPT、通义千问、文心一言、LLaMA、BardAssets ｜ DataEnvs大语言模型云｜ 基础设施｜ IAAS｜PAAS｜SAAS领域模型知识工具1.1 大模型出现之后，交互方式的变化CodeSQLNLU…5取存管用流转融核算合规安全隐私质量高效稳定灵活结构化半结构化非结构化1.2 多维数据企业的真实数据1. 结构化数据，如Excel、数据库2. 非结构化、文本、文档数据、日志数据3. 多维关系数据，如图、数据库4. 离线数据，数仓、数据湖等无法通过单一的知识库进行处理61.3 数据的下一代交互范式02|DB-GPT架构解读AI原生数据应用架构思考、设计与实践82.1项目介绍DB-GPT是一个开源的AI原生数据应用开发框架AI Native Data App Development framework with AWEL(Agentic Workflow Expression Language) and Agents目的是构建大模型领域的基础设施，通过开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力，让围绕数据库构建大模型应用更简单，更方便。数据3.0 时代，基于模型、数据库，企业/开发者可以用更少的代码搭建自己的专属应用。项目优势1、支持AI原生数据应用开发2、智能体工作流编排3、私域问答&数据处理&RAG(Retrieval-Augmented Generation)4、多数据源&GBI(Generative Business Intelligence)5、服务化多模型管理6、Text2SQL/Text2NLU微调7、数据驱动Agents框架8、私有化部署、隐私安全9、 完全开源，采用宽松的MIT协议92.2 架构介绍架构核心特色SMMFWorkflowText2SQL微调RAGAgents数据洞察可视化102.3 隐私安全112.4 智能体架构03|数据智能体应用数据智能体在实际场景中的应用与挑战3.1 数据库专家智能体-Kevin数据库专家智能体应用3.2 效果展示-Web端Kevin-智能问答Kevin-智能诊断3.3 效果展示-移动端Kevin-问答助手Kevin-数据分析助手Kevin-数据运维助手3.4 构建技术3.5 知识构建3.5 意图识别3.6 智能体构建流程1. 资源准备(知识库、API、算子、插件)2. Agents构建3. Workflow编排4. 应用调试与发布5. 应用对话与使用6. SDK集成/钉钉集成3.7 诊断智能体构建领域文档准备知识加工处理故障诊断Agents构建发布上线方案流程设计3.8 智能体构建3.8 智能体调试与发布3.8 智能体评测与使用智能体的评测会从主观打分与客观打分两个维度进行评测1. 客观评测需要根据领域准备具体的专业评测数据集。2. 主观评测一般是采用专家打分、真实用户反馈等。3.8 技术挑战1.意图识别: 如何准确理解用户意图，并匹配到对应的Agent2.Agent-Linking: 多Agent如何提供一个统一入口，回答多个领域专业问题的同时，还可以自由对话。3.召回准确率: 如何准备高质量的问答与知识库，结合多种RAG检索技术，准确召回相关内容。4.多轮对话进行参数补充: 比如意图识别中，用户单次的对话无法满足场景的参数要求，需要智能体反问用户达到槽位填充的目的。5.角色认定与永久记忆: 在实际应用中，真正能够长期有用的智能体需要有明确的角色认定，并且对于历史的对话记录行程长久的记忆，这样才能越来越符合人类交互的范式，形成长期服务与陪伴。04|未来思考DB-GPT接下来的一些发展计划4.1 DB-GPT存在的问题1.开发门槛高： 框架本身很全面、强大。 但上手开发难度大。2.默认场景效果待提升: 虽然提供了六大默认场景，但因为定位是框架，所以针对具体场景的优化不够深入。3.与Dify、Coze等产品相比，产品化能力不足。4.文档、教程、案例较少。4.2 版本计划1.更强的产品化能力，更加简单易用，包括应用管理、AWEL开发、Agent开发、Prompt调优等。2.提供意图识别、Text2NLU、Text2GQL等效果微调。3.提供3+以上通用标杆应用场景智能体的构建教程并内置智能体，如财报助手、数据库专家、混合检索专家。4.更完善的文档与教程。5.智能体应用一键集成发布到平台Copilot、钉钉、飞书、微信等平台。DB-GPT长期会深耕数据领域，目前我们看到社区的主要矛盾是更加便捷的开发使用，应用到生产环境。所以在接下来V0.6.0的版本中，我们会重点发力端到端的产品化能力，主要有以下能力。29社区微信个人微信开源地址: https://github.com/eosphoros-ai30Thank you!