大模型驱动的智能软件开发

大模型驱动的智能软件开发黄非 阿里巴巴目 录CONTENTS1.大模型应用范式2.AI驱动的全流程软件开发3.代码助手的技术挑战和解决方案4.从代码助手到软件开发智能体5.总结与展望演讲嘉宾黄非阿里巴巴通义实验室 自然语言智能负责人他带领自然语言处理团队研发通义自然语言大模型体系，在机器阅读理解(MRC），图文问答（VQA）和中文理解（CLUE）等任务上实现首次超越人类结果；建设阿里巴巴NLP平台和产品在集团内支持数百个场景日均数万亿级调用，对外以智能技术赋能软件开发，智能客服，协同办公，司法，电商等行业合作伙伴，是AI开源魔搭社区NLP模型的主要贡献者。他在人工智能顶级会议和期刊发表文章200+篇，中美专利数十项，曾担任ACL，TACL等学术期刊，会议领域主席/编辑等。大模型应用范式PART 01通用大模型到行业大模型： 领域继续训练（CPT）， 领域微调（SFT）生成式预训练通用大模型生成式预训练行业大模型指令微调（贴合行业场景）强化学习（RL），PPO基于对话的生成式预训练行业大模型奖励模型海量领域语料无监督继续训练123迭代范式1：领域增强Agentic RAG：实时性知识，事实性知识, 本地知识库搜索， 减少大模型幻觉范式2：检索增强(RAG)多模态大模型A stop sign with a sticker that says eating animals.2023财年二氧化碳净排放量同比减少12.9%Alibaba International Digital Commerce Group来自超60个国家和地区玩转聊天大模型本文以通义千问大模型（qwen-turbo）为例…自然图像对于上述图像给一句话描述Chart 生成要点指出图中数据的关键点表格视觉问答2023财年营收第二的集团？文档信息提取员工来自多少个国家和地区？网页识别图片中的文字图像描述文本阅读范式3：多模态表达情感和偏好你最喜欢吃什么？我没有感官，所以我没有任何喜好或偏好。吃什么对我来说都一样，我不会有任何感受。亲爱的，我最喜欢吃巧克力了，你呢？表现情绪是不是你偷了我的东西？不是的，我没有偷东西，我是一个计算机程序，我没有能力做出偷窃行为。这……我可不是这样的人。有人设/个性我太生气了，我们分手吧！哎呀，怎么啦亲爱的？怎么突然生气啦？不要生气啦，来抱抱~QQQAAAAA范式4：个性化大小模型协同领域大模型基础大模型小模型OCRIDPTTSASRSummary……搜索增强知识库文档库……插件调用函数计算代码编译网页解析图表绘制接口调用……大模型与业务系统的有机结合范式5：大小模型协同Agents资源库知识增强 Agent角色扮演 Agent工具调用 Agent……总结分析 Agent总结者• 总结回答• 审查评价规划者• 任务分类• Agents编排Agents交互调度监控进展处理异常反馈输出范式6：智能体AI驱动的全流程软件开发 PART 02编程成为最高频的 AI 应用场景其中编程以 29% 占比高居榜首。Programming29%Education23%Content21%Sales & Marketing13%Personal & Other10%Politics & Nonprofit3%Category Breakdown of 4,098 ChatGPT PromptsAnalysis of unique users’ single and multi-prompt sessions from May & June, 2023AI 成为提升软件研发效率的必选项程序员 2/3 的工作时间直接跟代码相关程序员花费三分之一的时间编写新代码或改进现有代码（32%）。花费 35% 的时间来管理代码，包括代码维护（19%）、测试（12%）和响应安全问题（4%）。另外 23% 的时间花在会议以及管理和运营任务上编写代码和改进已有代码会议，管理和运营代码维护测试响应安全问题其他32%23%19%12%9%4%…程序员 IDE 使用排行38%33%27%22%18%13%9%8%6%5%4%3%3%2%2%0%13%25%38%50%63%Visual Studio CodeIntelliJVisual StudioPyCharmEclipseAndriod StudioIPython / JupyterVimSublime TextCodaPHPStormXCodeKomodoAtomTable程序员的时间分配情况编程事务性工作的替代1研发人员重复性工作，简单工作，沟通的工作特别多，浪费时间。个体效率2研发管理流程化，缺乏灵活性，组织容易产生效率竖井，响应能力弱。协作效率知识传递模式的改变智能编码智能项管平台工程AutoDev智能问答个人助理智能洞察智能研发工具智能评审任务协同代码编写软件测试软件发布问题排查日常运维知识查询企业一线开发者架构设计知识梳理确定优化目标数据清洗梳理资产安全与隐私自定义PromptRAG 检索增强Agent 平台基础模型能力代码补全模型研发问答模型企业专属模型模型训练SFTLLM 智能大脑实时增强大模型对软件领域的深远影响大模型驱动的软件开发流程辅助完成任务自主完成任务协同处理复杂任务LLM as AgentLLM as Multi-AgentsLLM as Copilot影响整个软件研发过程，多Agent互相协作完成复杂工作不改变软件工程专业分工，增强领域专业技术，AI 研发工具辅助人完成任务单一职能专家，能够自主使用工具完成预定任务阶段一阶段二阶段三⼯具赋能人员提效⼈主导、提示及确认⼯具独立完成工作⼈给定上下文，完成知识对齐⼯具与人协同共生⼈负责创意、纠偏及确认代码大模型产品演进的三阶段Copilot 阶段Agent 阶段Multi-Agents 阶段任务自主处理功能自主研发代码辅助生成Copilot 阶段通义灵码的核心功能架构本地服务服务端模型数据算力IDE 客户端• 生成粒度• 触发时机• 业务上下文感知• 多模型路由• 扩展集成• RAG / Agent• 持续的模型训练• 精细化数据处理• 面向任务的数据集• 面向能力的数据集企业级 RAG向量数据库提示词工程模型路由身份鉴权生成问答对话研发问答模型代码补全模型企业专属模型模型训练 SFTEmbedding数据清洗数据标注数据采集数据解析效果评测GPU 算力池算力运维分码分析代码后处理上下文感知问答会话管理本地 RAG向量数据库Agent 框架本地工具短期记忆代码助手的技术挑战和解决方案 PART 03代码助手核心需要攻克的技术难点生成准确度推理性能数据个性化代码安全生成准确度：过硬的基础模型能力CodeQwen 1.5，超过 3T tokens 训练，支持 64K 上下文Qwen2，超过 7T tokens 训练，支持 128K 上下文通义灵码补全模型通义灵码问答模型持续训练持续训练Multi-Programming Language Performance（MultiPL-E）86.083.891.1补全准确度本地服务代码分析代码后处理问答管理会话管理代码后处理上下文感知服务端身份鉴权生成问答对话模型路由提示词工程向量数