DeepSeek消费电子行业大模型新型应用最佳实践分享-腾讯云

DeepSeek消费电子行业大模型新型应用最佳实践分享2025.03陈树荣腾讯云智能商业化大模型产业生态图•研发预训练模型的企业•自研大模型结构的企业LEVEL 3 基于模型SFTLEVEL 2 研发预训练模型LEVEL 1 研发模型结构……•不用训练，直接调用大模型API的企业•基于自己数据SFT做自己模型的企业•基于开源或者基于国内预训练模型结合自己数据进行微调的企业大模型产业链上的生态，根据大模型生态上不同企业的定位，分成了四个等级的企业：LEVEL 4 直接调用………………国内外大模型百花齐放国内大厂全球开源社区国内创业明星国外头部 DeepSeek 是“深度求索” 开发的一系列人工智能模型。DeepSeek 通过持续的技术创新和市场拓展，在自然语言处理和大型语言模型方面取得了显著进展，在国际市场上获得了广泛认可。其中：● DeepSeek-V3 是在14.8万亿高质量 token 上完成预训练的一个强大的混合专家 (MoE) 语言模型，拥有6710亿参数（激活参数370亿）。作为通用大语言模型，其在在知识类任务（知识问答、内容生成等）领域表现出色。● DeepSeek-R1 是基于 DeepSeek-V3-Base 训练生成的强化推理能力模型，在数学、代码生成和逻辑推断等复杂推理任务上表现优异。更低的研发成本*更高效资源利用$5.6M vs. OpenAI’s $100M+使用~2,000 GPUs, 竞品使用 10,000+ GPUs开源模型比肩头部闭源60%+ 指标优于Llama3.1 Claude-3.5 GPT-4o 打破大模型技术壁垒重挫美国科技公司股价，英伟达市值下跌5900亿人工智能的Sputnik时刻被美国及其盟友列入各种限制DeepSeek推动国产模型达到新的高度大模型时代企业AI项目“烟囱式”建设痛点越发严重智能化趋势下：多品牌多场景下的重复造车轮，导致模型算法和镜像等AI资产管理分散，无法沉淀复用和统一运用。底层统一上层统一中层异构AI项目的烟囱式建设算力算力算力算法算法算法对外出入口A对外出入口B对外出入口C业务系统A业务系统B业务系统C投资浪费适应性差项目周期长AI治理算力池业务系统A业务系统B业务系统C集约敏捷的AI中台式建设算法池（A/B/C… )应用模板（A/B/C… )应用逻辑A应用逻辑B应用逻辑C统一出入口计算集群（H20/A10等）算力高性能计算网络架构知识引擎客户业务系统数智人知识引擎应用智能客服TI平台开放对接应用场景知识引擎大模型API（ DeepSeek/客户专属模型/混元/行业模型等）知识文档RAG工作流文档问答知识摘要DeepSeek联网助手文档解析多轮改写文档拆分向量检索意图识别大模型广场模型部署服务管理DeepSeek 系列模型客户专属模型混元系列模型...模型API国产算力适配兼容 OpenAI 接口规范复刻Deepseel的推理加速能力模型服务知识问答联网搜索配置项内置DS全系模型一键发起模型训练一键发起模型部署推理加速DeepSeek模型客户数据大模型精调解决方案模型训练训练加速客户专属模型DeepSeek 系列模型客户专属模型混元系列模型腾讯云精调知识大模型行业大模型模型API• 模型+训练平台+应用构建平台全链路能力。• 提供从训练——推理——应用的一站式丝滑服务体验• 全面接入deepseek模型大模型工具链支持大模型研发至应用全栈技术腾讯云TI平台大模型模型训练和推理开发平台，灵活精调和部署私有DeepSeek AI建模部署大模型精调u 快速试一试：零代码一键部署大模型，网页问答体验推理效果u 精调训练：低代码、灵活自定义两种精调模式自由选择数据训练 调试部署应用 数据中心内置推理加速：全新升级Angel推理加速能力，加速比可达2倍大模型调用：统一的大模型调用API及体验工具，大幅缩短业务接入大模型能力周期 AI资产管理自研混元大模型u 从零训练自主创新的通用大模型u 7b 13b 70b 不同参数量级开源大模型自研行业大模型u金融/汽车/医疗，提升垂类任务性能u支持知识增强、实时更新知识库uDeepseek全系uLlama/baichuan/chatglm/Qwen等 资源管理云服务器u公有云HCC高性能服务器，一键纳管u私有化服务器，支持X86+ARM统一纳管容器底座分布式文件存储u公有云分布式文件存储CFS/Turbofs/Goosefsxu私有化NFS协议存储NAS/CSP数据构建预置3大类精调数据处理pipeline数据标注CV，大模型相关的标注工具多种训练工具：具备周期调度能力的可视化建模，低门槛深度学习场景化工具，交互式代码开发工具，专业的通用任务调度工具分布式稳定训练：支持多机多卡大规模训练，故障自动重启续训镜像制作：基于jupyter的高效自定义镜像制作工具训练指标监控：丰富的指标监控及告警，覆盖网络及GPU算力内置训练加速：全新升级Angel训练框架加速能力，性能提升30%精调数据配比训练：内置100+任务类型精调配比数据AI框架训练工坊模型部署uPyspark，pytorch, vllm，megatron等通用训练框架utriton,vllm,sglang, sd,pmml等通用推理框架u公有云自带容器底座TKEu私有化自带容器底座TCS分布式推理：解决大参数量模型部署，提供超长上下文窗口面向实战的一站式大模型精调部署解决方案腾讯云TI平台产品核心能力DeepSeek部署方案 DeepSeek全系列核心收益一体化服务管理工具及推理加速能力Angel推理加速并行解码模型量化并行优化Sampling及batch优化服务管理与运营指标监控流量分配鉴权/限流实时掌握服务性能、调用量、资源消耗等关键指标自动调度符算力资源，弹性灵活应对业务峰谷容器调度HPA扩缩容 定时扩缩容 组合扩缩容提供多种扩缩容策略，满足不同场景的灵活资源需求 算力调度纳管资源组按量计费算力池大模型专属GPU算力包月独享CPU及传统GPU算力按需按量一体化服务管理工具独享GPU算力集群私有API服务调用企业级鉴权流控超大模型启动加速长上下文(64~128K)高并发、高可用R1-Distill-Qwen-32BR1-Distill-Qwen-14BR1-Distill-Qwen-1.5BR1-Distill-Llama-70BR1、V3满血版R1-Distill-Qwen-7BR1-Distill-Llama-8B算力投入持续降低DeepSeek全系大语言模型支持服务部署DeepSeek精调方案 DeepSeek全系列核心收益注重灵活性、扩展性的生产级大模型精调工具链蒸馏后模型多模式精调满血版模型一键精调R1-Distill-Qwen-32BR1-Distill-Qwen-14BR1-Distill-Qwen-1.5BR1-Distill-Llama-70BR1、V3满血版R1-Distill-Qwen-7BR