首都在线+大模型时代下的个人成长

大模型时代下的个人成长吴锦晟2023.9吴锦晟资深技术专家首都在线生态副总裁TGO（上海）学员• 近20年coding的经验；• AI领域的创业，声纹和虹膜识别方向；• 参与部委多个智能算力及AIGC政策制定；• 多个城市级智算中心的规划和落地；• 经历数个大模型的训练过程；• 大规模推理应用部署和交付经验；• 2020年加入TGO；大模型时代的个人成长① 大模型的演进史与未来洞见② 关于大模型，我们应当了解的③ 国内大模型的产业链情况④ 大模型时代的个人成长 —— 以个人为例大模型的演进史与未来洞见GPT与国产大模型的演进时间轴大模型的演进史与未来洞见动机：AGI快速推动NLP的发展• 神经网络语言模型发展迅速• 2017-18年，随着Transformer的诞生，语言模型规模迅速扩大 • 数据规模：使用数T大小的纯文本训练；模型规模：从1亿参数到1750亿参数 • BERT, GPT-1/2 （成本～$30k）->GPT-3（成本~$12M）->GPT-4（？） • 早在2020年GPT-3 时，人类已开始无法准确识别其生成的新闻“涌现”大模型的演进史与未来洞见发展：AGI为何受到重视• 大规模模型的摩尔定律：模型算力需求迅速增长- 单模型计算量每年增长10倍• 机器智能的规模效应：量变到质变的能力- 千亿稠密参数（~100B，或 1023 FLOPs 训练量）时模型能力开始出现“涌现”关于大模型，我们应该了解的 —— 核心能力（1/2）We will consider the following general definition of emergence, adapted from Steinhardt (2022) androotedina1972 essay called “More Is Different” by Nobel prize-winning physicist Philip Anderson (Anderson, 1972): Emergence is when quantitative changes in a system result in qualitative changes in behavior. 涌现是指系统的数量变化导致行为的质量变化。 In this paper, we will consider a focused definition of emergent abilities of large language models: An ability is emergent if it is not present in smaller models but is present in larger models. 如果一种能力不存在于较小的模型中，但存在于较大的模型中时，就是涌现能力。涌现1. Emergent Abilities of Large Language Models关于大模型，我们应该了解的 —— 核心能力（2/2）• Translation 60B • Math 60B • In-context Learning 130B • Chain-of-thought reasoning 130B• Knowledge combination 530B • Emotion Perception 530B几个最常用的涌现能力大模型的演进史与未来洞见生成式 AI 从现有的内容中学习，以生成反映训练数据特征的新的、逼真、但并不重复的内容。生成式 AI 可以生成各种新颖的内容，例如图像、视频、音乐、语音、文本、软件代码和产品设计。《太空歌剧院》，该作品在美国科罗拉多州的美术大会上获得了数字艺术部门的第一名，AI绘画自此 走入聚光灯下2022年DISCO DiffusionMidjouneyStable Diffusion关于大模型，我们应该了解的 —— 应用场景（1/3）关于大模型，我们应该了解的 —— 应用场景（2/3）关于大模型，我们应该了解的 —— 应用场景（3/3）AIGC应用场景广泛，其功能覆盖各个板块，我们将其分成生成应用和布局、搜索和数据分析、程序生成和分析、文本生成、内容创作、一般推理和其他七部分。大模型的演进史与未来洞见普惠性用的上工程化国内大模型产业链情况算力数据算法AI云平台基础设施硬件数据平台数据集LLM国内大模型产业链情况上游中游下游基础设施供应商（数据中心风火水电）硬件设备供应商（芯片/服务器/存储）网络运营商（3C/海外运营商）云服务商（IaaS/PaaS/MaaS/模型仓库…）中间件服务商（训练框架/向量数据库/隐私计算…）通用大模型服务商（科研机构/商业公司）数据运营商（政企/行业/头部商业公司）服务支撑（数据标注/算力适配/训推平台…）垂直大模型服务商（行业/垂类）应用与行业软件开发商（2B/2C）国内大模型产业链情况发展挑战• 大模型向多模态发展；• 智能算力拥有更高性能；• 大模型训练效率和性能优化；• 有质量的中文数据集的量级提升；• 模型的服务化（MaaS）；• 法律法规的完善，标准的建立；• 人才体系的建设和队伍的完善；• 硬件的卡脖子；• 人才和技术瓶颈；• 商业模式的明确；• 安全和隐私；• 数据的问题；• 合规的考验；大模型时代的个人成长 —— 以自我为例100%技术60%业务（布局，模式设计，目标执行）L1：研发50%技术L2：技术管理50%管理L3：业务管理L4：行业领袖40%产研60%战略（愿景、地位、样子）40%影响力（产业、市场）L1：技术成长 —— 以大模型的技术体系为例基础能力专业能力工程能力业务应用能力数学计算机编程深度学习预训练工程LLM核心技术微调技术LLM服务部署应用开发L1：技术成长 —— 看不见的软技能L1：技术成长 —— 看不见的软技能埋头傻干职场油条眼高手低平衡发展L2：技术管理 —— 实践方法论品鉴师 or 厨师长？L2：技术管理 —— 实践方法论个人成长 —— 自我的突破•提供知识，随身的知识库•结构化的梳理内容•帮我撰写各类文件•建立大模型相关的知识体系•拓展产业圈的人脉大模型时代的个人成长 —— 大模型对我的影响•AGI Infra•AIGC•国产化适配•英伟达产能及异构计算•AGI 培训大模型时代的个人成长 —— 回顾近一年的历程如果机器能够思考，我们应该具备怎样的能力？大模型时代的个人成长 —— 自我思考（1/3）自我成长的动力循环大模型时代的个人成长 —— 自我思考（2/3）想干什么能干什么干了什么技能管理目标管理执行力大模型时代的个人成长 —— 自我思考（3/3）• 技术的升级和转型• 跨学科的素养和融合• 善于实践的能力• 勇于创新和探索• 做好职业规划和目标的调整大模型时代的个人成长 —— 应对变化的判断• 技术发展的趋势• 行业的变革• 政策和法规• 市场的需求• 国际形势• 历史经验• 技术的关键突破• 市场需求• 社会关注点（热度）• 大家的意见维度大模型时代的个人成长 —— 验证的方法• 自身的实际情况• 科学的数据分析• 实践的结果• 前瞻性技术的自我判断最后lumicanvas.capitalonline.net首云