淘宝直播+3D+虚拟空间应用探索

淘宝直播3D虚拟空间应用探索罗中柱阿里巴巴高级无线开发专家目录业务背景介绍01什么是云渲染02总结与展望04云渲染技术的难点与挑战03业务背景介绍社交场景3D化ZEPETYO游戏内容多元化堡垒之夜开发平台和社区ROBLOX业界情况2D直播淘宝直播从2D到3D 内容表达形式的升级3D直播云端实时渲染TaoLiveCity-未来城基于云渲染的首次电商场景大规模应用核心技术：• 云渲染技术• 3D 制作技术• 数字人技术• 多人互动技术什么是云渲染云渲染以云计算为基础的渲染方式，本质为交互式在线视频流• 流送并非播放预先录制的视频片段，而是播放云端实时生成的渲染帧和音频• 用户可以通过键盘，鼠标，触摸事件控制画面渲染云渲染优势轻量级即点即用摆脱超级APP包大小限制迭代速度快大场景游戏引擎云端强大的GPU算力专业级别的显卡可规模化伸缩PC端成熟的商业游戏引擎Unreal Engine多媒体服务云渲染架构Web/PC/移动触控GRTN基于WebRTC 低延时传输通道渲染Windows PC解码拉流渲染Unreal Engine采集编码推流服务端云主机调度运维多人互动服务用户调度场景内容制作模型设计资产导入地形编辑灯光调整性能优化云计算基础设施边缘｜中心｜网络云渲染技术的难点与挑战核心挑战好看场景未来感如何保障高清画质？好逛好玩单人自主漫游如何保障百毫秒延时？多人互动如何支持万人在线？好看：高清画质实时渲染考验的是CPU和GPU 的处理能力如何做到 1080P 30FPS 渲染？网格体的数量，视野范围，光照计算GPUCPU渲染流水线场景数据：• 摄像机位置，视锥体，场景模型，光源• 粗粒度的剔除工作应用阶段几何阶段光栅化阶段渲染图元：• 点，线，三角面• 顶点作色器，逐顶点像光照绘制• 片元作色器，逐像素光照绘制• 绘制到屏幕命令缓冲区渲染模型A改变渲染状态渲染模型B改变渲染状态添加命令读取命令大量DrawCall会造成CPU 的性能瓶颈实时光照和阴影会造成GPU的性能瓶颈渲染优化-模型合批RAM渲染模型A渲染模型B渲染模型C命令缓冲区渲染合并后的模型显存渲染模型A渲染模型B渲染模型CCPU 在RAM 把多个网格体合并成一个更大的网格，在一个DrawCall 中完成渲染渲染优化-LODLOD面数保留比例LOD08320100%LOD2416050%LOD3208025%LOD4104012.5%原始模型LOD模型Level of Detail 渲染优化-光照烘焙静态光照贴图体积光照贴图好逛：单人漫游网络传输方向速度如何做到百毫秒操控延时？延时拆分T0用户移动按钮手机端网络传输云渲染端T1信令传输T2收到操控指令渲染完成T3渲染画面T8T4编码完成T5组包发送画面传输T6T7解码T9缓冲延时优化T0用户移动按钮手机端网络传输云渲染端T1信令传输T2收到操控指令渲染完成T3渲染画面T8T4编码完成T5组包发送画面传输T6T7解码T9阶段一：指令上行• 就近调度• 动态分辨率，码率• dataChannel over RTC缓冲阶段二：渲染推流性能优化 单帧渲染 < 33msH265硬编无B 帧阶段三：网络传输• RTC over UDP• 动态FEC• jitterBuffer，弱网抖动阶段四：画面上屏• 弱网策略• H265硬解50ms33ms6ms10ms10ms10ms50ms互动服务AOI帧同步如何做到万人同时在线？好玩：多人同步用户分服位置更新扩散消息推送多人同步-AOILeaveenterMove步骤：1.用户发送位置变更：进入，移动，离开2.计算用户所在网格3.将用户挂载到网格位置下4.通知周边8个网格的用户，位置发生了变化123456归属网格Area Of Interest用户A：用户B：FrameFrameFrameT0T1T2FrameFrameFrameT0T1T2位置信息位置信息位置信息多人同步-帧同步在线人数：1W同步帧率：30帧/秒用户可见人数：20核心问题：• 网络抖动情况下，用户移动卡顿• 服务端数据同步压力大，上行QPS 30W• 用户移动的方向，速率一定时间窗口保持不变• 其他玩家的并没有必要精准同步• 降低了服务端数据同步量• 降低了云主机的数据计算开销多人同步-移动模拟FrameFrameFrameT0T1T2P（x0，y0）RenderThreadDataProcessThreadP（x1，y1）自动寻路业务效果水晶岛店铺直播社交玩法舞台表演总结与展望好看更酷炫的内容形式，写实数字人010302好逛更高速的网络通道，5G/6G好玩更丰富的人物形象表达，捏脸，换装等能力更高清的画质，4K，60FPS更低的建模成本，更多的内容生产者更多的社交玩法感谢大家观看