XR Foundation：PICO 4 之下的 AI 层

背景

VR 直播对算力极其苛刻：双目超高分辨率画面，要跟随主播移动的特效，以及跑在移动芯片上的头显。每一步特效与美颜都必须在实时预算内完成。

系统

AI XR SDK 位于模型与头显应用之间：在云端与设备之间分配计算，只把算力花在观众会注意到的地方。最难的几个问题变成了专利申请：

• 关键点驱动的 VR 直播局部特效渲染在超高分辨率 VR 直播帧中定位目标关键点，把特效渲染集中在相关局部区域，降低计算量与时延。
• VR 直播特效的云端 / 头显协同渲染按特效的实时性要求选择执行位置：完全在云端渲染，或由云端识别、VR 头显端完成最终渲染。
• 8K VR 直播帧的局部区域处理在双目超高分辨率 VR 直播帧中只选取需要处理（如美颜）的局部区域，让 8K 直播保持实时。
• 双目 VR 直播的畸变校正与局部美颜先对双目 VR 画面中的目标区域做畸变校正，再做美颜或滤镜处理，最后逆变换回原投影坐标，在降低计算量的同时提升效果。
• 跨虚拟场景的透视窗口在当前 VR 场景中打开类似传送门的透视窗口，根据观察点计算并显示另一个预制场景的画面。
• VR / AR 中真实物体与虚拟商品的合成交互在虚拟环境中同时展示真实物体（如用户的脚）与一组虚拟商品，将选中的商品合成到真实物体上（如虚拟试穿），并可与用户关联。

其中多项发明用在了我负责并搭建、调用 AI XR SDK 的产品里。

我负责的部分

• XR Foundation 产品负责人：带领 70+ 人团队，为 PICO 打造 AI 增强的 XR SDK 与服务。
• 搭建调用 AI XR SDK 的产品，包括混合现实直播互动。
• 这段工作产出 6 个专利族，本人为共同发明人，覆盖 VR 直播渲染、空间交互与沉浸式电商。

报道与相关