带你一文看懂XR虚拟演播厅的技术支持及拍摄流程

XR虚拟制作技术支持

扩展现实（Extended Reality，简称XR），是指通过计算机等多种硬件设备的手段将真实与虚拟相结合，打造一个可人机交互的虚拟环境，这也是AR（增强现实）/VR（虚拟现实）/MR（混合现实）等多种技术的统称。

其中VR又叫虚拟现实（Virtual Reality），即假现实。具体指的是利用电脑模拟三维空间，通过感官模拟一种沉浸感和临场感，就像把人带到一个虚拟的仿真世界。

至于AR增强现实（Augmented Reality），则是现实世界的Pro版。说简单点，就是在真实空间里植入虚假内容，把虚拟信息（物体、图片、视频、声音等）映射在现实环境中。很明显，VR是带你精神穿越，AR则是高楼林立的现实中，再现海市蜃楼。

MR，混合现实（MediatedReality），倒可以直接看作是VR/AR结合体，因为它指的是合并现实和虚拟世界后产生的新可视化环境。举个简单的例子，下班回家的你，戴上MR设备看暴力美剧，施瓦辛格会跳出传统屏幕，在你眼前吹胡子瞪眼，甭管你移动到哪，他都只对着你演。

简单点说，虚拟现实技术是利用头戴设备模拟真实世界的3D互动环境；增强现实则是通过电子设备（如手机、平板、眼镜等）将各种信息和影像叠加到现实世界中；混合现实介于VR和AR之间，在虚拟世界、现实世界和用户之间，利用数字技术实现实时交互的复杂环境。

XR虚拟演播厅拍摄流程

包含设备：LED屏幕系统、灯光音响、摄像机系统、摄像机追踪系统、控制服务器、内容渲染等服务器。如果需要更高级还可加入虚拟人动作捕捉系统。

优化拍摄方式和提高拍摄质量：加入虚拟影棚机器人精准控制摄像机

增加舞台互动：舞台追踪系统（将灯光和声音追踪加入到虚拟舞台中来）

具体拍摄流程则是先通过专业技术人员制作出虚拟场景，将其存储在（内容引擎中）视频源，包含通过图像引擎渲染出来的虚拟视频内容，然后通过发送卡（控制服务器）将其展示在LED屏幕上（背景层），这对于LED屏幕的大小并没有特别要求，LED屏幕可以只显示虚拟场景中的部分场景，摄像机追踪系统可以通过移动摄像机，移动虚拟场景在LED屏幕上的展示内容，并通过基本透视原理，使LED画面具有正确的空间关系，再通过将摄像机拍摄的LED屏幕背景、人物及道具（人物层道具层）传输到监视器及记录拍摄内容的服务器中，使其与虚拟制作出的场景实时合成，补全LED屏幕之外的场景内容，即拓展现实VR，实现所见即所得的虚拟拍摄。若有需要，还可在此基础上增加AR前景特效，并通过画面传输将所有场景实时合成，形成LED屏幕展示内容、虚拟拓展内容、AR渲染内容及人物道具四合一的合成图像，并实时传输到现场监视器设备和存储设备中，实现所拍既所得。

XR虚拟演播厅拍摄效果

UE（Unreal Engine）内容引擎中制作的内容是三维并且具有正确透视和空间感的，添加一个虚拟摄像机就可以看到引擎空间中的物体。灯光、材质等，就像第一视角的3D游戏，通过将引擎中的虚拟摄像机与拍摄场地中的真实物理摄像机的物理位置、摄像机参数等完全匹配，让真实的物理相机去驱动引擎中的虚拟相机，那么他们看到的空间是完全一致的，这需要用光学摄像机跟踪系统实时将数据传输给控制服务器和内容引擎，目前主流的光学摄像机追踪系统误差在2mm左右。足以保障虚拟场景的真实感。