HMD或体积空间中的沉浸式实时追踪——头盔捕捉运动。VFX预可视化和LED舞台的基础。
虚拟现实（VR）在片场的工作方式与大多数人想象的完全不同。它并非主要关乎观众的头显设备——而是关乎制作过程中的实时追踪和空间捕捉。你坐在导演椅上，戴着头戴式显示器（HMD），或者站在由红外摄像头阵列捕捉的体积空间内，立刻就能看到你计划的虚拟场景中的摄影机运动效果。延迟必须低于20毫秒，否则会让人感到不适。
实际应用有三个支柱：第一是预可视化——在任何实际剧组人员到位之前，测试走位、摄影机运动和剪辑顺序。这可以节省数天的拍摄时间。第二是虚拟空间中的外景勘景——如果某个外景地过于昂贵或难以到达，你可以在引擎（Unreal、Unity）中重建它，并在其中导航，寻找最佳视角。第三是LED墙上的实时合成：背景会随着你的真实摄影机实时移动，因为动作捕捉系统（OptiTrack、Vicon）会捕捉你的动作并将其发送到引擎。这不仅高效——它还为剧组提供了来自前方的真实光线，以及演员眼中真实的反射。
在片场本身，你会看到三种场景：VR预可视化设置通常使用单个HMD和一套追踪设备。导演或摄影指导在工作室中移动，而肩部、手臂和头部上的红外标记器则通过周围十到十二个摄像头三维捕捉他的位置。输出信号直接进入VR引擎。只有在户外场景或自然光线会干扰标记器时，才会出现问题。第二种场景是体积捕捉设置：你不需要佩戴HMD，取而代之的是，一个4K摄像头阵列从各个角度拍摄你。软件会实时对你进行摄影测量，将你转化为三维点云。这对于VFX测试来说是无价之宝——你可以从任何角度照亮、旋转、缩放演员。
第三种是LED墙追踪：真实摄影机（RED、ARRI）上装有标记器或连接到动作捕捉系统的传感器。当你摇摄和移动时，系统会不断地将位置和旋转信息发送到演员背后的LED墙上的引擎——背景会正确地产生视差。为此，你需要摄影机、追踪系统和引擎之间绝对稳定的同步：±2-3帧的偏移就会破坏幻觉。音频也同步进行——制片部门和DIT必须在硬件层面进行同步。
成本相当可观：设备、引擎许可、现场技术支持——每天很快就会达到5万欧元。这只对大型项目、系列剧或有重复需求的制片公司才划算。对于一次性的长片项目，如果外景地真实存在，这通常只是锦上添花。