实时渲染软件—Unity、Unreal Engine—为LED墙或虚拟制作生成动态背景。用实时逼真图像替代绿屏。
游戏引擎进驻工作室以来，彻底改变了电影制作。游戏开发者已经使用了二十年的技术——实时渲染、物理模拟、光线计算——现在我们将其应用于演员身后的 LED 墙。与后期剪辑中的绿幕和合成不同，摄影机和演员可以看到实时图像，这些图像会随着摄影机的每一次移动而变化。这就是核心：由摄影机同步计算出的、照片般逼真的实时环境。
技术基础是这样的：一个游戏引擎——通常是 Unreal Engine 5 或 Unity——加载 3D 场景、灯光和材质。片场摄影机通过 NDI、SDI 或实时跟踪硬件将跟踪信号（位置、焦距、旋转）发送到渲染引擎 PC。该 PC 在每一帧中计算出精确的透视视图，并将其显示在 LED 墙上。演员看到的不是灰色背景，而是一片峡谷风景、一间顶层公寓、一座外星城市——光线投射到他们脸上也是正确的。我们称之为“片上合成”。这不仅节省了后期剪辑中的绿幕工作，还提高了演员的表演：演员能够对真实的光线、真实的色彩、真实的比例做出反应。
在实践中，需要体积跟踪——摄影机精确捕捉位置和镜头，并将数据共享给渲染引擎 PC。然后，在跟踪输入和 LED 输出之间会出现一个小延迟：通常是 1-3 帧的延迟。在 24fps 下是可以接受的，但在快速的摄影机移动中会显现出来。因此：需要预测性跟踪、运动平滑、强大的硬件（GPU 集群）。引擎本身必须在 4K 分辨率下输出60+ fps，甚至经常是立体声——这需要 RTX 6000 Ada 或 A6000 等代际产品，并且是多重并行。
游戏引擎带来了优势：它们可以快速计算实时光线追踪、粒子效果和物理变形。窗户破碎、坠落的碎片——实时可见，而不是在后期剪辑中添加。VFX 监督员可以在摄影机运行时交互式地调整灯光氛围。这与绿幕的僵化形成了鲜明对比。同时，也产生了一种新的依赖性：好看的 3D 资产需要前期制作时间。复杂的室内设计需要数周的建模——这并不能通过引擎节省下来。
虚拟制作（Virtual Production）是游戏引擎占据主导地位的领域。MPC 的全屏幕墙、Pixomondo 的设置或 Disney 的虚拟制作舞台等 LED 舞台如今都以 Unreal Engine 作为标准。原因在于：照片级真实感质量、插件生态系统、文档。但 DaVinci Resolve 现在也集成了实时引擎——界限正在模糊。