リアルタイムレンダリングソフト—Unity、Unreal Engine—LED壁や仮想プロダクション用に動的背景を生成。グリーンスクリーンを即座に生成されたフォトリアリスティック画像に置き換える。
ゲームエンジンはスタジオに導入されて以来、映画製作に革命をもたらしています。20年間、ゲーム開発者が利用してきたリアルタイムレンダリング、物理シミュレーション、ライティング計算といった技術を、今では俳優の後ろにあるLEDウォールに詰め込んでいます。編集段階でのグリーンバックとコンポジットの代わりに、カメラと俳優はカメラの動きに合わせて変化するライブ映像を見ることができます。これが核心です。リアルタイムで計算され、カメラと同期したフォトリアルな環境。
技術的な基盤は以下のようになります。ゲームエンジン — 通常はUnreal Engine 5またはUnity — が3Dシーン、ライト、マテリアルをロードします。セットのカメラは、そのトラッキング信号（位置、焦点距離、回転）をNDI、SDI、またはリアルタイムトラッキングハードウェア経由でレンダリングエンジンPCに送信します。PCは各フレームで正確な透視図を計算し、それをLEDウォールに再生します。俳優は灰色ではなく、キャニオンの風景、ペントハウス、エイリアンの街 — 顔に正確な光の当たり具合を映し出したものを見ます。これをオンセットコンポジットと呼びます。これにより、編集段階でのグリーンバック作業が節約されるだけでなく、俳優の演技も向上します。俳優は実際の光、実際の色彩、実際のプロポーションに反応します。
実際には、ボリュメトリックトラッキングが必要です — カメラが位置とレンズを正確に捉え、そのデータをレンダリングエンジンPCに伝達します。その後、トラッキング入力とLED出力の間にわずかなずれが生じます。通常は1〜3フレームの遅延です。24fpsでは許容範囲ですが、速いカメラの動きでは気づくことがあります。そのため、予測トラッキング、モーションスムージング、強力なハードウェア（GPUクラスター）が必要です。エンジン自体は、4K解像度で、しばしばステレオでさえ60fps以上をレンダリングする必要があります — これには、RTX 6000 AdaまたはA6000世代が複数並列で必要となります。
ゲームエンジンは利点をもたらします。リアルタイムレイトレーシング、パーティクルエフェクト、物理的な変形を瞬時に計算できます。窓ガラスの破損、落下する瓦礫 — 編集で追加するのではなく、ライブで表示されます。VFXスーパーバイザーは、カメラが回っている間でも、インタラクティブにライティングのムードを調整できます。これはグリーンバックの硬直の反対です。同時に、新たな依存関係も生まれます。見た目の良い3Dアセットは、プリプロダクションに時間を要します。複雑なインテリアデザインにはモデリングに数週間かかります — これはエンジンを使っても節約できません。
ゲームエンジンが支配的な分野は、バーチャルプロダクションと呼ばれます。MPCのフルスクリーンウォール、Pixomondoのセットアップ、DisneyのバーチャルプロダクションステージのようなLEDステージは、現在、標準としてUnreal Engineで稼働しています。その理由は、フォトリアルな品質、プラグインエコシステム、ドキュメンテーションです。しかし、DaVinci Resolveも現在ではリアルタイムエンジン統合を備えており — 境界線は曖昧になっています。