カメラが回っている間にGPUが即座にフレームを計算——レンダーキュー待機なし。LED体積撮影とリアルタイムVFXに必須。
GPUは、カメラが回っている間、編集中のカット、エディタでパラメータを調整している間など、必要な瞬間に映像を計算します。これにより、従来のレンダーファームのレンダリングキューを回避でき、バーチャルプロダクションを現実のものとします。セットでは、LEDウォールを背景に、ダイナミックなライティング、複雑なジオメトリなど、すべてがライブで計算され、プリレンダリングではなく、モニターに即座に結果が表示されます。
従来のオフラインプロダクションとの決定的な違いは、シーン全体を夜間にファームで計算する（数時間または数日かかる）のではなく、Unreal EngineやUnityのような最新のゲームエンジンをリアルタイムモードで使用することです。GPU（通常はNVIDIA RTXハードウェアまたはAMD RDNA）は、撮影の瞬間に各フレームを計算します。これは、品質の妥協を受け入れる場合にのみ可能です。レイトレーシングのバウンス数を減らし、テクスチャを最適化し、巧妙なLOD（Level of Detail）システムを使用します。最終的な映画品質ではなく、オンセットのコンテキストで説得力のあるプロダクション品質の画像で作業します。背後のLEDウォールは写実的である必要はありません。俳優のライティングに合い、パースペクティブに正しく反応する必要があります。
実際には、これは次のようなことを意味します。カメラマンがカメラを動かすと、トラッキングシステムがリアルタイムで位置を捕捉し、エンジンが即座に再計算します。パラメータ（光量、オブジェクトの位置、マテリアル）を変更すると、モニターに即座に表示されます。これにより、意思決定が大幅にスピードアップします。以前は、ショットを計画し、一晩レンダリングし、朝になって「色が間違っていた」と気づいて、最初からやり直していました。リアルタイムレンダリングでは、カメラが回っている間、ライブで試すことができます。編集でもこのアプローチは重要です。モーショングラフィックスを使用する場合や、リアルタイムで3Dコンポジットが必要な場合、レンダリング時間を大幅に節約できます。
限界は現実的です。30以上のレイトレーシングバウンスや複雑なボリュームライトをフル解像度で映画的なエフェクトとして得ることはできません。複雑な流体シミュレーションやクロスシミュレーションはスムーズに実行されません。時にはハイブリッドアプローチが必要になります。ライブセットアップにはリアルタイムレンダリングを使用し、その後、デリケートなディテール部分には高品質レンダリングを行います。しかし、節約できる時間とセットで得られる柔軟性により、リアルタイムレンダリングは現在、バーチャルプロダクションおよびLEDボリュームワークフローの標準となっています。