HMDまたはボリューメトリック空間での没入型リアルタイムトラッキング——ヘッドセットが動きをキャプチャ。VFX プリヴィズとLEDステージの基盤。
バーチャルリアリティ（VR）のセットでの運用は、多くの人が考えているものとは全く異なります。これは主に視聴者向けのゴーグルではなく、プロダクション中のリアルタイム・トラッキングと空間認識に関するものです。あなたは監督席に座り、HMD（ヘッドマウントディスプレイ）を装着するか、赤外線カメラのアレイで捉えられたボリューメトリック空間に立ち、仮想環境での予定されたカメラワークがどのように見えるかを即座に確認します。レイテンシは20ミリ秒未満でなければ、気分が悪くなります。
実用的な応用は3つの柱に基づいています。第一にプリビジュアライゼーション — 実際のクルーが動き出す前に、ブロッキング、カメラの動き、カットのシーケンスをテストします。これにより、撮影日数を節約できます。第二にバーチャルスペースでのロケーション・スカウティング — ロケーションが高価すぎたりアクセス不可能だったりする場合、それをエンジン（Unreal、Unity）で再現し、その中をナビゲートして、アングルを見つけます。第三にLEDウォールでのライブ・コンポジット：モーションキャプチャシステム（OptiTrack、Vicon）があなたの動きを捉え、エンジンに送信するため、背景は実際のカメラにリアルタイムで追従します。これは効率的なだけでなく、クルーに正面からのリアルな光、俳優の目へのリアルな反射を提供します。
セット自体では、3つのシナリオが見られます。VRプリビズ・セットアップは、通常、単一のHMDとトラッキング・スーツを使用します。監督またはDPがスタジオ内を移動すると、肩、腕、頭の赤外線マーカーが、周囲の10〜12台のカメラで3次元的に位置を捉えます。出力信号は直接VRエンジンに入力されます。屋外ロケーションの場合や、自然光がマーカーを過度に明るくしてしまう場合には問題が発生します。2番目のシナリオはボリューメトリック・セットアップです。HMDの代わりに何も装着しませんが、4Kカメラのアレイがあらゆる角度からあなたを撮影します。ソフトウェアはリアルタイムであなたをフォトグラメトリ処理し、あなたは3次元の点群になります。これはVFXテストに最適です — 俳優をどこからでも照明したり、回転させたり、リサイズしたりできます。
3番目はLEDウォール・トラッキングです。実際のカメラ（RED、ARRI）には、モーションキャプチャシステムに接続されたマーカーまたはセンサーがあります。あなたがパンやティルトを行う間、システムはカメラの位置と回転を、俳優の後ろにあるLEDウォールのエンジンに継続的に送信します — 背景は正しく視差をつけます。これには、カメラ、トラッキング、エンジンの間に完全に安定した同期が必要です：±2〜3フレームのずれで、イリュージョンは崩壊します。音も並行して実行されます — プロダクションマネジメントとDITはハードウェア側で同期する必要があります。
コストは相当なものです：機器、エンジンライセンス、オンサイトのテクニカルサポート — 撮影日あたり50,000ユーロにすぐに達します。これは、大規模なプロジェクト、シリーズ、または繰り返し利用するスタジオでのみ採算が取れます。ロケーションが本物である長編映画の単発作品では、しばしば遊びに過ぎません。