入力とリアルタイム出力の間の遅延——モーションキャプチャ、バーチャルプロダクション、VRシーンで重要。40ms以上で知覚可能。
モーションキャプチャやバーチャルプロダクションのセットで作業する場合、レイテンシを理解しなければ、それは大惨事になります。物理的な動きとデジタルシステムでのリアルタイム表示との間の遅延は、俳優がスムーズに演技できるか、それとも砂丘を這うように動くかを決定します。40ミリ秒未満であれば、目はほとんど何も気づきません。しかし、100ミリ秒からは、すべてのジェスチャーが苦痛になります。俳優はモニターで、仮想アバターが明らかなラグで反応しているのを見て、体とフィードバックの同期が崩壊します。
モーションキャプチャスタジオでは、レイテンシはどこにでも存在します。カメラはマーカーを捉え、トラッキングソフトウェアは位置と回転を計算し、ホストコンピュータはスケルトンを補間し、リアルタイムエンジンはジオメトリをレンダリングし、ビデオはモニターに送信されます。各ステーションでフレームが失われます。プロフェッショナルシステムは16ミリ秒未満を維持します。これは60fpsの標準です。しかし、複雑なリギング、クロスシミュレーション、または多数の仮想カメラを追加すると、すぐに40〜80ミリ秒になる可能性があります。そして俳優はそこに座り、モニターを見て、タイミングを維持できなくなります。
バーチャルプロダクションはそれをさらに悪化させます。実際に撮影された俳優は、LEDウォールのライブレンダリングエンジンとリアルタイムで同期する必要があります。カメラがパンし、世界が1フレーム遅れてレンダリングされると、すぐにわかります。視差が正しくなく、パースペクティブが崩壊します。これは主観的な不快感ではなく、技術的な失敗です。そのため、VPシステムは特別なハードウェアスタック、最適なネットワーク、および専用のGPUアーキテクチャで実行されます。
実践的：レイテンシを測定し、推測しないでください。タイミングテストを使用します。モーションキャプチャルームの点滅するLED、ストップウォッチ、モニター上のフレームカウンタ。20ミリ秒は許容範囲、30ミリ秒はOK、40ミリ秒は気づく、60ミリ秒は問題あり。VRアプリケーション（「イマーシブプロダクション」を参照）では、要件はさらに厳しくなります。人間の前庭系は、20ミリ秒からのレイテンシを不快感として認識します。そのため、VRヘッドセットメーカーはサブ20ミリ秒のシステムに取り組んでいます。
DoPとVFXスーパーバイザーにとって、これは具体的には次のことを意味します。撮影前にシステムをキャリブレーションし、バッファ時間とフレームバッファ構成を調整し、複雑なシミュレーションを伴う長いテイクでは常にバッファマージンを計画します。バーチャルプロダクションでは、技術的に補償することもできます。予測レンダリング、つまり次のフレームを事前に推測的にレンダリングすることです。しかし、それは応急処置です。最終的には、パイプライン全体が最小限のレイテンシで設計されている場合にのみ機能します。