Trackingは、フィルム素材内のカメラ動き とオブジェクト動きの分析で、CGI要素をシームレスに統合します。
技術的詳細
2Dトラッキングは、オブジェクトごとに最低4つのトラッキングポイントを使用して、画像平面内の動きを分析します。一方、3Dトラッキング(カメラトラッキング)は、同時に50〜200のフィーチャーポイントを追跡しながら、空間全体のカメラの動きを再構築します。平面トラッキングは、テクスチャパターンとコントラスト勾配の分析によって平面を捉えます。最新のトラッキングソフトウェアは、サブピクセルの精度で動作し、最大10ピクセルのモーションブラーを補正できます。オブジェクトトラッキングは、複数のカメラアングルを組み合わせることで3次元の物体を追跡しますが、フェイシャルトラッキングは、最大468の顔のポイントをリアルタイムで分析します。
歴史と発展
最初の商用モーション・トラッキング・システムは、1990年にHammerhead Productionsによって「ターミネーター2」のために開発されました。Industrial Light & Magicは、1993年の「ジュラシック・パーク」で、恐竜の統合のための標準として3Dカメラ・トラッキングを確立しました。1995年、2d3の「boujou」は自動フィーチャー認識に革命をもたらし、その後SynthEyes(2005年)とPFTrack(2008年)が続きました。2010年以降、GPUアクセラレーテッドアルゴリズムにより240fps超のリアルタイム・トラッキングが可能になり、2018年以降の機械学習はトラッキング精度を平均30%向上させました。
映画での実践的応用
「ゼロ・グラビティ」 (2013)では、サンドラ・ブロックの宇宙シーケンスのために2,048個の参照マーカーを使用したLEDウォール・トラッキングが使用されました。「レヴェナント:蘇えりし者」 (2015)では、CGIの熊の統合のために、ハンドヘルドカメラ・トラッキングと自然の風景マーカーが組み合わされました。典型的なワークフローは、セットでのマーカー配置(1平方メートルあたり20〜30のトラッキングドット)から始まり、自動ソルブ計算と手動での微調整が続きます。トラッキングは、0.3ピクセル未満のソルブエラーを達成します。マッチムーブには、照明再構築のための追加のHDR写真が必要ですが、セット拡張には、レンズデータの正確なキャリブレーション(焦点距離、歪み)が必要です。
比較と代替手段
トラッキングは、手動でのトレースではなく自動的な動きのキャプチャによってロトスコープと区別されます。スタビライゼーションは、画像補正のためにトラッキングデータを使用しますが、マッチムーブは、CGI統合のためにそれらを使用します。LEDステージを使用したバーチャルプロダクションは、OptiTrackまたはViconシステムによるリアルタイムカメラ追跡によって、従来のトラッキングをますます置き換えています。AIベースのトラッキング(2020年以降)はマーカーフリーで動作しますが、60%の計算時間で従来のマーカーシステムの精度の85%しか達成できません。
最新情報
発表されたNikon Z90のような最新カメラは、AIベースのトラッキングシステムをハードウェアに直接統合しています。これらの自動化されたプロセスは、オブジェクトの動きをリアルタイムで追跡でき、撮影と後続のポストプロダクションを容易にします。高解像度センサーとインテリジェントなトラッキングアルゴリズムの組み合わせは、マッチムーブ作業における手動の労力を大幅に削減します。