繰り返されるテクスチャやマーカーを認識・追跡するトラッキング技術——安定化、マーカーレス2Dトラッキング。フォーカス変化とモーションブラーに弱い。
撮影現場やポストプロダクションでは、マーカーを取り付けずに映像を安定させたり、カメラの動きをトラッキングしたりする必要がよくあります。ここで役立つのがパターンマッチングです。これは、自然なテクスチャや繰り返し現れる画像パターンを基準として利用するトラッキング手法です。システムは、各フレームをスキャンして特徴的な構造(ガラスの傷、レンガのディテール、布地の糸のパターンなど)を探し、フレームごとに比較します。これらのパターンが一貫しており、動きが過度に急激でなければ、トラッキングは正確に追従します。
実践すると、すぐに限界が見えてきます。フォーカス変動は天敵です。撮影中にフォーカスが動くと、アルゴリズムはすぐに構造を見失います。モーションブラーも信頼性の高いトラッキングを妨げます。カメラの動きが速いほど、または露出時間が長いほど、測定されるべきパターンはぼやけます。夜間撮影や、内部構造のない非常に明るい表面(白い壁、澄んだ空)では、パターンマッチングはほとんど機能しません。このような場合は、マーカーまたは手動のキーフレームトラッキングが必要になります。
日常的なワークフローでは、このテクニックはマーカーなしのスタビライゼーションに利用されます。例えば、後から手持ち撮影でぶれた映像をきれいにしたい場合などです。2Dコンポジットトラックもパターンマッチングで解決できます。ボトルにロゴを貼る、Tシャツに文字を入れる、窓の反射などです。ソフトウェア(Nuke、After Effects、Mochaなど)は、このパターンがフレーム内をどのように移動するかを計算し、位置、スケール、場合によっては回転も提供します。フィーチャートラッキングとは異なり、ここでは離散的な点や顕著な特徴は必要ありません。ピクセル情報の塊で十分です。
実践的なヒント:トラッキングパッチ(検索領域)は慎重に選びましょう。小さすぎると、ランダムなノイズの変動がジャンプアーティファクトを引き起こします。大きすぎると、無関係な動きを捉えすぎてしまいます。理想的には、コントラストが高く、パターンが変化するテクスチャ領域を使用します。均一な面は絶対に避けてください。ショットが段階的な光の変化に苦しんでいる場合、トラッキングチャンネルの正規化(RGBではなく輝度)によって成功することがあります。トラックが不安定なままの場合は、手動での介入、またはマーカー戦略への完全な切り替えが必要な時期です。