モーショントラッキング

motion capture 3d tracking clean plate previs mocap tracking 3d modeler

Bewegungsverfolgung は、ビデオ素材から動きデータを自動または半自動で取得する技術です。

技術的詳細

モーション・トラッキングは、ビデオシーケンスから2Dまたは3Dの動き情報を取得します。一般的なトラッキングの種類：

2Dトラッキング（2Dプレーン・トラッキング）： 時間経過とともに点（XY）または平面（位置、回転、スケール）の動きを追跡します。標準ツール：After Effects Tracker、Mocha Pro（プレーン・トラッキング）、Natron。相関またはオプティカルフローアルゴリズムによる特徴点マッチングに基づいています。

3Dトラッキング（マッチ・ムービング）： 3D空間におけるカメラの位置と回転を取得します。高度なソフトウェア：SynthEyes、PFTrack、Nuke Camera Tracker、Boujou（レガシー）。空間内の3D点とカメラの内部パラメータキャリブレーションが必要です。

オプティカルフロー・トラッキング： 複数のフレームにわたるピクセルの強度フローを決定する、ピクセルベースの動き追跡です。画像の勾配特性を利用します。密な動きのフィールドには適していますが、オブジェクトレベルのトラッキングにはあまり適していません。

ワークフローのステップ：

フッテージをインポートする（ProRes、DNxHD、またはRAWシーケンス）
安定した特徴点（コントラストのエッジ）にトラッカーポイントを配置する
トラッキングアルゴリズムを適用する（相関またはMLベース）
キーフレームデータをエクスポートする（位置、回転、スケール）
データをCGI要素またはエフェクトに適用する

歴史と発展

最も初期のモーション・トラッキングソリューションは、カメラの動きを記録し再現可能にしたオプティカル・モーション・コントロール・カメラ（1970年代）でした。デジタルモーション・トラッキングは、1990年代のコンピュータ支援ビデオ・トラッキングから始まりました。

マイルストーン：

1995年： Boujou v1.0（2d3製）が初のリアルタイム3Dトラッキングを導入
2003年： Mocha v1.0がプレーン・トラッキングアルゴリズムで2Dトラッキングに革命を起こす
2007年： PFTrack（Pixel Farm製）が映画用の堅牢な3Dトラッキングを提供する
2010年： After Effectsに特徴点マッチングベースのネイティブトラッカーが搭載される
2015年： ディープラーニングベースのトラッカー（人工知能）が堅牢性を向上させる
2020年～2024年： AI搭載トラッカー（RAFT、LiteFlowNet）が極端なモーションブラーや光の変化下でのトラッキングを可能にする

実践的な使用例

カメラの安定化： 「ボーン・アイデンティティ」（2002年）では、アグレッシブな手持ちフッテージをモーション・トラッキングで安定化させ、CGI要素を正確に配置しました。ブレのあるスタントショット1つに、40時間以上の3Dトラッキングが必要でした。

移動するオブジェクトへのビジュアルエフェクト： マーベル映画では、モーション・トラッキングを使用して、移動する武器にグローエフェクトやレーザーエフェクトをバインドします。「アイアンマン3」（2013年）の「スターク・インダストリーズ」のロゴは、3Dトラッキングを使用してドローンにバインドされました。

安定化とVFX統合： 「Dune: Part Two」（2024年）では、巨大なサンドワームのCGI要素をカメラの動きに合わせるために、モーション・トラッキングが不可欠でした。速いカメラの動きを伴う5秒間のショット1つに、正確な配置のために15～20時間の3Dトラッキングが必要でした。

テキストオーバーレイと拡張現実： スポーツ中継では、モーション・トラッキングを使用して、統計オーバーレイをプレイヤーに安定してバインドします。これには、24fpsの遅延でのリアルタイム・トラッキングが必要です。

トラッキングアルゴリズム

相関ベース（最も古い方法）：

テンプレート内のピクセル値を連続するフレームと比較します
安定した照明下で堅牢です
高速（リアルタイム可能）
照明の変化や速い動きでエラーが発生しやすい

オプティカルフロー（現代の標準）：

各ピクセルの動きベクトルを計算します
照明の変化に対して堅牢です
密な動きのフィールドで正確です
計算負荷が高い（相関の10～100倍遅い）

機械学習（AIベース、2020年以降）：

数百万のビデオフレームでトレーニングされています
極端な条件（モーションブラー、光の変化）でも堅牢です
オクルージョンを越えてトラッキングできます
例：RAFT、LiteFlowNet、FlowNet2

エラーの可能性と解決策

問題	原因	解決策
ジッタリング（ちらつき）	トラッカーまたは特徴点が少ない	トラッカーを増やす、高解像度を使用する
ドリフト（時間経過によるずれ）	特徴点が消失または変化する	2番目のトラッカーを後で開始する、またはキーフレームを手動で修正する
誤マッチ	特徴点が他の場所と類似しすぎている	特徴点の特異性を高める（コントラストを強調する）
オクルージョン時のトラッキングブレークダウン	オブジェクトが別のオブジェクトの後ろに移動する	オクルージョン処理付きの3Dトラッキングを使用する

辞典を続ける