2Dフッテージの奥行きをシミュレートするデジタルコンポジティング技術——モーションパララックスと被写界深度を後処理で計算。3D再構成より安いが極端な角度では明らかに人工的。
平坦な2D素材(古い映像、ストックフッテージ、または解像度の低いデジタルソース)があり、突然奥行き、視差(パララックス)の動き、または顕著な被写界深度効果が必要になったとします。ここでノト・プロセスが登場します。これは、複雑な3Dモデリングではなく、インテリジェントなピクセルシフトと局所的な変形によって空間情報を再構築します。アルゴリズムは、元のフレームのエッジ、テクスチャ、および動きのパターンを分析し、カメラが実際に空間を移動した場合に個々のレイヤーがどのように移動するかを計算します。結果:実際のジオメトリなしの合成視差。
撮影現場では、これにより実際の制作時間を節約できます。静止または最小限の動きのショットを撮影し、コンポジターが後でカメラ内移動の視覚的印象を作成します。軽いズームアウトの模倣、横方向のフローティング、または被写界深度シミュレーションです。これは、完全な3D再構築にかかる費用のほんの一部です。適度な効果(浅いフォーカス、数パーセントの微妙なカメラ視差)では、素材はかなりきれいに見えます。このプロセスは、より極端な角度やオブジェクトが互いに重なり合う場合にのみ認識されます。アルゴリズムには実際のジオメトリがなく、オクルージョンを「正しく」解決できないため、人工的になります。
実際には、これは編集またはコンポジットスイートでフッテージをロードし、「深度レイヤー」(前景、中景、後景)を大まかにマークする(手動または自動セグメンテーションによる)ことで機能します。次に、プロセスがシフトベクトルを計算します。最新の実装では、機械学習を使用してエッジをよりインテリジェントに認識します。これにより、ポイントトラッキングや手動のロトスコープ作業と比較して、大幅な時間を節約できます。良いユースケース:古いアーカイブ映像を最新のプロダクションで使用し、シーンを再撮影することなく、微妙に多くの空間ダイナミクスが必要な場合。
実際のオブジェクトジオメトリが見えるようになると、限界があります。人が腕の位置を変更した場合、このプロセスはそれを「理解」できません。ピクセルのずれしか見えません。極端なカメラズームまたは速いパンは、エッジや細かいディテールにアーティファクトを引き起こします。5〜10秒続く設定で、「仮想カメラ」の動きが最大10〜15°必要な場合、ノトは堅実です。それ以降は、実際の3D再構築または再撮影を行う方が良いでしょう。