デジタル要素がライブカメラフィードにリアルタイムで重ねられる——ビューファインダーまたはポストで適用。グリーンスクリーン不要。
ライブ配信やドキュメンタリー撮影中に、グリーンバックなしでグラフィック、3Dキャラクター、地図などをライブ映像に重ねたい場合、それは拡張現実（AR）を使用しています。システムはトラッキングマーカーやGPSデータを通じて現実の環境を認識し、カメラ映像にリアルタイムでデジタルオブジェクトをレンダリングします。バーチャルリアリティとは異なり、視聴者は完全に合成された世界にいるのではなく、重ね合わされた要素を持つ通常の環境を見ます。
ライブの実践では、これはファインダーやオンエアフィードで直接行われます。天気、スポーツ、ニュースの放送局はすでにこれを使用しています。気象学者は緑の壁の前に立っていますが、最終製品では視聴者は彼を写実的な天気図の前に見ます。これがARです。これには、トラッキングシステム（モーションキャプチャ、カメラトラッキング、またはマーカーベースのトラッキング）、Unreal EngineとLive Linkのような専用ソフトウェア、またはVizrtやRoss OverDriveのような独自のシステム、そして極めて安定したネットワーク遅延が必要です。100ミリ秒を超えるフレーム遅延は信頼性を損ないます。デジタルコンテンツは明らかに遅れて「浮いて」しまいます。
ポストプロダクションでは、ARに似た技術を後から使用することもできます。撮影後、カメラの動きからトラッキングデータ（3Dトラッキング、ロトスコープ）を抽出し、デジタルアセットをパースペクティブに正しく映像に重ね合わせます。これは真のARというよりは、ARに似た原則を用いたデジタルコンポジットです。従来のグリーンバックに比べての利点は、スクリーンを備えたプロダクション環境や、手間のかかる照明調整が不要で、通常のロケーションで撮影し、後から要素を重ねるだけです。
実用的なヒント：ARトラッキングにはアンカーが必要です。システムが幾何学的に「固定」できるポイントや面です。ニューススタジオでは、特別にマークされた壁がそれにあたります。モバイルでの使用（現場からのレポート）では、GPSや周囲の構造を認識するナチュラルフィーチャートラッキングを使用します。環境が構造化され、一貫しているほど、システムは安定して動作します。混沌とした屋外シーンでの動的なトラッキングは依然として課題であり、CPUとGPUの負荷は大きいです。