デピクセレーション

ピクセルブロックは、モーションブラー、圧縮、アップスケーリングによって映像が分解されることで発生します。突然、モニターに滑らかな動きではなく、不快なジャギーが見えるようになります。デピクセリングは、まさにこの問題に対処します。インテリジェントなフレーム補間やAIベースのアルゴリズムによって、粗いエッジが解消され、フレーム間の遷移がより滑らかになります。

撮影現場では、この問題に気づくのはカラーグレーディング中やズーム時であることが多いです。低フレームレートで撮影された速いパンニング動作や、GoProの映像からの圧縮アーティファクトは、ザラザラとしたブロック状の感覚を残します。古典的なデピクセリングは、After Effects（Optical FlowやRE:Mapなどのプラグインを使用）、Nuke、または専門のAIツールのようなソフトウェアで行われます。システムに2つのフレームを入力すると、単純なアップサンプリングよりもはるかにインテリジェントなピクセル予測で、間を補間します。結果として、ぎこちないデジタルなジャンプカットではなく、滑らかな動きが得られます。

AIによる方法は新しく、攻撃的です。数百万の映像ペアでトレーニングされたモデルは、自然な動きがどのように見えるかを学習し、ギャップを数学的にだけでなく、意味論的にも埋めます。これは素晴らしい結果をもたらすことがありますが、ハルシネーション（幻覚）を引き起こす可能性もあります。アルゴリズムは、オリジナルにはなかったディテールを捏造してしまうのです。したがって、重要なVFXショットでは、制御とレビューが必要です。予算と時間があれば、手動のフレームブレンディングがより安全な方法となることが多いです。

デピクセリングを適用する実用的な場面は以下の通りです：古い圧縮された映像をきれいにしたい場合。速いカット動作がデジタル的にぎこちなくなった場合。リアルタイムのモーションキャプチャデータがぎこちなく見える場合。または、スローモーションショット（フレーム数が少ない）をより滑らかに見せたい場合。人工的なスムージングに注意してください。デピクセリングがプラスチックのような見た目にならないようにする必要があります。そして、シーケンス全体を処理する前に、必ず小さなシーンでテストしてください。現代のGPUアクセラレーテッドツールを使えば、以前は数時間かかっていた処理が数分で終わるようになりましたが、それでも品質のためには注意深い目が必要です。