画像に畳み込みマスクを適用する——ピクセルが隣接ピクセルと乗算・加算される。コンポジティングと色補正の中核操作。
畳み込みマスクを適用するとは、画像の各ピクセルをその近傍のピクセルと組み合わせることであり、デジタル画像処理において基本的な数学的演算です。マスク(通常3×3または5×5の小さなカーネルグリッド)は、画像全体をスライドさせます。各位置で、マスクの下にある各ピクセルは係数で乗算され、すべての積が合計され、その結果が新しいピクセル値として書き込まれます。これは抽象的に聞こえますが、その結果はすぐに認識できます。ぼかし、エッジ強調、ノイズリダクション—これらすべてが畳み込みです。
実用的なコンポジットでは、常に畳み込みが必要です。Nukeのブラーノードは畳み込みです—それは各ピクセルとその近傍を重み付きパターンで混合します。シャープフィルターも同様に機能します。中央のピクセルの重みは高く、近傍のピクセルの重みは負の値です。エッジ検出(Sobel、Laplacian)も純粋な畳み込みです—特別なカーネルが輝度エッジを強調します。カーネルがすべてを定義することがすぐにわかります。ガウスぼかしは、係数がガウス分布を表すカーネルにすぎません。
グレーディングとカラーコレクションは、空間的効果のために畳み込みを利用します。カラー調整前の局所的なぼかし、適応的畳み込みによるノイズリダクション、または空間周波数分離—これらはすべて畳み込みです。一部のグレーディングソフトウェアはカスタムカーネルエディターを提供しているため、珍しい効果を作成できます。RedワークフローまたはDaVinci Resolveでは、気付かずに畳み込みを適用している場合があります。ピクセル近傍を考慮するすべての空間的ぼかし、すべてのノイズ除去操作は畳み込みです。
パフォーマンスに関する注意:大きなカーネル(11×11以上)はコストがかかる可能性があります—それらは位置ごとに121以上の近傍ピクセルをサンプリングします。GPUアクセラレーションにより高速に実行されます。分離可能なカーネル(例:水平畳み込み、次に垂直畳み込み)は、計算時間を大幅に節約します。セットまたはポストプロダクションでは、単純なガウスぼかしは事実上無料であることを知っておく必要があります。境界処理(拡張、ラップ、ミラー?)を備えたカスタムカーネルは、意図的に設定しないと、画像エッジにアーティファクトが発生する可能性があります。畳み込みは新しいものではありません—信号処理に由来しますが、最新のVFXパイプラインでは遍在しており、しばしば目に見えません。