光パターンの電子的オーディオ信号への変換——1920年代のアヴァンギャルド技術。オスカー・フィッシンガーらは光合成器を使用して視覚形から音を生成した。
鉛筆ではなく光で録音する――それがオプトフォニー(Optophonie)の本質です。そのアイデアは、フィルムに描いたり、光源で生成したりした視覚的な形状を、光電セルで読み取り、直接音声信号に変換するというものです。記譜法を経由せず、従来のシンセサイザーハードウェアも不要。光そのものが音の担い手となるのです。
1920年代、オスカー・フィッシンガーのような芸術家や他のアバンギャルドたちがこの技術で実験しました。彼らはフィルムストリップに描いたり、幾何学的な形状をライトディスク上で動かしたりし、映写機からサウンドが流れ出ました。ミュージシャンも楽器のマイキングも不要。純粋な光から音への変換です。フィッシンガーはこれを抽象映画に利用し、視覚的な構成と音響的な構成が一体となった――文字通り同じものであった――作品を生み出しました。音の生成は視覚的に制御可能であり、撮影現場や編集プロセスで直接行うことができました。
実際には、次のように機能します。光電子走査装置(当初はフォトセル、後に複雑なセンサー)が、フィルムストリップまたは投影された光源の明るさの値に追従します。明るさが高いと周波数が高く、特定の形状は異なる音色に対応します。つまり、サインカーブを描けば、それがサイン波として聴こえます。ノコギリ波の波形を描けば、ノコギリ波のサウンドが聴こえます。これは直接的な視覚合成であり、現代の光学合成手法やサンプルベースのサウンドデザインアプローチの先駆けです。
今日、オプトフォニーは生産的な用途ではあまり使われていませんが、その考え方はスペクトログラム、ウェーブレット、周波数ベースの可視化といったデジタル手法の中に生き続けています。一部の実験的な映画製作者やサウンドアーティストは、映像と音の密接な結びつきを再体験するために、そして音が独立して作曲される必要はなく、視覚性から生まれることができることを示すために、意図的にこの技術に立ち返ります。それは、音と映像が物理的なレベルで関連しており、共感覚的に一緒に考えることができるということを思い出させてくれます。