Visuelle Effekte mit generativen KI-Modellen — Inpainting, Object-Removal, automatisches Roto und Diffusion-basiertes Compositing seit 2024.
KI-VFX ist die Sammelbezeichnung für visuelle Effekte, deren Erzeugung oder Bearbeitung auf generativen KI-Modellen beruht. Im Unterschied zum klassischen VFX, das auf Compositing-Software wie Nuke oder After Effects aufsetzt, kommen hier Diffusion-Modelle, Vision-Transformer und feed-forward-Neural-Nets zum Zug — entweder als Standalone-Tool oder als Plug-in im NLE.
Pipeline-Position
KI-VFX greift überwiegend in der Post-Production. Typische Aufgaben: Object-Removal (Drahtkrane, Boom-Mics, Reflexionen), Inpainting hinter ausgeschnittenen Subjekten, Roto ohne manuellen Frame-by-Frame-Pull, Background-Replacement ohne Greenscreen, Re-Lighting bestehender Aufnahmen, Style-Transfer für ganze Sequenzen.
Tools 2026
- Runway Gen-4 / Gen-4.5 — Reference-to-Video, Multi-Shot-Sequencing, native Audio-Generierung.
- Wonder Dynamics (Autodesk Flow Studio) — Markerless Body-Tracking + automatisches Character-Replace.
- Meta SAM 3 — Rotoskopie, 3D-Object-Gen aus Image/Video, kostenlos via Playground.
- Beeble Switch X — Generative Re-Lighting + Background-Swap mit Subject-Consistency.
- Netflix VOID — Open-Source Object-Removal mit Physik-Awareness, Apache-2.0.
- NVIDIA Lyra 2.0 — Single-Image zu begehbarer 3D-Welt, Open-Weights auf HuggingFace.
- Topaz Video AI — Upscaling, Frame-Interpolation, Stabilization als Pre-Edit-Schritt.
- DaVinci Resolve 21 — Eight new AI-Tools nativ in der Edit-Page (Reshaper, Speech-Gen, IntelliSearch).
- Adobe Firefly Video Editor — Text-based Editing, Generative SFX, Color Mode.
Praxis am Set
Der wichtigste Wandel ist nicht das Tool — es ist die Set-Disziplin. Wenn ein Background später ersetzt wird, muss die Lighting-Continuity tighter sein, nicht laxer. Die Beleuchtung des Subjects soll dem späteren Compositing-Background passen, sonst sieht das Endergebnis aus wie ein Greenscreen-Cutout. DPs planen ihre Schlüsselszenen heute mit dem späteren KI-VFX-Workflow im Hinterkopf, nicht erst in der Post.
Tipps aus der Praxis
- Reference-Frames immer mitfilmen — auch bei Plates, die später vollständig ersetzt werden. Ein 5-sec-Reference im Lighting-Setup spart in der Post Stunden.
- Audio-Plates ebenso: Room-Tone und Walla werden bei KI-Background-Swaps oft vergessen, dann fehlen sie für die Sound-Continuity.
- Frame-Rate-Konsistenz ist Pflicht. KI-Tools rechnen am sauberstens auf 24 fps Cinema-Standard; Mischformen mit 30/60/120 fps verursachen Tracking-Fehler.
- Output-Format vorab klären: 1080p ist für Streaming okay, 4K-DCI für Kino-Master. Manche Tools rendern intern niedrigere Auflösungen und upscalen — das fällt am Großbild-Screening auf.
Geschichte
Die Vorboten waren 2022 — Stable Diffusion macht Inpainting in Photoshop-Plugins salonfähig. 2023 kommt Runway Gen-2 als erstes serientaugliches Video-Tool, gefolgt von Pika 1.0. 2024 markiert den Sprung in Hollywood-Pipelines: Industrial Light & Magic adoptiert Wonder Dynamics, ARRI baut KI-Module in ihre Workflow-Tools ein, und mit OpenAIs Sora-Demo wird Text-to-Video Mainstream-Diskurs. 2025 stürzt Sora dann ab (App-Shutdown 26.04.2026), und der Markt sortiert sich um Open-Source-Modelle (Hunyuan, Wan 2.7, LTX-2) und Closed-API-Premium (Veo 3.1, Kling 3.0, HappyHorse 1.0).