GPU-based real-time image generation via game engine, enabling Virtual Production and in-camera VFX on LED volumes.
Real-Time Rendering refers to the generation of computer-generated images that are calculated and displayed immediately as the scene changes. In contrast to classic Pre-Rendering (Offline Rendering), where individual frames are calculated in advance over hours on a render farm, images in Real-Time Rendering are created interactively and can be changed live.
On set, Real-Time Rendering is not a standalone device but the technical foundation of Virtual Production and especially In-Camera VFX (ICVFX): a game engine calculates the digital environment in real-time and plays it out on an LED wall or LED volume surrounding the actors and the physical set. The content is filmed directly by the camera instead of being composited later via greenscreen.
The image is calculated by a GPU (Graphics Processing Unit) instead of a CPU render farm. Common engines include Unreal Engine (Epic Games) and Unity. To ensure the perspective on the LED wall matches camera movement, the camera's position and lens are captured by a camera tracking system and fed back to the engine; the rendered view (frustum) follows the camera in real-time.
For the camera, render pipeline, and LED processors to work together without image tearing, all components must be synchronized to a common studio clock via Genlock and timecode. A crucial requirement is low latency, so that the displayed environment follows camera movement without delay.
| Feature | Real-Time Rendering | Pre-Rendering (Offline) |
|---|---|---|
| Calculation | immediate, interactive (GPU) | in advance, non-interactive (render farm) |
| Scene Adjustment | possible live on set | only by re-rendering |
| Priority | speed / interactivity | maximum image quality |
| Typical Use | Virtual Production, ICVFX, Previs | final VFX shots, classic CGI |
Note: Specific latency and frame rate requirements depend on the studio setup, the hardware used, and the shooting frame rate and should be evaluated on a project-specific basis.
Als DoP kann ich erstmals die finale Bildwirkung inklusive VFX direkt im Sucher beurteilen und Lichtstimmung sowie Farbtemperatur in Echtzeit anpassen. Die LED-Walls erzeugen natürliche Reflexionen auf Objekten und Gesichtern, wodurch aufwändiges Relighting in der Postproduktion entfällt. Allerdings muss ich Kamerabewegungen präzise mit dem Tracking-System abstimmen, da jede Abweichung zu Parallax-Fehlern führt.
Ich kann komplette Szenen mit finalen VFX-Hintergründen drehen und dabei spontan Kamerapositionen oder Tageszeiten ändern, ohne die Crew warten zu lassen. Die Schauspieler reagieren authentischer auf die realistischen Environments statt auf Tennis-Bälle vor Green-Screen. Gleichzeitig erhalte ich die kreative Kontrolle zurück, da ich visuelle Entscheidungen am Set treffe statt sie Monate später in der Post zu korrigieren.
Virtual Production reduziert meine Postproduktionskosten um 30-40%, da 70% der VFX bereits am Set entstehen und weniger Iterationen nötig sind. Die LED-Stage kostet zwar 200.000€ pro Woche, erspart aber teure Location-Reisen und Wetterabhängigkeiten. Durch die verkürzte Postproduktion kann ich Filme 8-12 Wochen früher ausliefern und Cashflow-Probleme vermeiden.
1. Was beschreibt „Echtzeit-Rendering" am besten?
2. Zu welchem Department gehört „Echtzeit-Rendering"?
3. Wie viele verschiedene Fachperspektiven bietet dieser Eintrag?
The Lexikon is part of the Filmfarm ecosystem — alongside budgeting (FilmBalance), an industry magazine (FilmCircus) and crew networking (FilmCall, CrewMesh). One shared vocabulary for the whole production.