Tracking immersivo real-time via HMD o spazio volumetrico — casco o telecamera spaziale cattura il movimento. Base per previz VFX e LED-wall.
La realtà virtuale sul set funziona in modo completamente diverso da quanto si pensi. Non si tratta principalmente di visori per gli spettatori, ma di tracciamento in tempo reale e acquisizione spaziale durante la produzione. Ti siedi sulla sedia del regista, indossi un HMD (Head-Mounted Display) o ti trovi nello spazio volumetrico catturato da un array di telecamere a infrarossi, e vedi immediatamente come appare la tua carrellata pianificata in un ambiente virtuale. La latenza deve essere inferiore ai 20 millisecondi, altrimenti ti sentirai male.
L'applicazione pratica ha tre pilastri: primo, la pre-visualizzazione: testi il blocking, i movimenti di macchina e le sequenze di montaggio prima ancora che una vera troupe si muova. Questo fa risparmiare giorni di riprese. Secondo, lo scouting di location in spazi virtuali: se una location è troppo costosa o inaccessibile, la ricrei in un motore grafico (Unreal, Unity), ti muovi al suo interno, trovi gli angoli di ripresa. Terzo, il compositing dal vivo su schermi LED: lo sfondo segue la tua telecamera reale in tempo reale, perché un sistema di motion capture (OptiTrack, Vicon) rileva i tuoi movimenti e li invia al motore grafico. Questo non è solo efficiente, ma fornisce alla troupe luce reale frontalmente, veri riflessi negli occhi degli attori.
Sul set stesso vedrai tre scenari: il setup VR per la pre-visualizzazione lavora tipicamente con un singolo HMD e una tuta di tracciamento. Il regista o il direttore della fotografia si muove nello studio, mentre i marcatori a infrarossi su spalle, braccia e testa catturano la sua posizione tridimensionale – dieci o dodici telecamere tutt'intorno. Il segnale di output va direttamente al motore VR. Diventa problematico solo per le location all'aperto o quando la luce naturale sovrasta i marcatori. Il secondo scenario è il setup volumetrico: invece di un HMD, non indossi nulla, ma un array di telecamere 4K ti filma da tutte le angolazioni. Il software ti fotogrammetrizza in tempo reale, trasformandoti in una nuvola di punti tridimensionale. Questo è oro per i test VFX: puoi illuminare, ruotare, ridimensionare un attore da qualsiasi angolazione.
Il terzo è il tracciamento su schermo LED: la telecamera reale (RED, ARRI) ha marcatori o un sensore collegato a un sistema di motion capture. Mentre fai panoramiche e movimenti, il sistema invia costantemente posizione e rotazione al motore grafico sullo schermo LED dietro gli attori – lo sfondo parallassa correttamente. Per questo è necessaria una sincronizzazione assolutamente stabile tra telecamera, tracciamento e motore grafico: uno scarto di ±2-3 frame e l'illusione si rompe. L'audio procede in parallelo: la produzione e il DIT devono sincronizzare a livello hardware.
I costi sono considerevoli: attrezzatura, licenza del motore grafico, supporto tecnico in loco – rapidamente 50.000 euro al giorno di riprese. Conviene solo per progetti più grandi, serie o studi con esigenze ripetute. Per un lungometraggio unico, dove le location sono autentiche, è spesso un gioco.