Artefatti visivi dove algoritmi generano dettagli inesistenti — problema critico in upscaling e interpolazione di fotogrammi.
Gli algoritmi inventano dettagli che non sono mai stati filmati: questo è il problema principale nell'upscaling moderno e nell'interpolazione dei fotogrammi. Un'allucinazione si verifica quando i modelli di intelligenza artificiale, addestrati su milioni di immagini, aggiungono semplicemente pixel dall'aspetto plausibile in caso di input incompleti o ambigui. Il computer "vede" qualcosa che il direttore della fotografia non aveva davanti all'obiettivo.
In pratica, questo accade continuamente: esegui l'upscaling di materiale 2K a 4K e improvvisamente le case sullo sfondo hanno finestre che non sono mai esistite. Nell'interpolazione dei fotogrammi, ovvero il calcolo di immagini intermedie per il rallentatore, vengono inventati movimenti che sono biomeccanicamente errati. Una mano si muove su un tavolo e l'algoritmo, partendo dall'input sfocato, crea dita in posizioni impossibili. Non si tratta di semplice sfocatura o rumore, è un'invenzione attiva.
La ragione risiede nella natura statistica delle reti neurali: imparano distribuzioni di probabilità, non rappresentazioni esatte. Se l'informazione per il modello è troppo a bassa risoluzione o ambigua, sceglie la soluzione "più probabile", che è spesso abbastanza plausibile da non essere immediatamente riconosciuta come un errore. Diventa particolarmente problematico con l'upscaling estremo (fattore 4:1 e superiore), con movimenti rapidi o con strutture che il set di dati di addestramento ha visto raramente. Un dettaglio sul viso, una scritta su un cartello, riflessi nel vetro: tutto ciò può essere allucinato.
Sul set e nel montaggio, devi avere un occhio critico: non fidarti ciecamente degli strumenti di upscaling automatico. Confronta l'originale e il risultato fianco a fianco, soprattutto nei dettagli che non sono narrativamente importanti (dove gli artefatti inventati sono meno evidenti). Alcuni progetti vanno meglio girando nativamente nella risoluzione più alta piuttosto che con l'elaborazione successiva. Con l'interpolazione dei fotogrammi è simile: per quanto intelligente possa essere il calcolo del movimento, senza il materiale originale rimane speculativo. Per le inquadrature critiche, dove la credibilità conta, non c'è via di fuga dall'interpolazione classica o da una nuova ripresa.