Efectos visuales generados con modelos de IA generativa — inpainting, eliminación de objetos, rotoscopia automática y composición basada en difusión desde 2024.
Los VFX de IA son el término general para los efectos visuales cuya generación o procesamiento se basa en modelos de IA generativa. A diferencia de los VFX clásicos, que se basan en software de composición como Nuke o After Effects, aquí se utilizan modelos de difusión, Vision Transformers y redes neuronales feed-forward, ya sea como herramientas independientes o como plugins en el NLE.
Posición en el Pipeline
Los VFX de IA se utilizan principalmente en postproducción. Tareas típicas: eliminación de objetos (grúas, micrófonos boom, reflejos), inpainting detrás de sujetos recortados, rotoscopia sin extracción manual fotograma a fotograma, reemplazo de fondos sin pantalla verde, reiluminación de tomas existentes, transferencia de estilo para secuencias completas.
Herramientas 2026
- Runway Gen-4 / Gen-4.5 — Referencia a video, secuenciación multi-toma, generación nativa de audio.
- Wonder Dynamics (Autodesk Flow Studio) — Seguimiento de cuerpo sin marcadores + reemplazo automático de personajes.
- Meta SAM 3 — Rotoscopia, generación de objetos 3D a partir de imagen/video, gratuito a través de Playground.
- Beeble Switch X — Reiluminación generativa + intercambio de fondo con consistencia de sujeto.
- Netflix VOID — Eliminación de objetos de código abierto con conciencia física, Apache-2.0.
- NVIDIA Lyra 2.0 — De imagen única a mundo 3D transitable, pesos abiertos en HuggingFace.
- Topaz Video AI — Escalado, interpolación de fotogramas, estabilización como paso previo a la edición.
- DaVinci Resolve 21 — Ocho nuevas herramientas de IA de forma nativa en la página de edición (Reshaper, generación de voz, búsqueda inteligente).
- Adobe Firefly Video Editor — Edición basada en texto, efectos de sonido generativos, modo de color.
Práctica en el Set
El cambio más importante no es la herramienta, sino la disciplina en el set. Si un fondo se va a reemplazar más tarde, la continuidad de la iluminación debe ser más estricta, no más laxa. La iluminación del sujeto debe coincidir con el fondo de composición posterior, de lo contrario, el resultado final parecerá un recorte de pantalla verde. Los directores de fotografía hoy en día planifican sus escenas clave teniendo en cuenta el flujo de trabajo de VFX de IA posterior, no solo en postproducción.
Consejos Prácticos
- Grabar siempre fotogramas de referencia, incluso para tomas que se reemplazarán por completo más tarde. Una referencia de 5 segundos en la configuración de iluminación ahorra horas en postproducción.
- Platos de audio también: el tono de sala y el "walla" a menudo se olvidan en los intercambios de fondo de IA, y luego faltan para la continuidad del sonido.
- La consistencia de la velocidad de fotogramas es obligatoria. Las herramientas de IA calculan de forma más limpia a 24 fps estándar de cine; las formas mixtas con 30/60/120 fps causan errores de seguimiento.
- Aclarar el formato de salida de antemano: 1080p está bien para streaming, 4K-DCI para masters de cine. Algunas herramientas renderizan internamente resoluciones más bajas y escalan; esto se nota en las proyecciones en pantalla grande.
Historia
Los precursores fueron en 2022: Stable Diffusion hizo que el inpainting en plugins de Photoshop fuera aceptable. En 2023, Runway Gen-2 se convirtió en la primera herramienta de video lista para producción en serie, seguida de Pika 1.0. 2024 marca el salto a los pipelines de Hollywood: Industrial Light & Magic adopta Wonder Dynamics, ARRI integra módulos de IA en sus herramientas de flujo de trabajo, y con la demostración Sora de OpenAI, el texto a video se convierte en un discurso generalizado. En 2025, Sora se cae (cierre de la aplicación el 26.04.2026), y el mercado se reorganiza en torno a modelos de código abierto (Hunyuan, Wan 2.7, LTX-2) y premium de API cerrada (Veo 3.1, Kling 3.0, HappyHorse 1.0).