Bewegungsverfolgung est une technique de capture automatique ou semi-automatique de données de mouvement à partir du matériel vidéo pour une utilisation en composition, effets ou contrôle de mouvement.
Détails Techniques
Le Motion Tracking capture des informations de mouvement 2D ou 3D à partir de séquences vidéo. Les types de suivi typiques :
Suivi 2D (Suivi Planar 2D) : Suit la position d'un point (XY) ou d'un plan (position, rotation, échelle) au fil du temps. Outils standards : After Effects Tracker, Mocha Pro (Suivi Planar), Natron. Basé sur la correspondance de caractéristiques par corrélation ou algorithmes de flux optique.
Suivi 3D (Match-Moving) : Capture la position et la rotation de la caméra dans l'espace 3D. Logiciels avancés : SynthEyes, PFTrack, Nuke Camera Tracker, Boujou (obsolète). Nécessite des points 3D dans l'espace et une calibration des intrinsèques de la caméra.
Suivi par Flux Optique : Suivi de mouvement basé sur les pixels, qui détermine le flux d'intensité des pixels sur plusieurs images. Utilise les propriétés de gradient des images. Bon pour les champs de mouvement denses, moins bon pour le suivi au niveau de l'objet.
Les étapes du flux de travail :
- Importer le métrage (séquences ProRes, DNxHD ou RAW)
- Placer des points de suivi sur des caractéristiques stables (bords de contraste)
- Appliquer l'algorithme de suivi (basé sur la corrélation ou le ML)
- Exporter les données de keyframes (position, rotation, échelle)
- Appliquer les données sur des éléments CGI ou des effets
Histoire & Développement
La première solution de motion tracking était la caméra à contrôle de mouvement optique (années 1970), qui enregistrait et rendait reproductibles les mouvements de caméra. Le motion tracking numérique a commencé avec le suivi vidéo assisté par ordinateur dans les années 1990.
Jalons :
- 1995 : Boujou v1.0 (par 2d3) introduit le premier suivi 3D en temps réel
- 2003 : Mocha v1.0 révolutionne le suivi 2D avec son algorithme de suivi planar
- 2007 : PFTrack (Pixel Farm) offre un suivi 3D robuste pour le cinéma
- 2010 : After Effects intègre un tracker natif, basé sur la correspondance de caractéristiques
- 2015 : Les trackers basés sur l'apprentissage profond (Intelligence Artificielle) améliorent la robustesse
- 2020-2024 : Les trackers assistés par IA (RAFT, LiteFlowNet) permettent le suivi dans des conditions extrêmes de flou de mouvement et de changements de lumière
Utilisation Pratique
Stabilisation de caméra : Dans « La Mémoire dans la peau » (2002), des plans tournés à la caméra à l'épaule ont été stabilisés par motion tracking pour placer correctement les éléments CGI. Un seul plan de cascade avec un mouvement tremblant a nécessité plus de 40 heures de suivi 3D.
Effets visuels sur objets en mouvement : Dans les films Marvel, le motion tracking est utilisé pour lier des effets de lueur ou des effets laser à des armes en mouvement. Le logo « Stark Industries » dans « Iron Man 3 » (2013) a été fixé à un drone grâce au suivi 3D.
Stabilisation et intégration VFX : Dans « Dune : Deuxième Partie » (2024), le suivi de mouvement a été essentiel pour adapter les éléments CGI massifs des vers des sables aux mouvements de caméra. Un seul plan de 5 secondes avec un mouvement de caméra rapide a nécessité 15 à 20 heures de suivi 3D pour un placement précis.
Superpositions de texte et réalité augmentée : Pour les retransmissions sportives, le motion tracking est utilisé pour lier des superpositions de statistiques aux joueurs de manière stable. Cela nécessite un suivi en temps réel avec une latence de 24 ips.
Algorithmes de Suivi
Basé sur la corrélation (méthode la plus ancienne) :
- Compare les valeurs de pixels dans un modèle avec les images successives
- Robuste en cas d'éclairage stable
- Rapide (possible en temps réel)
- Sujet aux erreurs en cas de changements d'éclairage ou de mouvements rapides
Flux Optique (standard moderne) :
- Calcule les vecteurs de mouvement pour chaque pixel
- Robuste aux changements d'éclairage
- Précis pour les champs de mouvement denses
- Intensif en calcul (10 à 100 fois plus lent que la corrélation)
Apprentissage Automatique (basé sur l'IA, depuis 2020) :
- Entraîné sur des millions d'images vidéo
- Robuste même dans des conditions extrêmes (flou de mouvement, changements de lumière)
- Peut suivre à travers les occlusions
- Exemples : RAFT, LiteFlowNet, FlowNet2
Erreurs Possibles et Solutions
| Problème | Cause | Solution |
|---|---|---|
| Jittering (scintillement) | Trop peu de trackers ou de caractéristiques | Ajouter plus de trackers, utiliser une résolution plus élevée |
| Drift (dérive dans le temps) | La caractéristique disparaît ou change | Démarrer un second tracker plus tard ou corriger manuellement les keyframes |
| Faux positif | La caractéristique est trop similaire à d'autres endroits | Augmenter la spécificité de la caractéristique (renforcer le contraste) |
| Rupture du suivi lors d'occlusion | L'objet se déplace derrière un autre objet | Utiliser le suivi 3D avec gestion des occlusions |