Aperçu
La capture faciale (ou Facial Capture, en français "capture de visage") désigne l'enregistrement des expressions faciales d'un acteur et leur transfert sur un personnage numérique. Des mouvements subtils tels que le clignement des yeux, les mouvements des lèvres, le froncement des sourcils et la tension des joues sont capturés. La capture faciale est un sous-domaine de la capture de performance. Si la capture faciale est combinée à la capture de mouvement corporel (Body Motion Capture), on parle de capture de performance complète.
Contrairement à la capture de mouvement corporel pure, qui repose sur des systèmes de marqueurs optiques dans l'espace, la capture faciale se fait aujourd'hui principalement via une caméra fixée sur la tête de l'interprète. Cela permet à l'acteur de bouger librement tout en enregistrant en continu son visage. Les enregistrements sont ensuite transférés sur le rig facial du personnage numérique dans une étape appelée "solve" (retargeting).
Procédés
En pratique, deux approches fondamentales sont distinguées :
| Procédé | Principe | Caractéristiques |
|---|
| Basé sur marqueurs | Des points/marqueurs peints ou collés sur le visage sont suivis par des caméras. | Haute résolution des points de suivi individuels ; gênant pour l'interprète ; peut forcer un jeu plus marqué. |
| Sans marqueurs | Les caractéristiques naturelles du visage (ailes du nez, coins des lèvres, yeux, rides) sont suivies sans marqueurs par analyse d'image. | Moins contraignant pour l'interprète ; plus gourmand en calcul ; bénéficie grandement d'une haute résolution et d'une haute fréquence d'images. |
Les caméras montées sur la tête (Head-Mounted Camera, HMC) ont joué un rôle central dans la diffusion des procédés sans marqueurs : utilisées pour la première fois à grande échelle dans la pré-production d'"Avatar" (2009) de James Cameron.
Caméra montée sur la tête (HMC)
La HMC est un dispositif de type casque ou monture, dont le bras supporte une ou plusieurs caméras dirigées vers le visage. Selon le modèle, il s'agit généralement d'une à quatre caméras ; la conception et le fabricant varient considérablement. Comme la caméra bouge avec la tête, elle fournit une image constante et remplissant le cadre du visage, indépendamment de l'endroit où l'interprète se déplace dans le volume d'enregistrement.
Utilisation sur le plateau
La capture faciale est utilisée lorsque les expressions faciales d'un acteur doivent animer un personnage entièrement ou partiellement numérique, par exemple pour des personnages photoréalistes en CG, des créatures ou des avatars dans des longs métrages, des séries et des jeux vidéo. L'interprète porte la HMC (souvent en plus d'une combinaison de capture de mouvement pour le corps), joue la scène, et les données faciales sont ensuite transférées sur le visage numérique dans le pipeline VFX. L'apprentissage automatique est de plus en plus utilisé pour automatiser le "solve" des expressions réelles vers le rig du personnage.