Disney Research
Accueil » Performance capture : pour Disney, la barbe n’est plus un problème

Performance capture : pour Disney, la barbe n’est plus un problème

L’équipe Disney Research profite comme chaque année du SIGGRAPH pour présenter ses dernières avancées technologiques.
La publication Facial Hair Tracking for High Fidelity Performance Capture a retenu notre attention : de la performance capture sans rasage !

Le fil du rasoir, un passage obligé par le passé

En effet, jusqu’ici les pipelines de production typiques ne géraient pas la pilosité faciale. Les techniques de reconstruction 3D et tracking sont pensées pour des surfaces classiques, pas pour des poils fins et avec de l’occlusion.

On demandait donc aux acteurs de raser barbe et moustache avant une séance de capture, ce qui peut poser de multiples problèmes, de la star refusant de modifier son apparence aux obligations pour d’autres films : on se souvient des reshoots de Justice League avec Henry Cavill, contractuellement obligé de garder sa moustache pour le film Mission Impossible: Fallout qu’il tournait en même temps. Et plus globalement, cette contrainte imposait de faire la performance capture en amont ou aval du tournage, mais pas pendant.
Bref : il s’agissait d’une contrainte forte.

Notons que les sourcils cachent également une partie du visage : une solution gérant les barbes et moustaches pourrait donc être utile même pour les visages fraîchement rasés.

Une capture au poil

C’est ici qu’intervient le projet de recherche Disney, la première méthode de performance capture faciale capable de fonctionner avec pilosité faciale.

Pour y parvenir, Disney adopte une approche qui passe par la division de la capture en deux parties qui viennent se rejoindre :

  • la reconstruction et le tracking de la peau du visage, avec une estimation approximative des zones masquées par la pilosité ;
  • la reconstruction de la pilosité elle-même (en partant d’une une pose neutre) puis son tracking ;
  • on tire de ces deux éléments un résultat amélioré.
Crédit : Facial Hair Tracking for High Fidelity Performance Capture

En pratique, le tracking de la peau et de la pilosité sont couplés et traités en alternance, avec de multiples étapes d’affinage : le tracking des poils permet d’améliorer la précision du tracking de la peau en rajoutant une contrainte puisque les poils sont forcément implantés sur la peau : ils ne peuvent ni flotter ni être « dans » la peau.
L’image ci-dessous donne une idée des effets de cet affinage : en bas à gauche, l’estimation initiale du visage et des poils reconstruits, à en bas à droite le résultat affiné.

Les couleurs sur le visage de droite donnent une idée de l’ampleur de la différence entre la version brute et la version affinée (jusqu’à 5mm de décalage).
Crédit : Facial Hair Tracking for High Fidelity Performance Capture

La vidéo de présentation donne une idée des résultats, plutôt convaincants même si les poils ne sont pas toujours trackés à la perfection.

Enfin, Disney souligne que son pipeline permet d’éditer la barbe ou la moustache : en modifiant le style ou la longueur de la pilosité en pose neutre évoquée plus haut, on va pouvoir répercuter ces changements sur toute la performance. Des exemples sont visibles en fin de vidéo (4 minutes 34).
Autrement dit, on peut transformer un bouc en moustache, rendre une barbe plus fournie, épaissir ou affiner une moustache. Ou, bien entendu, supprimer totalement barbe et moustache.
De quoi faire rêver les studios confrontés face à des situations similaires à celles vécue par Henry Cavill.

Et après ?

Comme toujours en recherche, des limitations sont présentes, et des améliorations possibles. On citera par exemple le fait que Disney n’a pas fait de tests sur de très grandes barbes, qui masqueront davantage le visage. Ou encore le fait que la méthode risque de donner de mauvais résultats si la couleur de la peau et des poils sont trop proches, par exemple avec une peau et une barbe noires.

Même si Disney ne l’évoque pas, on peut également se demander si ce type d’approche ne pourrait pas permettre d’améliorer la motion capture d’animaux, comme des chats et chiens. Une piste à explorer pour le SIGGRAPH 2023, qui sait ?

Pour en savoir plus

On trouvera chez Disney la publication complète avec plus de détails sur la méthode, sa mise en application et ses limites.
Facial Hair Tracking for High Fidelity Performance Capture est une publication de Sebastian Winberg (DisneyResearch|Studios/ETH Zurich), Gaspard Zoss (DisneyResearch|Studios/ETH Joint PhD), Prashanth Chandran (DisneyResearch|Studios/ETH Joint PhD), Paulo Gotardo (DisneyResearch|Studios), Derek Bradley (DisneyResearch|Studios).

Laissez un commentaire

A Lire également