Accueil » SIGGRAPH 2013 : ILM, animation faciale temps réel avec correctifs à la volée

SIGGRAPH 2013 : ILM, animation faciale temps réel avec correctifs à la volée

Temps de lecture : 2 minutes

ILM - SIGGRAPH 2013

Hao Li, Jihun Yu, Yuting Ye et Chris Bregler, chercheurs chez ILM, présentent une publication destinée au SIGGRAPH 2013 : Realtime Facial Animation with On-the-fly Correctives.
Il s’agit d’un système de motion capture faciale temps réel, sans calibration et qui s’appuie sur un capteur avec vidéo et mesure de profondeur (Kinect ou appareil du même type).

Grâce à un pipeline reposant sur un modèle de tracking adaptatif, le système s’ajuste à la volée et apprend progressivement progressivement durant la capture de la performance, ce qui permet d’obtenir un résultat final correct sans session d’entraînement. Pas besoin non plus de faire une seconde session de capture.

ILM - SIGGRAPH 2013
Ci-dessus, le pipeline de capture. Image ILM, issue de la publication du SIGGRAPH.

En combinant les informations de la caméra et du système de capture de profondeur, et donc en disposant à la fois des détails de textures et de relief, le système permet, selon ses auteurs, d’obtenir un résultat qui est non seulement plus précis que les méthodes précédentes, mais aussi plus expressif.

La vidéo ci-dessous donne une idée du concept et des résultats. Comme on le voit, l’adaptation du système est immédiate, et il est possible de changer rapidement d’utilisateur.
Le site de Hao Li propose plus de détails, et la publication complète (9 pages).

A Lire également