SIGGRAPH 2014 : tracking et animation faciale temps réel

Displaced Dynamic Expression Regression for Real-time Facial Tracking and Animation

Cao Chen, Qiming Hou et Kun Zhou présentent au SIGGRAPH leur publication Displaced Dynamic Expression Regression for Real-time Facial Tracking and Animation.
Leur recherche porte sur le tracking et l’animation faciale, à partir d’une seule caméra vidéo.
L’outil a « appris » à fonctionner à partir de banques d’images (14 460 photos de visages sur lesquelles 74 points remarquables ont été positionnés, comme le coin des lèvres ou le contour du visage), et peut désormais être utilisé sur n’importe quel visage. Pas besoin de calibration pour chaque utilisateur.
A partir de la vidéo d’un visage, le système localise seul les points remarquables du visage et détermine la forme 3D du visage. Il utilise ensuite ces données pour mieux suivre les expressions faciales. Expressions qui sont donc capturées, et peuvent être appliquées à un modèle 3D en temps réel.

Si d’autres méthodes du même type existent déjà, les avantages de cette approche sont sa robustesse et sa précision. Ce modèle Displaced Dynamic Expression (DDE) supporte bien mieux les environnements lumineux changeants, et gère relativement bien l’occlusion. Il a en plus le mérite d’être rapide (28 fps), ce qui le rend utilisable pour des applications grand public.

A Lire également