Justus Thies, Michael Zollhöfer, Marc Stamminger, Christian Theobalt et Matthias Nießner présenteront lors de la conférence CVPR 2016 leur publication Face2Face: Real-time Face Capture and Reenactment of RGB Videos.
Ce travail de recherche permet de capturer les expressions faciales d’une personne, et de les appliquer sur la vidéo d’une autre personne. Le tout se fait en temps réel, et à partir de deux entrées vidéo RGB (acteur et vidéo à modifier) : aucun marqueur ou système de capture 3D n’est employé. A noter également, l’incrustation dans la vidéo cible cherche à respecter au maximum l’éclairage et l’aspect du visage, pour que l’astuce soit aussi peu visible que possible.
Pour gérer l’intérieur de la bouche, le système utilise des séquences issues de la vidéo à modifier, en récupérant la portion la plus adaptée et en l’appliquant avec déformations pour donner un résultat crédible.
La page du projet donne plus de détails techniques, mais la publication n’est pas encore en ligne.
On imagine évidemment de nombreux usages pour ce type de technologie, à court ou long terme : correction de dialogues en post-production, lip-sync pour de la VF, modifications de vidéos d’acteurs célèbre pour du détournement ou de la publicité…
