En début d’année, nous avions évoqué plusieurs projets de motion capture faciale s’appuyant sur la caméra TrueDepth de l’iPhone X. Cette dernière permet en effet de récupérer en temps réel des informations sur les mouvements et l’expression d’un visage.
Un de ces projets était issu du travail de Cory Strassburger, cofondateur du studio Kite & Lightning. Dans le cadre du développement du jeu vidéo Bebylon (un futur titre en réalité virtuelle), il cherchait à mettre en place un pipeline de performance capture simple et efficace, à l’aide d’une combinaison de motion capture Xsens et de l’iPhone X.
Si à l’époque le processus était encore fastidieux, le projet a bien avancé depuis : le système qui a été présenté lors du SIGGRAPH fonctionne désormais en temps réel. Par rapport au pipeline de départ qui utilisait (entre autres) V-Ray, Cory Strassburger utilise ici IKINEMA LiveAction pour traiter les données qui sont envoyées et retargetées sur le modèle final, un bébé en 3D, sous Unreal Engine.