Paul Debevec : acteurs numériques photoréalistes et interview

Des progrès notables sont à prévoir dans les années à venir pour les méthodes de capture telles que Light Stage. Ainsi, la publication Measurement-based Synthesis of Facial Microgeometry (SIGGRAPH 2012 et Eurographics 2013) issue du laboratoire dirigé par Debevec présente une méthode permettant de capturer et simuler les microdétails de la peau, avec des textures 16k à la clé. La méthode peut se décomposer en deux grandes parties :

– capture de détails de la peau sur des zones précises du visage (nez, joue, front…) à l’aide de photo macro et d’éclairage polarisé. En récupérant uniquement la composante spéculaire de l’éclairage, on capture en effet les petits détails de la peau, avec une résolution de 10 micromètres : pores, rides, etc.

– un système de synthèse de texture utilise les données capturées sur différentes zones pour reconstruire une texture du visage complet : il ne s’agit donc pas d’une copie conforme des détails du visage capturé, mais d’une texture qui respecte ses caractéristiques (taille des pores de la peau au niveau du nez ou de la joue, par exemple).

Ci-dessous, vidéo de présentation du projet.

Pour finir sur la capture de visages humains, Debevec a abordé la 3D temps réel avec le projet Digital Ira, présenté par NVIDIA lors de la GTC 2013 et par Activision lors de la GDC de la même année.
Si le rendu diffère (chaque société ayant élaboré sa propre démo), la base est la même : Light Stage a permis de créer des scans qui ont servi pour les blendshapes.

Un système de weightmap dynamique et de blending de textures a ensuite permis d’animer et rendre le visage du modèle.

Présentation du projet lors de la keynote NVIDIA de la GTC 2013 ; la démo débute vers 8 minutes 40 secondes. Le système tourne en temps réel sur une GeForce GTX Titan.

Présentation des travaux d’Activision sur les visages 3D temps réel lors de la GDC 2013. Jorge Jimenez , un des membres de l’équipe, a mis en ligne des visuels et informations supplémentaires.

A la fin de sa présentation, Paul Debevec est revenu sur un projet qui pourrait servir de débouché à son travail sur les hologrammes 3D : la capture de témoignages de survivants de l’holocauste, dans un Light Stage. Le but serait de pouvoir, même lorsque tous auront disparu, garder des témoignages rendus plus vivants grâce aux hologrammes. Mieux encore, en travaillant sur l’intelligence artificielle, la reconnaissance vocale et en enregistrant des séquences sur des thèmes précis, on peut imaginer une interaction : le spectateur pose une question à l’hologramme sur un thème, et la séquence la plus appropriée est présentée.
Il s’agit bien évidemment d’un projet à long terme, les procédés dits holographiques étant encore loin d’être assez performants et pratiques pour un tel usage.

Le projet est issu d’une collaboration entre la Soah Foundation de l’Université de Californie du Sud et l’Institut pour les Technologies Créatives de l’Université de Californie du Sud, en collaboration avec Conscience Display.

Le concept du projet : pouvoir proposer dans un avenir plus ou moins proche des témoignages de survivants de l’Holocauste sous forme d’hologrammes interactifs.