Paul Debevec : acteurs numériques photoréalistes et interview

Le 22 avril dernier, Paul Debevec présentait une conférence gratuite sur ses travaux de recherche dans le cadre des évènements du Paris ACM SIGGRAPH. Pionnier de l’imagerie 3D, il a été un acteur majeur de la mise en place de techniques d’image-based lighting (IBL, éclairage à partir de photos panoramiques HDR), avant de s’intéresser aux doubles numériques, avec des applications telles que le film Benjamin Button. Il travaille actuellement sur les affichages 3D et la téléconférence 3D, et est aussi vice-président d’ACM SIGGRAPH et dirige le Laboratoire Graphique de l’Institut pour les Technologies Créatives de l’Université de Californie du Sud.

Voici un résumé de sa conférence, suivie d’une interview exclusive ; Debevec a bien voulu répondre à nos questions sur sa vision des problèmes du secteur VFX, mais aussi sur l’avenir du SIGGRAPH, le futur des doubles numériques ou encore HDRshop, logiciel de manipulation d’images HDRI.

Nous tenons à remercier toute l’équipe de Paris ACM SIGGRAPH sans qui cette rencontre n’aurait pu avoir lieu.

Paul Debevec : Résumé de la conférence

Au cours de sa présentation, Paul Debevec est revenu sur deux thèmes principaux : les acteurs numériques photoréalistes dans un premier temps, puis une application liée à ses recherches en affichage holographique dans un second temps.

Dès 2000, Paul Debevec et son équipe présentent au SIGGRAPH le système Light Stage, destiné à mesurer la façon dont un visage humain réagit à l’éclairage. L’objectif : déterminer des paramètres qui permettront de simuler le rendu du visage sous n’importe quel éclairage.

Light Stage a évolué avec les années, et a rapidement pris la forme d’une sphère de grand diamètre : l’acteur, dont la tête est placée au centre, reste immobile tandis que des sources lumineuses projettent différents éclairages prédéfinis. Des caméras capturent le visage pour chaque éclairage.

Le système capture aussi la forme du visage (initialement avec projection d’une série de bandes sur le visage, et désormais par photogrammétrie, les algorithmes étant désormais assez puissants pour cet usage).

Présentation de Light Stage 1, lors du SIGGRAPH 2000

Light Stage 6, destiné à capturer un humain complet en mouvement.

Ci-contre : Paul Debevec revenant sur Light Stage, lors de sa conférence.

Ci-dessous, utilisation de différentes versions de Light Stage lors de la production de Spider-Man 3.

En sortie, Light Stage permet donc d’obtenir :

– un modèle 3D haute résolution du visage ;
– une texture 2k ou 4k du visage ; un système de filtres polarisants placés sur les sources lumineuses et les caméras permettent d’éliminer les reflets spéculaires en conservant la composante diffuse et le subsurface scattering. Inversement, en changeant l’orientation des filtres on conserve la composante spéculaire : cette dernière peut être isolée par soustraction. On obtient donc à la fois une map de diffuse et de spéculaire.
– des informations précises sur la façon dont se comporte le visage sous une série d’éclairages prédéfinis, informations qui permettent ensuite de simuler l’apparence du visage sous n’importe quel éclairage ;
Le tout, en seulement trois secondes de capture.

Au fil du temps, Light Stage a gagné en précision : plus de caméras et de sources lumineuses, meilleurs algorithmes, intégration de nouvelles technologies… Le système évolue encore aujourd’hui, et donne des résultats plus qu’impressionnants. Paul Debevec est d’ailleurs revenu sur certains d’entre eux.

Projet Digital Emily

Présenté en 2009-2010, le projet Digital Emily a été réalisé en collaboration avec Image metrics. Le but du projet était de remplacer le visage d’une actrice par une copie full 3D, photoréaliste et crédible.
Pour cela, l’actrice a été scannée à plusieurs reprises (une trentaine d’expressions du visage) ; l’animation a ensuite été réalisée en interpolant entre ces scans.
La page Digital Emily sur le site de Paul Debevec donne de nombreux détails sur la démarche et les enjeux techniques.

Ci-contre, la vidéo du projet. Ci-dessous, un making-of par Image Metrics et une présentation de Debevec sur Digital Emily.