Image default

SIGGRAPH 2019 : personnages virtuels et rigs faciaux chez Interdigital

Présente sur le Pavillon France du SIGGRAPH 2019, la société Interdigital avait annoncé qu’elle présenterait deux innovations en partenariat avec Technicolor : un système de création de personnages secondaires, mais aussi une technique permettant d’extraire des rigs faciaux.
Nous avons évidemment profité de notre présence sur place pour demander à l’équipe de nous présenter ces travaux.

3DVF : Pouvez-vous nous présenter les innovations que vous mettez en avant au SIGGRAPH ?

Nous avons développé un outil permettant de fabriquer un humain numérique et nous avons un partenariat avec Technicolor autour de cette technologie.

La création automatique de personnage secondaire décrit un pipeline de création automatique. Grâce à la photogrammétrie, l’outil génère un mesh et une texture pour, par la suite, retopologiser ce mesh par rapport à un modèle donné. Un ensemble de « blendshapes » est aussi transféré pour créer un humain numérique avec un ensemble d’expression et cela tout en gardant la même signature biométrique que la personne capturée. Cette technologie intervient durant la pré-production.

Concrètement, il y a quatorze appareils photos synchronisées, prenant des cliches qui seront intégrés dans le pipeline. La procédure prend entre 20 et 30 minutes. En sortie, le double numérique est créé. Nous fournissons l’assets 3D composé d’une topologie de maillage propre avec son UV map associée, 93 blendshapes, une texture pour la peau, les yeux et la bouche. Tous les contrôleurs faciaux sont intégrés pour que les artistes puissent directement manipuler le rig. Les parties internes, dents / mâchoire sont présentes tout comme les narines et les yeux.

Nous avons présenté cette technologie pour la première fois à FMX en avril dernier à Stuttgart et nous venons tout juste de remporter l’award BestOfShow à l’IBC à Amsterdam.

Concernant la partie extraction de rig facial à partir de vidéo monoculaire, l’outil est actuellement utilise en production a Technicolor. L’artiste doit être en mesure d’intervenir. Le travail principal a été de prendre en compte les contraintes de production comme par exemple les éventuelles multiples cameras, les données sur le lighting. Toutes ces informations pourront être intégrées dans le système et enfin fournir un rig complet.

3DVF : Vous avez utilisé Meshroom, est-ce que cela signifie que vous avez collaboré avec l’équipe de développement et notamment avec Mikros ?

Meshroom est un logiciel open source, nous avons donc pu y accéder librement. Notre pipeline se base sur leur algorithme de reconstruction photogrammétrique. Nous avons pu échanger avec l’équipe, envoyer des feedbacks afin que nous puissions améliorer l’outil. Les retours ont été très positifs. Nous sommes très satisfait de l’interface et nous avons ajouté nos briques logicielles de manière très facile, maniable et flexible.

Pour en savoir plus

– Le site d’Interdigital.

A Lire également

Laissez un commentaire

Ce site utilise des cookies pour améliorer votre expérience. Nous supposerons que vous êtes d'accord avec cela, mais vous pouvez vous désinscrire si vous le souhaitez. Accepter Lire la suite

This site uses XenWord.
X