SIGGRAPH 2021 : Les meilleurs projets temps réel de l’année avec Real-Time Live!

Cet article est également disponible en: Anglais

Rendez-vous incontournable du SIGGRAPH, Real-Time Live présente chaque année une sélection de concepts innovants dans le secteur du temps réel, avec une règle d’or : les démonstrations sont faites en direct.

Au menu cette année, des liens entre arts et numérique, des projets sur les avatars et la communication, ou encore une vision de la classe du futur.
Vous pouvez découvrir ci-dessous l’enregistrement complet.
Si votre temps est précieux, nous vous proposons plus bas un résumé des différents concepts : vous pourrez ensuite revenir sur la vidéo et, avec les timings listés juste en-dessous, cibler uniquement les démos qui vous intéressent.

LiViCi : quand le cirque rencontre les nouvelles technologies

Premier projet de la sélection, le LiViCi (« Live and Virtual Circus ») était présenté par Athomas Goldberg, Samuel Tetreault en direct depuis le plateau de motion capture d’Animatrik Film Design. Le concept : mêler les arts du cirque avec les outils de motion capture et production virtuelle.
En pratique, des artistes exécutent une performance sur le plateau de motion capture ; celle-ci est retranscrite en temps réel sur des avatars 3D, avec une caméra virtuelle qui « filme » la scène. Des éléments live sont également intégrés à la scène, de sorte que l’on peut voir en même temps un artiste et son avatar.

Ce projet a reçu le prix du public (Audience Choice Award).

I Am AI : grâce à NVIDIA, de la visioconférence sans webcam !

Second projet de cette sélection 2021 : le résultat des travaux de NVIDIA Research. leur idée est d’utiliser le deep learning pour animer des avatars créés à partir d’une simple photo, à l’aide d’audio ou de texte. Ce sont uniquement ces derniers qui sont transmis afin d’animer l’avatar : aucun flux vidéo n’est envoyé, d’où des économies de bande passante.

Concrètement, vous pouvez donc utiliser une photo formelle de vous-même comme source pour l’avatar d’une réunion de travail, tout en étant en pyjama ou sur une plage. Et si des travaux font trop de bruit, au lieu de continuer à parler, vous pouvez taper au clavier le texte que prononcera l’avatar.

NVIDIA oblige, le système s’appuie sur le GPU. Il tourne à plus de 20fps avec une carte RTX.
Enfin, si vous souhaitez changer de tête, NVIDIA a aussi présenté un système de génération d’avatars stylisé.

Bien évidemment, cette innovation a aussi ses revers : une telle technologie facilite l’usurpation d’identité.

I am AI a remporté le Best in Show Award, prix décerné par un jury de professionnels du secteur.

Shading Rig : le toon shading s’améliore !

Le toon shading est une méthode classique pour donner un effet 2D à des animations 3D, mais les techniques d’ombrage actuelles posent problème : l’ombrage par défaut crée souvent des artefacts disgracieux nécessitant un nettoyage, et les techniques pour adoucir les ombres donnent généralement quelque chose de trop plat.
Lohit Petikam, Ken Anjyo, Taehyun Rhee présentent ici une approche qui permet d’avoir un résultat dynamique tout en conservant un bon contrôle sur le style, avec corrections dynamiques.

Coretet : la musique du 21ème siècle sera-t-elle virtuelle ?

Rob Hamilton est revenu sur un concept surprenant d’instruments de musique en réalité virtuelle, avec à la fois des instruments existants (violon, violoncelle…) et un autre totalement expérimental.
De quoi imaginer une nouvelle étape pour l’histoire des instruments électroniques après le thérémine, les premiers synthétiseurs ou encore la harpe laser de Jean-Michel Jarre. Et si, demain, les instruments virtuels se démocratisaient ? La réponse d’ici quelques années.

Windup : retour sur le court-métrage réalisé sous Unity

Chris Kang nous a proposé une très sympathique démonstration des coulisses de Windup, court-métrage/démo technique créée sous Unity. Timeline, contrôles divers, animation des feuilles, génération de racines en quelques clics à partir de curves ou encore shader pour donner un effet de vitre gelée dont partie des éléments présentés.

Et si vous aviez manqué le court quand nous l’avions publié, le revoici en intégralité :

Les cours du futur selon Ken Perlin

Ken Perlin (oui, le même qui a donné son nom au Perlin Noise de vos logiciels) du NYU Future Reality Lab, Zhenyi He, Un Joo Christopher, Kris Layng ont travaillé sur un projet de classe futuriste pour l’enseignement de la 3D.

L’idée est de rejeter l’approche classique et les réunions zoom au profit d’une classe immersive, à laquelle on accède via un écran classique ou en VR. Le système proposé (CLAY Software) permet une continuité entre les enseignements, passant par exemple de la création d’un personnage à son shading.
Si le concept peut sembler encore assez perfectible, nul doute que ces initiatives progresseront avec le temps, d’autant que le projet est open source.

Des avatars pour la VR

Enfin, McLean Goldwhite, Zejian Wang, Huiwen Luo, Han-Wei Kung, Koki Nagano, Liwen Hu, Lingyu Wei, Hao Li ont dévoilé un système de génération d’avatar pour la VR.

A partir d’une simple photo et d’un StyleGAN (technique d’intelligence artificielle), un visage 3D est généré ; dans les exemples présentés, les lunettes sont automatiquement supprimées s’il y en a sur la photo.
Un corps complet, riggé de façon paramétrique, est également créé. Le résultat : un avatar complet à votre image, qui s’anime en fonction de vos mouvements grâce aux manettes de l’Oculus Quest 2 (mais aussi via une gestion automatique des mouvements des pieds). Même les lèvres bougent et son animées quand la personne parle.

Des projets très divers

Arts expérimentaux, avatars, animation et école du futur : cette édition du Real-Time Live était éclectique et riche en concepts. Elle nous a offert une vision de ce qui nous attend peut-être à plus grande échelle dans les années à venir.
Nous avons particulièrement apprécié que le salon conserve au maximum le principe de démonstrations en direct, malgré la dématérialisation.