SIGGRAPH 2021 : derrière un projet NVIDIA, un pas vers une révolution ?

Cet article est également disponible en: Anglais

A première vue, Neural Scene Graph Rendering est une publication anodine, voire décevante : avec des résultats qui se limitent à des rendus de scènes 2D et 3D particulièrement basiques, on peut même se demander si l’on est bien en 2021.

Mais les apparences sont trompeuses.

Le meilleur des deux mondes

Les auteurs de la publication, Jonathan Granskog, Till Schnabel, Fabrice Rousselle, Jan Novak de NVIDIA, nous proposent en fait ici davantage qu’un simple projet de recherche : leurs travaux s’inscrivent dans une vision à long terme, qui pourrait révolutionner la manière dont nous rendons nos scènes.

En effet, on dispose actuellement de deux approches radicalement différentes pour effectuer un rendu, autrement dit générer une image :

• Le rendu 3D « classique », qui règne en maître dans les effets visuels et l’animation 3D, permet de créer des scènes très diverses mais pour lequel le photoréalisme parfait est très difficile à atteindre.

• Le rendu neural : il s’agit ici de rendu s’appuyant sur les techniques d’intelligence artificielle (deep learning).
  Les outils que vous avez pu voir ces dernières années qui créent des portraits d’humains qui n’existent pas, ou les outils GauGAN/Canvas de NVIDIA permettant de créer des paysages à partir d’une simple esquisse, font partie de cette catégorie.
  Ici, la « représentation neurale » sera un ensemble de variables, et le « moteur de rendu neural » sera la partie de l’outil qui génère l’image finale.

Si l’on compare les deux approches, et par exemple dans le cas du rendu d’un visage, on a d’un côté le rendu 3D qui crée des résultats très bons mais sans doute pas aussi bons que l’approche neurale, qui s’appuie « juste » sur une architecture adaptée et la phase d’apprentissage à partir d’un ensemble de données.

Inversement, expliquent les auteurs de la publication, si l’on veut modifier le résultat (par exemple générer un visage d’extraterrestre), le rendu 3D permet facilement de changer le matériau ou le modèle utilisés. L’approche neurale, en revanche, est fortement contrainte par les données d’apprentissage et produire un résultat radicalement différent de ces données sera difficile.

Souplesse, contrôle artistique, réalisme… Au fond, chaque approche a ses avantages et inconvénients.

D’où la vision à long terme qui sous-tend la publication : au lieu d’opposer les techniques, pourquoi ne pas les combiner ? Pourquoi ne pas générer des images en partie avec du rendu neural, en partie avec un moteur de rendu 3D classique ?
Par exemple, suggèrent les auteurs, le rendu neural pourrait se charger des parties difficiles à gérer avec le rendu 3D classique comme les visages, la fourrure.

L’idée est alléchante, mais n’est à ce stade qu’une simple idée. Reste donc à la concrétiser et à faire cohabiter deux approches qui n’ont rien à voir.

Une scène 3D rendue sans moteur de rendu classique

Nous arrivons enfin au projet de recherche proprement dit : l’équipe s’est intéressée à la façon dont un scene graph classique, autrement dit la description d’une scène 3D dans un outil traditionnel (avec liste des modèles, leur position, matériaux…) pourrait être traduite en représentation neurale, puis envoyée à un moteur de rendu neural.

A ce stade, il ne s’agit donc pas encore de mêler les rendus, mais uniquement de faire en sorte que des scènes 3D classiques puissent être « comprises » et traitées par une approche neurale.

L’équipe est parvenue à des résultats concluants, et en montre quelques exemples :

• Une animation de volley :

• un petit outil qui permet d’éditer en temps réel un scene graph neural, et avec rendu neural : autrement dit, sur cette session de création 3D, les objets et leurs matériaux, le rendu de la scène ne sont pas gérés par du rendu 3D classique mais bien par de l’intelligence artificielle.

• La méthode peut aussi être appliquée à des animations 2D à base de sprites : là encore, le visuel est donc issu de rendu neural, pas d’un moteur 2D.

Retour vers la vision globale

Encore une fois, ces premiers résultats restent très basiques, mais il faut les considérer avec du recul : ce sont des tests précurseurs, pas une méthode destinée à être utilisée dès demain en studio.

En revanche, avec ces essais, l’équipe de recherche a prouvé la validité de son concept. L’approche a pu être appliquée a des cas variés et a donc un bon potentiel de généralisation a des situations et usages très différents.

Une première brique est donc posée vers la vision plus large évoquée par les auteurs, avec à terme une interopérabilité entre les maillons de la chaîne de rendu 3D classique et celle du rendu neural.

Pour autant, est-ce vraiment le début d’une révolution ? Réponse dans quelques années, selon les progrès techniques qui seront accomplis.

Pour aller plus loin, nous vous invitons à visionner cette vidéo de présentation d’une quinzaine de minutes, et en particulier le passage à partir de la 30ème seconde, qui revient sur cette vision à long terme.
Vous pouvez aussi consulter la page de la publication : Neural Scene Graph Rendering.