Accueil » Demain, vos temps de rendu divisés par 2 ou plus ?

Demain, vos temps de rendu divisés par 2 ou plus ?

Et si vos temps rendu diminuaient drastiquement, en n’ayant plus besoin de rendre qu’une image sur 2, voire moins ? C’est la proposition vertigineuse de Disney Research, Pixar, ILM via la publication Neural Frame Interpolation for Rendered Content qui sera présentée au SIGGRAPH Asia en décembre.

L’idée de base est simple : ne rendre une animation que toutes les x images, et interpoler le reste. Si le concept n’a rien de nouveau, il se heurtait jusqu’ici souvent à des obstacles gênants : artefacts, résultat perfectible.

Disney a donc choisi une autre approche : en plus des images rendues, l’idée est d’utiliser aussi d’autres informations comme l’albedo, les normales ou encore la profondeur des éléments de la scène. Ces données ne demandent que très peu de temps à être calculées pour chaque frame, par rapport à un rendu complet (2 à 10 fois moins, selon la publication).

Avec toutes ces données et une bonne dose de machine learning, les résultats sont spectaculaires : les auteurs avancent que sur une GeForce 2080 Ti, et à partir d’images 1280 × 780, la génération d’une nouvelle frame ne prend que 0.65s.
Autrement dit, le temps passé à entraîner le système de machine learning, la création des buffers et enfin la génération des images interpolées sont très largement plus rapides que les innombrables heures de calcul sur renderfarm que nécessitent habituellement les images des films du groupe Disney.

Mieux encore : comme le montre la vidéo de démonstration, le résultat est nettement supérieur à l’état de l’art, et se rapproche bien plus du vrai rendu, même lorsque du motion blur est présent. La publication avance également que le système utilisé permet aussi, au besoin et si un défaut est présent, de se contenter de rendre la portion de l’image avec un problème, et de l’incorporer à l’image interpolée pour la corriger.

Résultat, les auteurs affirment avoir atteint le graal : pour eux, leur méthode est production-ready et facile à implémenter dans un pipeline de studio. Elle pourrait donc rapidement être utilisée sur des projets concrets.

Après l’essor du denoising qui a permis d’accélérer les temps de rendu, cette publication laisse donc entrevoir un nouveau gain monumental pour les studios, qui pourraient diviser par 2 ou plus leurs temps de calcul globaux en fonction de la fréquence des frames calculées de façon classique (une image sur 2 ou moins). Reste désormais à attendre l’arrivée de ces progrès dans les studios, ou à consulter la publication Neural Frame Interpolation for Rendered Content pour patienter.

A Lire également

5 commentaires

phicata 30 novembre 2021 at 19 h 47 min
"ne rendre une animation que toutes les x images, et interpoler le reste. Si le concept n’a rien de nouveau, il se heurtait jusqu’ici souvent à des obstacles gênants : artefacts, résultat perfectible."
C’est une technique que j’utilise souvent, sur des scènes pas trop complexes (sans mouvements d’objets à l’intérieur) ça marche souvent très bien. Il faut travailler avec des images de grandes taille et qui "débordent" ("overscanent") le cadrage final (car c’est sur les bords que les artefacts apparaissent souvent).
Sinon en complément:

frenchy pilou 30 novembre 2021 at 21 h 48 min
Diminué par 10 cela aurait été "drastique" !
Là c’est juste cosmétique! :)
Shadows 30 novembre 2021 at 23 h 04 min
@frenchy pilou je n’ai pas voulu être trop clickbait dans le titre mais la publi se veut générale et pas limitée à 1 sur 2, on peut imaginer passer d’une image sur 2 à une sur 3, sur 4… Evidemment ça a ses limites (ne serait-ce que quand on change de plan, ou quand un élément apparaît soudainement). On verra d’ici quelques années jusqu’où on peut aller. :)

Entre cette approche, le DLSS, le denoising, je me demande quel sera le premier film Pixar sur lequel l’équipe annoncera "on n’a rendu que 10% des pixels, le reste c’est du machine learning".

@phicata Impressionnant également ! Manifestement pour certains usages le deep learning va venir concurrencer la photogrammétrie. Le projet Hovitron donc je parlais dans le dossier Laval Virtual ( https://www.3dvf.com/redaction/laval-virtual-2021-une-edition-atypique-mais-passionnante/3/ ) repose en partie sur une philosophie similaire d’interpolation, le but dans Hovitron étant de pouvoir générer des images en plus afin d’avoir un point de vue assez libre et en relief, depuis un robot télécommandé n’ayant que quelques caméras. Et le tout doit évidemment se faire en temps réel pour pouvoir contrôler l’engin, donc la photogrammétrie est exclue.

phicata 1 décembre 2021 at 16 h 12 min
class="bbCodeBlock bbCodeBlock--expandable bbCodeBlock--quote js-expandWatch">

????? :oops: quand je disais qu’il fallait un index…:D

Shadows 1 décembre 2021 at 17 h 22 min
clickbait ou "putaclic" chez certains : titre volontairement exagéré pour faire cliquer, parfois à l’extrême.
Du genre "ArtFX ferme ses portes ???" pour un article qui parlerait juste d’un court avec une usine qui ferme, ou "Vous ne devinerez jamais ce qu’Autodesk a annoncé" pour un patch. ;)

Laissez un commentaire