Animation, raytracing, production virtuelle , VR : le point avec Unity

Cet article est également disponible en: Anglais

Nous avons eu l’occasion d’échanger récemment avec Adam Myhill, directeur créatif chez Unity Terchnologies. Nous avons profité de cette opportunité pour aborder avec lui différentes thématiques : l’essor du temps réel en animation, le raytracing, les technologies telles que la production virtuelle et plus globalement la place que cherche à se faire Unity dans un marché en évolution constante.

3DVF : En juin dernier Unity Technologies a dévoilé Sherman, un court-métrage créé sous Unity. Le futur de l’animation est-il en temps réel, selon vous ? Quelles fonctions allez-vous améliorer pour faire de cette idée une réalité ?

Adam Myhill – Unity : Le futur de l’animation peut tout à fait être en temps réel. Le ratio qualité/vitesse ne cesse de s’améliorer. Les choses ont énormément évolué en quelques années et la situation aura encore totalement changé dans quelques années. Pour de nombreux projets, le niveau de qualité acceptable vs le temps nécessaire pour y arriver rend le temps réel attractif. Nous avons eu des percées avec Sherman, avec de la fourrure temps réel, un problème délicat auquel se sont attaqués deux ingénieurs talentueux. Une autre chose que nous avons pu inclure est du motion blur de qualité, développé sur les courts Baymax Dreams pour Disney Television and Animation, pour lequel nous avons remporté un Emmy. Sur ce projet nous avons pu améliorer le rendu visuel grâce au High Definition Render Pipeline de Unity, au travail sur les shaders, au motion blur. Sur Sherman on a donc eu toutes ces avancées, plus le fur. La rapidité avec laquelle nous avons pu parvenir au résultat voulu a permis à Disney d’économiser 40 à 50% du budget, grâce au temps réel.

L’avantage créatif est bien réel : il n’y a plus besoin d’attendre la fin pour voir si tout fonctionne. Dans un pipeline traditionnel on a storyboard, layout, animatique, lighting, rendu, compositing, … Si vous changez d’avis il faut revenir en arrière et re-rendre le projet. Comme en temps réel il n’y a pas de rendu ni de postproduction, si le réalisateur veut faire une modification, rallonger un plan, changer une animation ou bouger la caméra et le soleil, on peut le faire immédiatement. Le « et si… » n’est plus coûteux, ça devient juste « et si…. ». Vous pouvez donc faire le changement.

C’est la magie de l’approche. C’est plus rapide, et les producteurs sont contents. Mais je crois que le vrai gain repose sur cette possibilité de faire des essais, de voir immédiatement si les choses fonctionnent.

3DVF : Il reste toutefois une marge avant d’arriver à la qualité d’un rendu de type Pixar…

Sur Sherman et Baymax Dreams, nous avons travaillé de A à Z sous unity, et les pixels finaux sont issus de Unity. Nous avons utilisé Maya pour l’animation et d’autres outils pour créer les assets, certes, néanmoins il s’agissait vraiment de projets Unity.
Pour un film de type Pixar, le temps réel se rapproche, mais on n’est toujours pas au niveau graphique d’un bunker rempli d’ordinateurs qui passent 100h par frame. Ca ne veut pas dire que le temps réel ne peut pas être une aide : on peut s’en servir pour le blocking des idées, pour travailler rapidement et avoir 80% de l’éclairage et du rendu finalisés, avant de basculer vers une approche plus classique. Avec le support USD, FBX, Alembic etc, on peut sans problème débuter avec Unity avant de se rapprocher de méthodes traditionnelles.
C’est notre vision : on peut utiliser un pipeline 100% temps réel, ou s’en servir de façon stratégique.

3DVF : Les derniers GPUs NVIDIA mettent le raytracing au coeur des cartes graphiques. Quelle est votre approche de cette technologie ?

C’est extraordinaire, ce n’était encore qu’un rêve il n’y a pas si longtemps. J’étais au SIGGRAPH il y a 20 ans et nous avions eu une conversation sur le raytracing temps réel, nous avions ri en disant que ça n’arriverait jamais… Et c’est arrivé. Imaginez un monde dans lequel en temps réel vous pouvez travailler avec un éclairage fidèle à la réalité, c’est extraordinaire. Evidemment, la techologie est encore jeune et je pense qu’il faudra un moment avant de voir des frames entièrement raytracées. Pour le moment nous avons une approche hybride, où seuls sont raytracés les éléments qui en bénéficient, comme les surfaces réfléchissantes. Avec le temps nous utiliserons de plus en plus ces techniques et le réalisme fera un pas de plus en avant.

3DVF : Comment Unity est utilisé en production virtuelle et dans le secteur des médias et du divertissement ?

La production virtuelle a le vent en poupe, puisqu’elle permet d’économiser de l’argent sur les films et séries TV.
J’étais récemment dans un studio VFX et un des artistes me disait “la production virtuelle, c’est plus d’argent sur l’écran”. Je lui ai demandé d’expliquer, et il m’a répondu : “avant, si nous avions une scène en live-action avec un dinosaure à compositer dans le plan, il fallait se préparer, filmer, puis incruster. Mais bien souvent, après coup survenaient des remarques du type “dommage que nous n’ayons pas vu ça plus tôt, il y a un souci avec tel machin, il aurait fallu mettre le dinosaure là”. Maintenant avec un plateau de production virtuelle il suffit d’ouvrir un ordinateur portable avec Unity, on met le dino, et tout le monde peut voir le résultat, faire des remarques sur la taille ou la direction d’où il arrive. La conséquence est que tout est filmé correctement, car ils ont une meilleure idée des visuels.”
Les artistes passent donc plus de temps sur le réalisme du dinosaure que sur la correction de problèmes annexes.
Imaginez un système de production virtuelle où vous n’avez pas à construire de décors, avec de multiples personnes partageant le même espace depuis plusieurs endroits : nous sommes à LA, le directeur de la photo à Londres, mais nous marchons virtuellement dans dans le même espace.

Il y a différentes manières d’utiliser la production virtuelle et nous en verrons de plus en plus. Et pas seulement dans les films à gros budget, mais aussi dans la télévision pour les gros et moyen budgets. A terme, des artistes indépendants et toute personne voulant créer un film pourront faire du blocking dans un moteur temps réel et voir si la scène fonctionne.
Du côté de Unity, nous travaillons sur le sujet, par exemple avec un package permettant d’avoir de la production virtuelle sur smartphone qui se connecte directement à Unity pour explorer les scènes, mettre en place les caméras, décider où les éléments doivent être positionnés, quels angles sont les meilleurs.

3DVF : Est-ce que les évolutions ne sont pas… Trop rapides ? Une nouvelle technologie arrive, puis une autre, c’est un défi permanent.

Les choses avancent à une vitesse terrifiante. J’aime la technologie quand elle résout un problème créatif, mais quand il s’agit d’avancer par principe et que les gens doivent réfléchir aux usages, je me dis que c’est certes intéressant, mais où est l’histoire, où est la focalisation sur la meilleure manière de savoir ce qui fonctionne ou pas ?
On vit par ailleurs dans un monde où quand quelqu’un sort une affirmation farfelue, les gens vont y croire. Ca a avancé à un point où il devient difficile de séparer réalité et magie.

3DVF : La 3D temps réel est un univers très compétitif. Quelle est votre vision du marché et où voyez-vous Unity dans quelques années ?

Le marché actuel est dynamique, avec des entreprises qui apparaissent et disparaissent. Il y a deux moteurs majeurs pour la création, et je pense que la compétition entre eux les améliore et bénéficie aux utilisateurs. Il y a tellement de travail à accomplir qu’une seule entreprise ne pourrait y parvenir seule.
Je pense que Unity aura un rôle à jouer à l’avenir : nous avons de nouvelles technologies prometteuses comme le nouveau système de scripting visuel qui permet de créer des choses encore plus rapidement qu’en les codant. C’est très spécifique à Unity. Nous avons aussi un nouveau langage de programmation visuelle orientée vers les données, DOTS, qui rend les choses 20 fois plus rapides qu’avant et permet de gérer et rendre des millions d’objets sur un iPhone : personne d’autre ne sait faire ça. Je pense donc que le futur de Unity s’annonce extraordinaire.

3DVF : Pour finir, quelques mots sur la VR et le marché du streaming ?

Je pense que le monde va évoluer, nous avions par le passé des télévisions avec 12 chaînes puis des centaines, puis un système de câble [aux USA, NDLR] avec les chaînes dont vous aviez envie. Et puis Netflix est arrivé, de même que Disney+, Amazon, Hulu, Crave, Apple également. Autant de canaux qui ont besoin de contenus.
J’aime la VR en tant que medium mais je ne pense pas qu’elle va sauver nos âmes ou être le coeur de la croissance. Je pense en revanche que la notion de second écran va prendre de l’ampleur. J’ai vu par exemple une course de formule 1 à la télévision qui permettait de basculer entre les caméras des conducteurs. Je suis convaincu que les médias vont vers quelque chose de bidirectionnel, avec un contenu rendu plus riche et dynamique par le contrôle du spectateur. C’est ma prédiction !

Pour aller plus loin : le site officiel de Unity.