Fondateur du studio de prévisualisation/visualisation The Third Floor, Chris Edwards est un habitué des conférences : nous le croisons régulièrement depuis 10 ans lors d’évènements tels que le Paris Images Digital Summit. A l’occasion de l’édition 2020, nous avons pu nous entretenir avec lui : l’opportunité d’évoquer la série Le Mandalorien et ses techniques innovantes, la compétition entre moteurs de jeu pour conquérir la production virtuelle, ou encore les outils maison de The Third Floor.
Nous en avons aussi profité pour clarifier l’avenir de la visualisation et l’attitude des clients par rapport au fait de montrer les images de prévisualisation.
3DVF : Bonjour Chris, et merci de nous accorder un peu de temps durant le PIDS. Pour commencer, évoquons le dernier gros projet de The Third Floor : la série The Mandalorian, issue de l’univers Star Wars. Vous avez géré la visualisation de plus de 4000 plans (!), doit-on comprendre que quasiment toute la série est passée entre les mains du studio ?
Chris Edwards : Pas tous les plans, mais nous avons eu un rôle majeur sur la série The Mandalorian. Ce fut une grosse collaboration entre nous, ILM, Epic Games et bien évidemment Jon Favreau [NDLR : créateur et producteur de la série] et son équipe live action. Ces quatre groupes, nous inclus, étaient en charge de concevoir tout l’aspect visuel des scènes de la série.
Nous avons d’abord utilisé un processus de type prévisualisation, mais la spécificité de la série est que certains de ces assets 3D et designs allaient ensuite dans un processus créatif interactif sur le plateau, dont nous faisions aussi partie. Nous avons aidé à designer, avec le réalisateur et une caméra virtuelle, la composition et le layout de toutes les scènes en production virtuelle qui allaient ensuite être jouées par les vrais acteurs devant un mur lumineux très brillant et haute définition. Et cet écran, fait de panneaux LED, est ce qui enveloppe, recouvre les acteurs du monde de Star Wars et donne un résultat bien plus convaincant. Vous voyez les acteurs être éclairés par cet environnement virtuel, et bien évidemment vous pouvez enregistrer ce qui se passe sur l’écran, en direct.
Nous avons travaillé durant l’ensemble de ce processus de production virtuelle pour optimiser la technique, et le système sera employé sur de futures collaborations.
3DVF : Est-ce que cela signifie que vos assets et décors étaient directement utilisés sur les panneaux LEDs, ou bien deviez-vous d’abord tout envoyer à ILM ?
Nos assets étaient parfois utilisés dans le pipeline ILM, améliorés avant de revenir en plateau pour le tournage. D’autres fois, nous recevions un asset d’ILM et nous devions l’utiliser, éclairer une version légère de l’asset en préproduction, puis seuls les éléments effectivement utilisés dans un plan étaient renvoyés pour la production détaillée finale.
Ce fut un processus difficile à suivre, mais en résumé il y a eu énormément d’assets employés de chaque coté. L’astuce était de conserver des assets suffisamment légers pour les utiliser en temps réel, et nous avons construit et travaillé de nombreux systèmes de façon à vraiment continuer à être spontanés malgré la vitesse à laquelle veulent travailler les réalisateurs, tout en ayant le niveau de détail extrême requis pour cette étape finale.
Encore une fois, ce fut un travail d’équipe entre nous et ILM.
3DVF : Quel était le rôle exact d’Epic Games, éditeur de l’Unreal Engine ?
Epic Games était curieux d’en savoir plus sur ce qui s’était passé durant la production de films comme Le Livre de la Jungle, Le Roi Lion. Comme vous le savez, il y a une sorte de course aux armements entre moteurs de jeux, chacun améliorant son produit jusqu’au stade où ils peuvent être utilisés et acceptés par les réalisateurs. Il y a une vraie compétition entre ces moteurs de jeux pour dominer le marché de la production virtuelle.
En résumé, Epic Games a vu ce projet comme l’opportunité d’utiliser leur talent pour une série de qualité et d’en faire un test grandeur nature pour leurs derniers développements, qui ont mis en place une compatibilité avec les caméras virtuelles.
Ils continuent à travailler avec ILM, ce qui renforce encore l’intérêt de ces développements. A vrai dire, Kim Libreri (Chief Technology Officer d’Epic games) et l’équipe venue des VFX [NDLR : Kim Libreri a travaillé pour ILM, Digital Domain, Lucasfilm] cherchent de nouveaux moyens d’adapter le moteur pour le rendre plus universel et en faire un outil expert pour les réalisateurs et leur entourage.
Si vous voulez mon avis sur tout ça, le processus de production virtuelle et la prévisualisation en général sont censés être pour tout le monde. C’est juste un moyen pratique de construire votre vision. Par le passé, nous travaillions de notre côté avant de mettre en place une session durant laquelle nous travaillions avec eux, sur le plateau. De nos jours, on s’oriente de plus en plus vers des sessions de collaboration temps réel, et c’est là que se fait la majorité du travail.
Nous avons 10 ans d’expérience en production virtuelle, des films de Robert Zemeckis à Avatar en passant par Gravity en collaboration avec Framestore. Dans chacun de ces cas, quelque chose de nouveau a été ajouté. Que ce soit la performance capture sur Avatar, l’affichage des environnements avec la « light box » de Framestore et du superviseur VFX Tim Webber sur Gravity.
Ce que nous faisons, c’est rendre nos solutions compatibles avec ces outils temps réel de production virtuelle, et donc au final nous créons de nouvelles méthodes de travail qui rendent cette approche aussi spontanée que lorsque nous étions au Skywalker Ranch [NDLR : The Third Floor est pour rappel né d’un département interne de Lucasfilm logé au troisième étage du fameux ranch Skywalker de George Lucas], et qui permettent de gérer environnements virtuels, personnages et compositions bien plus rapidement : dans une session temps réel, on ne peut pas se permettre d’attendre.
3DVF : Il y a deux ans, Rachael Castell (business development manager) et Adam Kiriloff (VR Technical Artist) de The Third Floor étaient venus au Paris Images Digital Summit afin de nous présenter l’outil Pathfinder, qui permettait de travailler en VR (voir notre article de l’époque). Comment a-t-il évolué ?
Il se porte très bien ! Pathfinder est notre caméra virtuelle, notre outil de repérage virtuel. Il s’agit d’une évolution de bien d’autres caméras virtuelles que nous avons créées en dix ans. C’est vraiment bien de réussir à standardiser tout ça dans un outil unique qui fonctionne dans de nombreuses productions différentes. L’outil est désormais très robuste et utilisé dans de nombreux films et séries. Ce qui est bien, c’est que nous rendons le pouvoir aux réalisateurs avec lesquels nous travaillons. Ils peuvent ainsi recevoir une grande quantité d’assets et scènes dignes de leur talent, puis eux, leurs directeurs photo ou chefs décorateurs travaillent avec les outils pour explorer ces assets et décider ce qu’ils veulent faire.
Nous avons un nouveau système qui va même plus loin : Cyclops. Il permet de prendre les scènes Pathfinder et les informations associées et de rejouer le tout dans le monde réel, à l’aide de réalité augmentée et d’un système qui permet en gros de projeter l’apparence de ces assets, personnages et environnements dans le monde réel, sur un plateau de tournage ou en extérieur. La combinaison de Pathfinder et Cyclops va donc avoir un gros impact sur notre workflow.
3DVF : Par le passé, la prévisualisation/visualisation était réservée aux grosses productions. De nos jours, les films à petit ou moyen budget peuvent aussi se permettre de telles techniques. En termes de marché, quelle est la suite pour vous, quelles sont les voies pour continuer votre croissance ? Est-ce que les séries TV, à l’image du Mandalorien, sont la prochaine étape ?
Je pense que les séries TV sont une énorme opportunité. Par exemple nous avons travaillé sur 5 saisons de Game of Thrones. C’était une petite équipe sur une longue période, qui a soutenu une production aux débuts humbles puis qui est devenue de plus en plus complexe à mesure que son succès public et son budget augmentaient, mais même sur la saison 3 où nous avons commencés à être impliqués, il s’agissait d’une touche légère de prévisualisation qui s’appuyait sur beaucoup de blocking et sur ce que nous appelons techvis (il s’agit ici d’aider la préparation des mises en scène complexes). Nous n’avons pas fait autant que sur de gros longs-métrages tels qu’un Avengers, mais ça a tout de même été très utile pour les réalisateurs.
Je pense que la croissance de la visualisation est inévitable -et c’est ce que nous constatons- non seulement globalement alors que d’autres marchés continuent à améliorer la fidélité visuelle et la complexité de leurs contenus, mais également en termes de volume : il y a plus de contenu créé, d’une manière générale. Les services de streaming créent une période de boom dans laquelle on donne à beaucoup de gens un budget pour créer du contenu, beaucoup de contenu. Il doit y avoir un moyen pour ces cinéastes de planifier de façon chirurgicale comment ils vont planifier et exécuter leur projet. Parce que chaque fois que du temps est perdu sur le plateau ou en post, c’est du temps qui ne finit pas à l’écran, et ces gens n’auront sans doute pas d’autre opportunité de faire une série à moins qu’ils ne réussissent à extirper la moindre goutte de leur vision. Et c’est ça, au fond, la prévisualisation. Pendant des années, j’allais de pays en pays pour expliquer la valeur de la visualisation. Désormais, les gens disent juste « ok, j’ai besoin de ça, mais je ne sais pas exactement dans quelle mesure ni comment l’approcher, demandons à des experts et mettons en place une solution qui marche bien pour moi ». Et ce que je dis, c’est que cette solution consiste à partir du script, à comprendre exactement ce que ce script demande mais aussi d’y rajouter vos préférences particulières en tant que réalisateur. De quel support vous avez besoin, de quelles informations vous devez disposer avant d’aller sur le plateau tourner la scène. Chaque réalisateur est différent, donc nous personnalisons. Et nous sommes de plus en plus doués à ce niveau.
3DVF : Pour revenir sur la question des nouveaux marchés, nous n’avons pu nous empêcher de remarquer l’apparition d’une adresse à Pékin sur votre site web…
En effet ! Nous ne sommes pas encore totalement lancés, mais c’est un marché que je pousse depuis plusieurs années.
3DVF : Vous avez récemment lancé une chaîne Youtube, et vous montrez donc davantage vos travaux. Or si nos souvenirs sont bons, il y a quelques années vous expliquiez en conférence que bien des clients ne voulaient pas trop montrer la prévisualisation, en particulier si le résultat final en était éloigné… Et qu’ils vous demandaient parfois de refaire la prévisualisation après coup, afin qu’elle colle mieux au film final. Est-ce toujours le cas ?
Nous ne refaisons pas souvent la prévisualisation après la finalisation du film, c’est probablement une anomalie du passé. Je pense que la majeure partie du temps, la prévisualisation est utilisée comme une forme d’aperçu avant la sortie du film, ou après la sortie en tant que rétrospective sur le processus de travail, les coulisses du film. Je pense qu’il n’y a pas trop d’hésitation à utiliser la prévisualisation dans les images de communication.
3DVF : Donc les studios ne sont plus aussi timides que par le passé ?
Je crois bien, car tout le processus de création numérique devient si démocratisé, avec tant d’acteurs impliqués, de studios et de sociétés de production qui doivent collaborer pour créer ensemble des films de qualité, que l’on n’a pas le temps de faire de politique. Tout le monde est conscient des contributions des autres, et la prévisualisation que je fais est vraiment centrée sur la collaboration avec ces partenaires ! Et sur la représentation fidèle de la vision du réalisateur via l’argile qu’il utilise pour créer son film, alias la visualisation : une solution malléable mise à jour en permanence. Ce n’est pas notre dictature, c’est la possibilité pour chacun d’avoir un impact sur le film. Au fond c’est un peu comme diriger un orchestre, et simultanément être l’assistant de l’auteur, le réalisateur ou la réalisatrice et son équipe, les scénaristes, les directeurs photo et tous les dirigeants classiques et importants des différents départements.
Je pense qu’en raison de l’immensité des contenus créés de nos jours et du haut niveau de qualité attendu par les publics, les équipes sont de plus en plus efficaces, professionnelles, et on travaille tous main dans la main car c’est un marché d’abondance, pas un marché de famine.
C’est une bonne chose pour tout le monde, des créateurs aux fans.
Pour en savoir plus
Le site de The Third Floor et sa chaîne Youtube.
