Netflix a mis en ligne une vidéo visible plus bas sur les coulisses du film The Irishman de Martin Scorcese, qui met en scène Robert De Niro, Al Pacino, et Joe Pesci.
Etant donné que le film se déroule sur une longue période, rajeunir les acteurs était indispensable. Or, comme l’explique le réalisateur dans le making-of, les techniques de maquillage classique deviennent difficiles d’emploi étant donné l’âge de Robert De Niro, Al Pacino, et Joe Pesci.
Le superviseur des effets visuels Pablo Helman a alors tenté de le convaincre d’utiliser les effets visuels, mais Scorcese voulait à tout prix éviter les contraintes techniques telles que les marqueurs, qui auraient pu selon lui entraver la performance des acteurs. Helman et ILM ont donc cherché une approche spécifique.
Un premier test du workflow retenu fut alors mis en place en 2015 avec Robert De Niro. Le résultat étant satisfaisant, ILM s’est attelé au perfectionnement du concept, à la fois du côté prise de vue et post-traitement.
Concrètement, la caméra principale est entourée de deux caméras témoin infrarouge (ce qui permet d’éliminer les ombres et d’avoir plusieurs points de vue).
En ce qui concerne le rajeunissement, l’équipe explique avoir passé beaucoup de temps sur la recherche de références mais n’a pas cherché spécifiquement à recréer des versions plus jeunes des acteurs : il s’agissait plutôt de créer des versions jeunes… Des personnages du film.
A partir de 7 minutes 30, ILM revient sur plusieurs technologies utilisées : Medusa (capture des visages et expressions FACS), FLUX (capture de la performance filmée sur le plateau pour en créer une version 3D).
Un autre point intéressant abordé vers 10 minutes 30 : pour ILM, animer les visages à la main n’aurait pas permis d’obtenir une performance aussi convaincante et détaillée.
17 commentaires
Ca leurs sert à faire un Z-Buffer ?
ca leur sert a gonfler leur budjet, a avoir une stereo (qui ne marchera pas bien) de la scene (pour remodeliser la scene et simplifer le match du masque)
rarement vu autant de blabla pour un truc aussi merdique. 2 erreurs principales – 1 utiliser des acteurs de 183 ans pour jouer des acteurs de 35 ans. 2 utiliser pour seul concept de rajeunissement un filtre degeulasse de deridage. C est ridicule, et sur toutes les scenes de loin, tu ne sais plus a quelle epoque tu es. Effectivement ca m a fait penser au pole express pendant tout le film. Rarement vu un truc aussi rate. A un moment, ILM va devoir se sortir les doigts du Q et arreter de nous pondre des videos ridicules, et basculer une fois pour toutes dans l IA pour ce genre de trucs. S ils avaient pris de jeunes acteurs, avec des corpulences qui matchent aux corpulences respectives des jeunes acteurs, alors il eut ete bcp plus simple d y « coller » comme ils disent, les faetures des acteurs plus jeunes. La limitation des CN en deep learning actuellement n est due qu a la puissance de calcul necessaire a la creation du modele, et une boite comme ILM aurait largement de quoi proposer une version evoluee de ce qu on a deja.
En tous cas, ça me laisse songeur… techniquement, c’est peut-être très bien, mais sur le principe : sans ces technologies, les producteurs seraient peut-être incités à faire plus d’efforts sur le casting et même donner leur chance à d’autres acteurs qui pourraient aussi bien coller aux personnages sans artifices… Bref, c’est bien ce dernier mot qui résume le tout, sur le fond comme la forme de ce "cinéma" hollywoodien… toute une époque.
En tous cas le making-of m’a motivé à voir le film histoire de me faire mon propre avis.
Un point délicat sur ce genre de performance : quand on nage dans le monde numérique, l’effet nous saute sans doute davantage aux yeux. J’ai l’impression que le grand public est généralement moins choqué : il serait d’ailleurs intéressant d’avoir des sondages sur le sujet (je suppose que les studios en font lors de projections test…).
je sais pas, dans ce film on est en plein dans l uncany valley. Ma femme par ex, elle a trouvé ca mal fait, au point ou j ai presque eu a defendre le truc. Pour le DL. on va y arriver bcp plus vite que prévu. Il y a meme des IAs qui ont ete publiees pour faire de la GI 2500 fois plus rapide que la GI actuelle. Une autre pour faire du cloth sim des dizaines de milliers de fois plus rapides (meme si oriente JV ). Pour la generation d images, on arrive deja a un niveau quasi imperceptible pour l oeil humain, mais a des resolutions tres faibles (256*256).
Tu ne sembles pas manquer d’air et de rage. Il faut prendre des vacances l’ami, lâcher prise un peu !
As tu pensé au fait que Scorcese voulait simplement faire un film avec ses potes de toujours et que la notion de travailler avec d’autres acteurs plus jeunes ne l’intéressait donc absolument pas ? Pareil en ce qui concerne la prouesse de tenir un vfx de "de-aging" de qualité bluffante versus de raconter une histoire avec ses potes (de Niro and co). De plus, ils disent bien dans ce making of qu’ils ne souhaitaient pas transformer les acteurs en version exactes d’eux même à 35 ans. Je ne pense sincèrement pas que ce soit une excuse quand on parle de boites de vfx comme ça, c’est un choix assumé.
Tu peux donc rager contre ce choix fait par le réalisateur en personne, mais pas crucifier les gens qui ont répondu à la demande.
Bref, dans ta diatribe, il te manque clairement une perspective plus large de comment un film est décidé/fait dans sa globalité et c’en est tellement navrant que ça m’a incité à créer un compte sur 3dvf pour te répondre.
j avoue c t un peu hard. Et oui scorcese est trop vieux pour etre bien conseille/ En revanche, il est evident que l argument « ils ne voulaient pas coller aux personnages jeunes » est bancal. En fait, ils n ont juste pas pu, pour 2 raisons techniques. 1 le visage en viellissant s elargit, la sillhouette s entasse, ils ont donc choisi de ne pas opter pour un « reclean » des bg a chaque prise, surtout en mouvement. 2 Ils ne voulaient pas faire de full cg sur les visages, parceque ca marche pas. Mais en vrai s ils avaient pu avoir le de niro de cape fear, tel qu il etait, et de facon indetectable, ils l auraient fait. Mais oui le post etait un peu hard
erff oui, cette scene est ridicule. mais surtout elle fait mal au coeur pour DN … Je trouve qu al pacino pour le coup tient mieux la viellesse, mais on lui en demande moins
le jour ou tu comprendras qu’on implemente pas un papier en 2 secondes tu te sentiras mieux
Tant que des algos ne sont pas production proof ca reste useless
c est un peu mon taf hein … meme si nous on fait pas de l image, mais ok si tu veux, t as raison, L ia c est pas du tout l avenir. C est des papiers
pour clore le debat, voici ce que le nouveau boss d ilm dit sur le sujet : What role do you think machine learning and artificial intelligence could play in the further advancement of VFX?
Especially over the next few years, they’re going to really change the landscape. We can train a computer to actually do something. One of the most interesting examples is some of the work that’s being done in the area of face-swapping. From a visual effects practitioner’s perspective, we, of course, know how to do this with all the manual steps, but what these machine-learning models are showing is that they could do those steps for you. —
et merci de coller le com venant d’ilm, on parle bien de machine learning, rien a voir avec une ia
Pour avoir vu a quel point on en a suer sur Hulk, oui c’est pas au point, un client il veut quelque chose de precis et non un resulat empirique fait de croisement de data
pioche dans une data basse.
c’est comme le rendu de prod en gpu, il y a de la lumiere au bout du tunnel, mais la vache il est long ce tunnel.
ok on va pas se faire 50 reponses, mais ML et ai c est pareil. On dit « an ai learns how to », pas a « ML RNN LSTM Model » learns how to. Ensuite useless c est pas moi qui le dit. Rien n est prod proof dans le domaine de l image, ya toujours de l evolution, et ce pourquoi je m agace, mais j avais pas le temps de parler pendant des plombes c est justement la nouvelle « logique » d ILM. A la base, le taf d ILM c etait justemnt de lire les « papiers » et de pondre des outils a la pointe de la recherche. Un peu comme Pixar d ailleurs. Mais il est evident que l AI va faire baisser les prix sur tout un tas de segments, le rendu, et pas mal de FXs ou de petits details qui vont faire gagner du temps. Par exemple, les russes, tres en avance sur ce point ont deja cree des outils incroyables. (par ex WARP, un algo d UV, un moteur d anim physique (un peu comme celui qu on a vu recement sur 3dvf)). Il est manifeste que sur le film (dont il est ici le sujet) toutes les erreurs qui ont ete comises ont favorise le budjet d ILM, et nuit au film. Apres je reconnais que mon post d origine etait trop nerveux. Pardon
Sur une duree determine et en fonction des besoins, le ou les tools sont fige en software pour un resultat teste et connu, c’est tout.
Evolutif oui bien sur jusqu’au prochain round ou les besoins seront differents.
Encore une fois le dev, ca prends une eternite.
Usd on est pas beaucoup a etre passe dessus, ca demande enormement de dev et de test.
Pourtant j’en entends parle de son implementation depuis 2015.
Alors imagine un peu le machine leaning ou les plus 100 d’ago (je suis gentil je penses) sortis chaque annee depuis 10 ans au Siggraph.
Bref critiquer ILM, je la trouve facile. Meme Weta fait dans crado avec Gemini Man. Ouais desole, mais ca ne fonctionne pas.
Ilks ont pourtant 15 ans d’avances sur tous.