Google+
3DVF Network :
ico_magazine
Magazine
ico_boutique
Boutique
ico_cgjobs
Portail Emploi
ico_upload
Hébergement d'image
blogs
Blogs
ico_progiss
Progiss
ico_social
Social
Login
space
space

Accueil / Magazine / Actualité Quotidienne / Technologies / Recherche : animation faciale à partir de contenu audio

 

Recherche : animation faciale à partir de contenu audio

Publiée le 14 septembre 2017 par shadows44 (1006 lectures)
space

Audio - animation

Tero Karras, Timo Aila, Samuli Laine, Antti Herva (Remedy Entertainment) et Jaakko Lehtinen (NVIDIA and Aalto University) ont présenté cet été au SIGGRAPH un travail de recherche sur l'animation automatisée d'un visage à partir de l'enregistrement sonore de la voix d'une personne.

La publication, intitulée Audio-Driven Facial Animation by Joint End-to-End Learning of Pose and Emotion, propose une méthode qui s'appuie sur le machine learning. L'apprentissage par le réseau de neurones se fait via 3 à 5 minutes d'animation de qualité obtenue par exemple par des méthode de performance capture (à l'aide de caméras).

Les chercheurs soulignent que leur technique vise à se concentrer sur une personne à la fois (le système apprend à partir de la voix et des expressions d'un acteur précis), mais qu'en pratique les résultats sont relativement acceptables même si on utilise sur le système l'enregistrement audio d'une autre personne. Y compris si la langue, l'accent ou le genre diffèrent de ceux du modèle de départ.
Les applications de ce type de recherche sont larges, précisent les auteurs : dialogues dans le jeu vidéo, localisation à faible coût, avatars en réalité virtuelle ou encore téléprésence.



Voici également une comparaison des résultats de trois publications présentées au SIGGRAPH dans la session Speech & Facial Animation.

space
space

Les derniers commentaires (8)

#1
Salut nobrain² T'as une illustration de ta cote de mailles ? (oui je sais j'aurais pu la chercher tout seul) Et tu parles de faire ca sous LW uniquement ? ++
 
#2
c'est un truc dans ce genre, mais avec un peu plus de plis sous le menton, et qui descend moins bas sur les épaules Image peu importe le soft en fait, je trouverais bien moyen de transposer la manip sur lightwave ;)
 
#3
j'ai fait un essai rapide, à base de carrés de maille assemblés, avec un calcul de cloth pour faire poser le tout sur une tête approximative. La cage de déformation est un cylindre un peu tweaké. Ya quelque pains, mais avec un assemblage plus propre, ça peut passer. A la rigueur, j'pense qu'en superposant plusieurs couches, ça devrait bien coller, puisque c'est difficile de distinguer les anneaux dans une maille complexe comme ça Mais je reste preneur si quelqu'un a une meilleure solution :) Image
 
#5
j'y ai pensé, mais comme j'envisage un très gros plan, et le turntable qui va avec, je peux pas trop approximer le truc, pis je veux des petits replis et autres imperfections dans la maille. Enfin j'ai monté un assemblage de plusieurs parties avec une simulation cloth personnalisée pour chaque zone. J'en ai chié, mais le résultat est nickel. Je vous montre ça dés que j'ai fini le modeling (en espérant que ça passe, parce que j'ai déjà quelques millions de polys à mon actif) ;)
 
#6
C'est pour la dominance ? ;) Suis encore à l'étape de la recherche moi, j'ai dû formater mon PC et tout reinstallé .... J'ai perdu tous les croquis du premier jet et le low poly et le départ scult, j'allais commencer une retopo :heink: alors, je change de perso : un super robot de la mort :D A bientôt et bon courage pour ton écharpe blindée tu vas faire un wip ?
 
#7
la dominance ? ah non du tout, c'est juste un speed-sculpt perso qui a mal tourné :D pour le wip, on verra, mais c'est pas à l'ordre du jour, j'ai suffisamment de critiques venant de moi, pas besoin d'en avoir d'autres pour l'instant ;) et j'ai pas encore terminé le wip du raptor, et j'ai les FX d'un court métrage sur le feu, mais ça me plait bien de bosser sur plusieurs projets en parallèles, ça m'aère l'esprit :)
 
#8
Effectivement c'est bourrin de tout modélisé , je sais pas mais avec une bonne map d'opacité et une normal , displace , ca pourrais pas marché ??? je sais pas je dis ca je dis rien .... surtout que generalement une cote de maille est jamais a meme la peau tu as toujours du tissus entre , capuchons ect... ca te permetterais peut etre de jouer avec les map reflectino et speculaires ... pour faire ressortir le volume .
 
space
space
space
space
space
space
space
space
A Propos | Contact | Publicité
Copyright © 2000-2018 3DVF. Tous droits réservés. | Infogérance serveur | tracker
space