Accueil » Annecy 2018 : Dynalips, solution de lip-sync automatisée

Annecy 2018 : Dynalips, solution de lip-sync automatisée

Dynalips

L’animation labiale est un problème très classique mais le plus souvent résolu de façon imparfaite. Pour des raisons de coût, une seule langue est généralement gérée en animation 3D ou dans les jeux vidéo, les versions localisées devant se contenter d’un doublage vocal.
Pour les personnes malentendantes, le problème va même plus loin : se contenter d’approximer les phonèmes rend très difficile voire impossible la lecture sur les lèvres. Un point que les solutions de lip-sync du marché ne cherchent le plus souvent pas à régler, leur priorité étant plutôt que l’animation soit simplement plausible.

Dynalips entend aller plus loin. L’entité est issue de l’Inria Nancy-Grand Est et va bientôt devenir une entreprise à part entière.
Son équipe travaille sur les phonèmes mais aussi sur les transitions, en évitant le recours à une simple interpolation. Sur le plan technologique, ce sont des données de motion capture qui sont employées comme base de l’outil.

Comme on peut le voir dans les vidéos ci-dessous, positionnement retenu est celui d’une base d’animation : le résultat est volontairement inexpressif, l’objectif n’étant pas de remplacer les équipes d’animation mais d’accélérer leur flux de travail. Les artistes pourront donc partir d’un personnage disposant déjà d’un lip-sync, et y ajouter les expressions appropriées. A noter, l’animation de l’intérieur de la bouche (langue) est aussi gérée.

Dynalips ne gère à l’heure actuelle que le français : ce type d’outil doit évidemment être adapté à chaque langue. L’anglais devrait toutefois bientôt être proposé.

Le modèle économique est en cours de finalisation, mais se rapprochera sans doute du system as a service :  le client enverra les données utiles à Dynalips, qui fournira la passe d’animation en retour. Dynalips garde toutefois une certaine ouverture pour les besoins plus spécifiques, par exemple pour les studios ayant des contraintes de confidentialité qui les empêchent d’envoyer les données.

Il est d’ores et déjà possible de contacter Dynalips pour mettre en place une collaboration. La société recherche activement des partenaires et projets qui permettront d’éprouver son système en production, par exemple sur des courts-métrages.
A noter également : le site officiel va probablement bientôt s’étoffer avec un démonstrateur en ligne, qui vous permettra de tester directement la technologie avec vos propres données.

Chargement....

A Lire également