L’animation de quadrupèdes, que ce soit en animation, VFX ou jeux vidéo, est un problème complexe qui demande une grande maîtrise. Les méthodes automatisées ou semi automatisées nécessitent souvent de générer des extraits d’animation, et la motion capture a également des limites.
He Zhang, Sebastian Starke, Taku Komura de l’Université d’Édimbourg et Jun Saito d’Adobe Research se sont attaqués à ce problème dans la publication Mode-Adaptive Neural Networks for Quadruped Motion Control, qui sera présentée cet été au SIGGRAPH.
Leur technique s’appuie sur un système de réseaux de neurones, entraînés directement à partir de données réelles (séances de motion capture). Le résultat est un système capable de générer de lui-même des mouvements réalistes, sans artefact tel que les effets de glissement par rapport au sol (courants notamment dans les jeux vidéo dès qu’un cheval est mis en scène). L’approche permet un contrôle direct et interactif ; elle gère les transitions entre les différents modes de marche, course ou encore saut.
Le projet a été mis en une application dans un prototype créé sous Unity et s’appuyant sur TensorFlow (pour la partie machine learning).
En termes de performances et dans les exemples de la vidéo, le calcul lié au réseau de neurones nécessite seulement 2ms par frame sur un processeur Core i7, en single-thread.
Le code source est mis à disposition ; une démo interactive devrait « très bientôt » être aussi proposée.
