Depuis plusieurs années, des projets visent à améliorer l’immersion au sein des matches sportifs, en permettant aux spectateurs d’observer le terrain sous tous les angles.
De nombreux projets, une mise en place complexe
Dès 2017, nous vous avions par exemple parlé de Free Viewpoint Video System, un projet de Canon. Intel a lancé une initiative similaire avec True View. Dans les deux cas, l’idée est de disposer une armée de caméras autour du terrain, afin de générer de la vidéo volumétrique qui peut ensuite être observée sous tous les angles.
Dans le même esprit, Unity vient de dévoiler Metacast, qui utilise là aussi de la vidéo volumétrique.
Outre le fait de proposer de nouvelles images aux téléspectateurs, ces techniques peuvent avoir d’autres applications : VR, analyse de stratégie d’équipe, optimisation des performances sportives, arbitrage, etc.
Toutes ces annonces sont prometteuses, mais elles ont plusieurs défauts, comme la nécessité de devoir utiliser un ensemble complexe de caméras synchronisées. Le volume de données à traiter pose aussi question, d’autant que le temps réel est indispensable pour ce marché.
L’IA, une alternative ?
C’est ici qu’intervient un projet de R&D de l’ingénieur en vision informatique Guillaume Chican, qui propose une alternative beaucoup moins contraignante : n’utiliser qu’une seule caméra, et laisser le deep learning faire le reste.
Guillaume Chican (que nous avions déjà eu l’occasion de croiser durant Laval Virtual 2017, sur un tout autre projet) nous explique que dans son approche, le deep learning est utilisé à la fois pour la capture de la géométrie et le rendu des joueurs. Dans la vidéo de démonstration ci-dessous, qui alterne prises de vue réelles et survols du match générés par son approche, seul le terrain est créé avec du rendu 3D classique. Les joueurs sont entièrement confiés au machine learning.
Si la méthode n’a pour le moment été testée que sur du football, elle se déclinerait sans difficulté sur d’autres sports comme le basket, le tennis. En revanche, des disciplines comme le rugby poseront sans doute des défis, certaines manœuvres comme les mêlées représentant des cas très spécifiques qui demanderont probablement un développement dédié.
La technique n’est pas encore temps réel, mais Guillaume Chican y travaille. Un autre axe d’amélioration étant de proposer un rendu de meilleure qualité.
En termes d’usages, cette approche pourrait comme les propositions d’Intel, Canon et Unity être utilisée pour proposer de nouvelles images aux spectateurs, avec des analyses de matches, des retours sur une action précise, ou encore la possibilité, en temps réel, de changer de point de vue (un peu à la manière d’un jeu vidéo). En revanche, comme le rendu neural implique que l’image est générée de toutes pièces, un usage en arbitrage serait sans doute exclu.
Guillaume Chican souligne que combinée à un dispositif de réalité augmentée ou virtuelle, sa technique permettrait aux fans de reproduire l’expérience du stade grâce à une loge virtuelle, entre amis.
A noter enfin : puisque le système ne nécessite pas de matériel lourd, on peut imaginer un déploiement moins coûteux et plus facile. De quoi, peut-être, et dans un futur plus ou moins lointain, rendre cette technique accessible à davantage d’équipes, au sport amateur ou encore au secteur de l’éducation…
Pour le moment, nous n’en sommes évidemment pas là.
Pour en savoir plus
Pour toute question, Guillaume Chican peut être contacté sur LinkedIn.
1 commentaire
😳 Dingue!