A l’occasion du SIGGRAPH 2014, Mathieu Aubry, Bryan Russell et Josef Sivic ont présenté leur publication Painting-to-3D Model Alignment Via Discriminative Visual Elements.
La technique mise en place dans ce travail de recherche permet d’aligner une représentation 2D arbitraire (dessin, peinture, photographie ancienne…) avec un modèle 3D des lieux. L’intérêt sera par exemple de savoir précisément à quel endroit le tableau d’un monument a été peint, à l’aide d’un modèle 3D du monument en question.
Les chercheurs soulignent la difficulté d’un tel travail : le style de l’artiste, les erreurs de dessin, les changement d’éclairage ou de saison altèrent énormément l’apparence d’une construction. Sans compter qu’un tableau peut comporter de multiples bâtiments, voire toute une portion de ville, ou encore comporter des éléments qui masquent une partie d’un monument, ce qui complique encore plus le travail informatique.
Ci-dessus, aperçu du procédé utilisé (graphe issu de la publication)
L’approche des chercheurs repose sur une nouvelle représentation compacte des scènes 3D complexes : chaque modèle est réduit à un petit ensemble d’éléments visuels discriminants, qui sont générés automatiquement à partir de rendus. Ce sont ces éléments qui permettront ensuite de retrouver le point de vue d’un tableau ou d’une photo.
La vidéo ci-dessous donne quelques exemples de résultats :
Pour en savoir plus : la publication Painting-to-3D Model Alignment Via Discriminative Visual Elements est en ligne ; la page propose également la présentation du SIGGRAPH, et le code utilisé devrait bientôt être mis à disposition.
