3dvf

Project Photofly / Photo Scene Editor

Méthode..................Photogrammétrie
Plateforme...............Windows
Tarif.......................Gratuit dans sa version beta.
Editeur....................Autodesk
Site officiel

En Bref :

Issu des technologies de Realviz, start-up française rachetée par Autodesk en 2008, Photofly est un projet d'Autodesk Labs : autrement dit, ce n'est pas encore un logiciel commercialisé, mais une beta gratuite destinée à recueillir un maximum de retours utilisateurs, en vue d'améliorer la technologie.

Photofly repose sur la photogrammétrie : en étudiant les similitudes entre plusieurs photos d'un même objet prises sous différent angles, le système détermine des points de correspondance, et en déduit la forme 3D. Le calcul est déporté (cloud computing) sur les serveurs d'Autodesk.

Points forts/faibles, champ d'application :


En mode 100% automatique, Photofly donne de très bons résultats. Un mode manuel permettra de gérer quelques cas difficiles.
Comme tout logiciel de photogrammétrie, il faudra éviter les prises de vue en ISO élevés et faible profondeur de champ : les échecs sont plus nombreux en cas de faible éclairage.
La gratuité de Photofly en fait dès à présent un incontournable, mais son avenir est incertain : fin 2012, le projet prendra fin, et la technologie sera ensuite, on l'imagine, incluse dans un logiciel standalone (à un prix inconnu) ou dans la suite Autodesk. Le low-cost n'est donc que temporaire.
Les échanges entre client et serveurs d'Autodesk étant non cryptés, un usage commercial / pour des projets confidentiels est déconseillé.

Exemples de résultat (24 photos) :

Test : Autodesk Photofly mis à l'épreuve

Après plusieurs séances d'essais de Photofly, force est de constater que la technologie d'Autodesk s'en tire plutôt très bien. Pour peu que les conseils de prise de vue aient été respectés, et que le sujet soit approprié, les résultats sont la plupart du temps très satisfaisants.

Mode Automatique : simple et efficace

Le workflow est relativement simple : prise de vue, transfert sur ordinateur, lancement du logiciel. On sélectionne alors les images prises, et on les envoie aux serveurs d'Autodesk. Libre alors à l'utilisateur d'attendre ou de demander une notification par e-mail lorque le traitement sera effectué.

Le premier jet est une version basse résolution, ce qui permet de vérifier que le scan a été correctement reconstitué. On peut alors demander une version en résolution moyenne ou haute (pour un travail sous Zbrush, par exemple), avec là encore un traitement sur les serveurs d'Autodesk, et une notification par e-mail possible. On pourra enfin exporter le modèle 3D.

On regrettera à ce stade que la phase basse résolution soit toujours obligatoire : une fois le coup de main acquis pour la prise de vue, et sur une série de sujets similaires, cette pré-validation est inutile.

Conditions d'utilisation

Comme tout logiciel de photogrammétrie, le projet Photofly apprécie les photos nettes et sans défaut : les tests menés montrent que les échecs surviennent surtout en cas de basse lumière, qui implique des ISO élevés (donc du bruit numérique) et une profondeur de champ réduite.
Pour la même raison, la numérisation d'objets de petite taille risque de poser problème.

Si Autodesk conseille l'utilisation d'un objectif grand angle, en pratique une focale de 50mm, voire 100 ou 200, ne posera pas forcément de problème. Le système est donc robuste.

Export

Plusieurs formats d'export sont proposés : dwg, fbx, rzi, obj, ipm, las.  La création des textures est automatisée, et donne des maps UV du type de celles visibles ci-contre (qui correspond à la statue du début de l'article).

La finesse du maillage se décide en choisissant un des trois niveaux de qualité (la prévisualisation, le mode normal et la qualité supérieure).

Une interface perfectible

Finalement, c'est sur le plan de l'interface actuelle que Photofly pêche sans doute le plus : quelques aspects mériteraient d'être revus ou améliorés.

Ainsi, lorsqu'un projet traité par les serveurs d'Autodesk est chargé dans le logiciel, une barre de progression est affichée : une très bonne idée, à ceci près que lors de nos tests, celle-ci avançait très vite pour le chargement des photos, avant... De se mettre en pause quelques instants, aux alentours de 95% de chargement. La barre est du coup peu utile, puisque la vitesse d'avancement varie radicalement. Une solution serait, peut-être, d'afficher en plus une estimation de temps restant, ou l'étape courante de chargement, afin de déterminé la cause du ralentissement (il semble qu'il 'agisse du téléchargement du modèle 3D proprement dit qui corresponde à cette pause : un temps restant estimé serait donc sans doute envisageable).

On pourra également déplorer le fait que les différents paramètres (dossier d'export, paramètres d'affichage tels que l'affichage des deux côtés des polygones) ne soient pas retenus d'une session sur l'autre.

Du côté de l'affichage du modèle 3D, plusieurs options sont disponibles pour observer le scan sous forme de wireframe, modèle texturé ou modèle texturé avec wireframe en surimpression.
On aurait aimé quelques raffinements supplémentaires qui auraient permis d'analyser la qualité du modèle plus en détails : affichage coloré en fonction de l'orientation de la normale, par exemple, ou bien modèle 3D non texturé, avec un shading mettant clairment en avant les reliefs, à la manière du matériau par défaut de ZBrush. Un peu d'ambient occlusion temps réel pourrait aussi aider à visualiser les détails.

Numériser un objet issu d'une application 3D ? C'est possible, comme le montre cette reconstruction issue de la démo de tête humaine de NVidia.

Pour autant, ne soyons pas trop durs : le logiciel est jeune, et aura sans doute une toute autre forme dans sa version finale (qu'il soit standalone ou intégré à la suite Autodesk).

Par ailleurs, de très bonnes idées sont présentes. On notera en particulier l'affichage des positions desquelles les différentes photos du modèle réel ont été prises : une excellente idée qui permet de vérifier non seulement que leur localisation estimée est correcte (donc que la reconstruction est bonne), mais aussi de corriger sa méthode de prise de vue. En effet, on pourra facilement déterminer quelles zones ont été très, voire trop photographiées, et quelles zones ont été oubliées.
Il sera intéressant qu'Autodesk pousse encore davantage cette idée. On peut par exemple imaginer un affichage sous forme d'une pyramide des champs de vision de chaque caméra, ou, mieux encore, d'un affichage sur le modèle 3D d'un système de couleur ou de niveaux de gris indiquant pour chaque point ou vertex le nombre de photos depuis lesquelles ce sommet est visible, et avec quel niveau de détail (sachant que pour augmenter le détail sur une zone donnée, il suffit de zoomer ou de se rapprocher du détail en question).
De cette façon, l'utilisateur pourrait encore plus facilement voir quelles zones ont été mal photographiées.

Quelles évolutions futures ?

Evidemment, nous ne pouvons pas prédire l'utilisation que fera Autodesk de son produit. Rappelons que le projet Photofly est issu d'Autodesk Labs, et à ce titre, son avenir est incertain.
Il pourra, au choix et selon les retours utilisateurs, finir en logiciel standalone, plugin, être intégré dans les logiciels existants, être revu pour affiner la technologie, ou être tout simplement supprimé.
On peut néanmoins plus que douter de la dernière option, tant la technologie de reconstuction 3D semble au point.

De même, on ne peut pas anticiper les futures fonctions de Photofly 3.0 ou de la version finale du produit... Mais le test du logiciel nous permet de dresser quelques envies.

- Au rang des suggestions, on aimerait par exemple qu'Autodesk permette le traitement par lots : importer toute une série de scans, et laisser le soin aux serveurs de faire le tri entre les différentes séances.
Pour peu que l'on se base sur des critères tels que l'heure de prise de vue, l'ambiance lumineuse, les liens entre images (ce qui nécessiterait toutfois du calcul supplémentaire) voire la prise d'une photo 100% noire (avec capuchon) entre deux séries de clichés successives, une telle fonction est tout à fait envisageable.

- Du côté des textures, les UV actuelles, bien que compactées avec soin, sont difficilement modifiables sous un logiciel 2D classique. Il faudra sans doute préférer un logiciel supportant la peinture 3D, comme Mudbox, Mari, ZBrush.
Dans le cadre de l'intégration dans un pipeline global, le support de Ptex semblerait logique, d'autant plus que les dernières mises à jour logicielles d'Autodesk vont dans ce sens.

- L'ajustement manuel, dans le cas où Photofly ne trouve pas assez de correspondances entre une photo et le reste de la reconstruction, est encore un peu laborieux. Actuellement, cela passe par la sélection de quelques points à la main sur la photo non reconnue, que l'on indiquera également sur deux autres clichés, avant de demander à Photofly de relancer l'analyse.
Ce processus n'est pas sans rappeler ce qui se fait pour la photo panoramique, et on peut donc songer à des améliorations ergonomiques similaires : par exemple, sélectionner non pas des points de concordance (qui nécessitent donc d'être assez précis), mais des zones, à la manière de ce que propose Autpoano Pro pour les panoramiques.
Concrètement, l'utilisateur tracerait un carré sur deux ou trois portions du sujet (par exemple, le visage d'une statue, sa main, le socle) sur la photo récalcitrante et une ou deux photos bien traitées, pour indiquer grossièrement les zones dans lesquelles Photofly devra chercher des correspondances.

- Enfin, on aimerait pouvoir dès le départ éliminer certaines zones du traitement. Cela peut en particulier être utile pour un cas que nous avons rencontré : les promeneurs dans un musée, qui bougent mais lentement. En étant présents à différents endroits selon la photo, ils peuvent perturber la prise de vue.
Pouvoir dessiner des masques pour ignorer une zone (ce que propose d'ailleurs Autodesk Stitcher pour les panoramas) serait alors sans doute utile.

- Enfin, quelques options de retouche du modèle 3D seraient les bienvenues : bouchage de trous automatiques avec plusieurs variantes (selon la taille du trou, en sélectionnant une zone du modèle, ou de façon totale pour avoir un modèle watertight).


Conclusion

Ne nous méprenons pas : malgré les critiques et suggestions formulées, le projet Photofly d'Autodesk est, pour la plupart des cas, simple, puissant et efficace. Sa gratuité à l'heure actuelle, l'absence de matériel particulier nécessaire pour l'utiliser et la qualité des résultats en font sans doute le meilleur moyen pour se lancer dans la reconstruction d'objets réels en 3D.
A essayer de toute urgence.

Pour en savoir plus :

- Le site officiel du projet.
- Le tout récent Wiki du projet.