Revivre des évènements en 3D grâce aux vidéos collaboratives

Un projet de recherche financé par l'Union européenne développe un outil permettant une reconstitution en 3D d’événements à partir de vidéos de smartphones.

De nombreux appareils, tels que les Google Glass, capables de « comprendre » les signaux visuels permettent à la vision en 3D de gagner du terrain. Le projet SCENENET, né en 2013 s’inscrit dans ce contexte. Aujourd’hui, plus un concert ne se joue sans que l'on observe une multitude de téléphones mobiles dans la foule de spectateurs qui filment. Face à l'invasion des caméras de plus en plus performantes, comment exploiter cette masse d'images ? C'est à ce défi que se sont attaqués Chen et Nizan Sagiv à travers SCENENET*. Ce projet qui clôt en janvier 2016 a pour ambition de convertir toutes les vidéos des personnes présentes lors d’un même évènement en une vidéo synergique en 3D. Ce projet, financé à hauteur de 1,33 million d'euros par la Commission européenne à travers le programme FET (Future and Emerging Technologies), est coordonné par l'entreprise de Chen et Nizan située à Ra'anana en Israël, SagivTech, spécialisée dans la vision informatique et l'informatique parallèle. En outre, il reçoit l'appui de quatre partenaires européens: l'université de Brême, Steinbeis Innovation, European Research Services en Allemagne et l'EPFL en Suisse.

Une technologie participative

Pour développer ce projet de reconstitution 3D, Chen et Nizan se sont concentrés au cours de la première année sur l'infrastructure mobile pour les fichiers de format vidéo et ont également développé un mécanisme de marquage et de transmission vers un serveur "cloud". En parallèle, l'équipe a mis en place des outils de base pour une interface homme-machine permettant aux utilisateurs la visualisation de la vidéo en 3D selon différents angles dans la salle de concert. Le projet relève plusieurs défis technologiques: le pré-traitement intégré nécessitant une puissance informatique importante, la transmission efficace des fichiers vidéo, le développement de méthodes rapides et précises d'enregistrement entre les flux de fichiers vidéo et la reconstruction 3D. Et toutes ces tâches doivent répondre à un impératif de vitesse exigeant (quasiment en temps réel). D'autre part, cette technologie se base sur une démarche participative et devrait générer la création de communautés en ligne autour du partage de contenus afin de revivre un concert tous ensemble. Aussi, les utilisateurs pourront aussi éditer le film.

Vers de nouveaux champs d'applications

Les travaux du projet SCENENET et notamment les algorithmes de vision par ordinateur accélérés créés pour les appareils mobiles apportent une réelle avancée dans le domaine de l'enregistrement d'images et de la reconstruction en 3D. Cela représente un grand potentiel pour le mobile et le "cloud". Ainsi, si pour le moment le projet s'intéresse tout particulièrement aux concerts et autres événements similaires, la technologie développée pourraient investir divers secteurs comme les événements sportifs ou l’actualité. En outre, d'importants fabricants de composants pour les jeux vidéo suivent attentivement la progression du projet. Toutefois, SCENENET suscite plusieurs questions autour de la confidentialité et des droits de propriété intellectuelle. Cet aspect sera traité dans les deux prochaines années par les partenaires du projet.

*Le projet SCENENET a bénéficié d'un financement de la recherche au titre du septième programme-cadre (7e PC) de l'Union européenne.