Une paire de lunette munie d'une caméra et d'écouteurs permettrait de traduire l'environnement en paysage musical pour guider les aveugles.
Pour mieux aider les personnes atteintes de déficience visuelle, faire appel à leur faculté auditive leur permettrait d'interagir plus aisément avec leur environnement externe. Une équipe de chercheurs de la Hebrew University of Jerusalem a développé EyeMusic, un système qui scanne une image et la convertit en musique. L'idée? Permettre aux malvoyants de pouvoir atteindre des objets en se laissant guider par les notes de musique et les rendre plus autonomes dans leur vie quotidienne. L'équipe a testé son système auprès de 18 personnes avec les yeux bandés et ont comparé les résultats avec un guidage visuel.
Une paire de lunettes qui scanne l'environnement
Après une courte formation d'une demi-heure, chaque cobaye apprivoise l'appareil composé d'une paire de lunettes qui intègre une petite caméra vidéo, reliée à des écouteurs. Mais le son transmis ne passe pas par le canal auditif, mais au niveau du cuir chevelu situé au-dessus des oreilles. La petite caméra scanne le décor situé devant un utilisateur et ce de façon continue de gauche à droite. Les scans sont convertis en signaux sonores représentant des notes de musiques s'étalant sur cinq octaves en fonction de repères verticaux et horizontaux. Ainsi traduit en pixel, plus un objet est situé haut sur la verticale, plus la note émise sera aigue et inversement grave si elle est basse. Au niveau horizontal, tout est une question de timing. Au début de chaque scan, un signal sonore est émis. Ainsi, plus un pixel est éloigné de la droite et plus le son sera espacé.
Un système qui autonomise?
Les couleurs sont également prises en compte ainsi que la luminosité représentée par le niveau du son. Le système intègre également des algorithmes qui utilisent différents instruments pour chaque couleur : blanc pour les voix, bleu pour la trompette, rouge pour l'orgue, vert pour le bois, jaune pour le violon et le noir représenté par un silence. Au cours d'un test, les participants ont été capables de localiser un carré blanc sur une tablette. Les mouvements réalisés en utilisant l'EyeMusic ont été comparé à ceux d'un guidage visuel et aurait permis de réaliser des mouvements rapidement et avec précision. Ainsi à l'avenir, l'EyeMusic permettrait d'aider les malvoyants dans la vie de tous les jours, comme par exemple choisir des produits dans un magasin, atteindre et saisir une tasse de café ou même jouer à un jeu vidéo.