La réalité augmentée permettrait de simplifier l'interaction entre formateur et mécanicien grâce à la reconnaissance gestuelle et un mode vocal. Un système existe ainsi, qui combine les capteurs de la Kinect et une caméra.
Pour améliorer la formation des mécaniciens, l'industrie automobile pourrait compter sur les technologies habituellement dédiées aux consoles de jeux. Des chercheurs* ont mis au point un prototype qui combine la réalité augmentée et les capteurs du système Kinect. L'idée? Créer un système de formation virtuelle afin d'améliorer l'interaction entre le formateur et les apprenants. Actuellement, les séances de formation se déroulent de façon centralisée avec un formateur qui doit suivre manuellement chaque étape pour chaque apprenti mécanicien. Dans certains cas, sa présence physique est indispensable ce qui augmente sa charge de travail et engendre des retards dans les opérations.
Un scénario prédéfini
Pour éliminer ces contraintes et automatiser la formation, le prototype des chercheurs intègre les capteurs très haute qualité de la Kinect et une caméra, pour proposer un système en mode vocal ou en mode gestuel. Le mode vocal est contrôlé par différentes commandes orales tandis que le mode gestuel reconnaît les gestes effectués grâce aux capteurs de la Kinect. Equipé d'une caméra, le système collecte les données du squelette de l'apprenant en se basant sur 20 points différents d'articulations de son corps. Pour vérifier que les actions ont été correctement réalisées, le prototype compare les données collectées pour chaque mécanicien à un scénario prédéfini. Tout ceci en grâce à un module de réalité augmentée qui, grâce à la caméra, capture ces données en temps réel et génèrent un modèle 3D qui se superpose au scénario.
Une nouvelle forme de documentation
L'apprenant se laisse guider par le système au-fur-et-à-mesure des étapes de sa formation et est capable d'identifier et suivre ses mouvements en s'assurant qu'ils réalisent chaque phase correctement. Auquel cas, le système lui signifierait ses erreurs en indiquant les corrections. Ainsi, le travail de l'expert formateur serait réduit aux activités les plus complexes, les plus simples étant supervisées par le système. Il garderait également une trace de toutes les actions qui ont été réalisées, tout ceci depuis son bureau. Ce système aurait ainsi également vocation à simplifier les documentations. Pour rappel, de nombreux projets intègrent la réalité augmentée à un module de formation, comme le Wearable Behavioural Navigation System, qui permet de guider une personne via une paire de lunettes en réalité augmentée.
*S. Warade, J. Aghav du College of Engineering de Pune en Inde, C. Petitpierre du Swiss Federal Institute of Technology de Lausanne en Suisse, S. Udayagiri du John Deere Technology Center en Inde. Automated Training and Maintenance through Kinect (2012)