La réalité augmentée et la réalité virtuelle arrivent dans les facultés de médecine et dans les blocs opératoires. L'enjeu est de mieux former et de mieux entraîner les praticiens, mais aussi aller vers une chirurgie réellement personnalisée où chaque patient aura son avatar virtuel.
Depuis de nombreuses années maintenant, le secteur de la santé s'intéresse à la réalité virtuelle afin de mieux soigner les patients. Dès la fin des années 90, des chercheurs ont commencé à créer des simulations au moyens de lourds casques de réalité virtuelles afin de traiter les patients victimes de phobies diverses. Peur de l'avion, agoraphobie, peur du vide, peur des araignées, quoi de plus sécurisant qu'un monde virtuelle dénué du moindre danger pour apprendre à vivre ses phobies. Depuis ses premières expérimentations, les chercheurs ont étendu les champs d'application de la réalité virtuelle dans le secteur de la santé. Pionnier du secteur, le Professeur Skip Rizzo de l’Université de Californie du Sud a notamment travaillé pour le compte de l'armée américaine afin d'aider les vétérans à faire face à leurs troubles post-traumatiques. Aujourd'hui, la réalité virtuelle est non seulement mise à profit afin d'apporter une réponse aux troubles psychiques et psychiatriques, mais apporte aussi une réponse à des souffrances bien physiques. Ainsi DeepstreamVR, l'entreprise créée par Howard Rose l'exploite afin de soulager les grands brulés de leurs souffrances, ainsi que les patients souffrants de douleurs chroniques.
La 3D immersive, une nouvelle vision de l'imagerie médicale
Si la réalité virtuelle progresse chez les patients, c'est aussi le cas du côté des soignants. La 3D immersive apparaît de plus en plus comme un outil extrêmement efficace pour visualiser les résultats de l'imagerie médicale. Ainsi, l'entreprise néerlandaise PS-Tech commercialise les stations médicales de visualisation 3D qui permettent aux médecins de littéralement naviguer à l'intérieur des images délivrées par les appareils d'imagerie médicale. Mayssara Telhine, ingénieur chez PS-Tech souligne : « Une station de visualisation 3D permet de visualiser les images tridimensionnelles délivrées par les équipements d'imagerie médicale. Elle offre un système interactif qui permet de naviguer dans cette donnée de manière intuitive et découvrir des structures cachées qui n'étaient pas visible jusqu'à présent. Ces écrans 3D ne sont pas aussi immersifs que les casques de réalité virtuelle, mais ils apportent énormément d'informations supplémentaires au chirurgien qui ne pouvait jusque là visualiser ces structures. C'est aussi un très bon outil d'échange entre praticiens en phase de diagnostic. » Pour ce spécialiste de la 3D, pouvoir ainsi manipuler du bout des doigts l'imagerie 3D très complexes aux moyens d'équipements de tracking permet d'affiner un diagnostic, il permet aussi de mieux préparer les opérations chirurgicales. Si PS-Tech propose un système d'écrans à affichage 3D couplé à des lunettes et un tracker de mouvement (comparable à une Microsoft Kinect), certains chirurgiens pourront préférer les lunettes de réalité virtuelle, plus immersives, mais plus en rupture avec les pratiques habituelles. D'autres préfèreront imprimer en 3D l'organe ou la tumeur à retirer afin de préparer au mieux le geste médical. « Il faut bien comprendre la problématique afin de proposer la solution la plus adaptée » estime Mayssara Telhine. « Il ne s'agit pas nécessairement de la réalité augmentée. Par exemple l'impression 3D est un complément qui peut permettre à un chirurgien d'avoir une vision globale avant l'intervention. »
Avec un écran 3D et un système de tracking optique, PS-Tech propose une approche pragmatique pour faire entrer la 3D immersive dans les hôpitaux.
La 3D, un outil pédagogique unique
La réalité virtuelle est un moyen de mieux préparer une opération, c'est aussi un outil pédagogique unique pour enseigner les protocoles et gestes opératoires. Créée par Maxime Ros, neurochirurgien, la société Revinax a développé Surgevry, une application mobile immersive qui permet aux chirurgiens et infirmières de bloc opératoire de se former à de nouvelles techniques chirurgicales. Jean-Vincent Trives, directeur des opérations de la start-up souligne : « Nous avons inventé le concept de tutorial immersif où un utilisateur peut s'immerger dans la peau d'un professionnel et découvrir les procédures et ses gestes lors de l'opération. Pour une même chirurgie, il peut y avoir différentes écoles, différents protocoles, différents gestes médicaux mais il y a peu d'interactions entre les différents CHU, peu d'échanges entre chirurgiens senior en dehors des grandes conférences. La réalité virtuelle permet d'échanger sur les meilleures pratiques, c'est un média d'échange scientifique. »
Cette notion de média de partage entre praticiens est poussée plus loin encore par la société Interaction Healthcare qui vient de créer la plateforme MedicActiv, une plateforme Web qui a l'ambition de devenir le "YouTube" du cas clinique. Le site est réservé aux professionnels de santé, étudiants en médecine et leurs professeurs. Ceux-ci pourront y trouver une vaste bibliothèque de cas cliniques présentés sous forme de simulations 3D. « La diffusion du savoir et des cas cliniques est au cœur de la plateforme que nous avons créée afin de diffuser le plus grand nombre possible de cas cliniques » explique Olivier Gardinetti, directeur technique d'Interaction Healthcare. « MedicActiv permettra de présenter des cas cliniques en réalité virtuelle ou de manière plus classique dans le but de former. Nous voulons surtout fournir les outils pour que les acteurs du monde médical puissent eux-mêmes créer du contenu et diffuser eux-mêmes leurs cas cliniques et créer une communauté autour de cette plateforme pour partager leur savoir non pas à l'échelle de la France, mais au niveau mondial, dans une approche ouverte. »
Un cas clinique en réalité virtuelle tel que les professionnels de santé peuvent consulter sur la plateforme MedicActiv.
D'une 3D générique à des modèles correspondant précisément aux patients
Si la 3D permet de mieux former le personnel médical et, espère-t-on, améliorer les échanges de bonnes pratiques entre équipes médicales du monde entier, la réalité virtuelle et la réalité augmentée pourraient aussi contribuer à améliorer l'efficacité des gestes chirurgicaux. Un médecin peut apprendre et répéter un geste chirurgical à l'infini dans une salle d'opération virtuelle au moyen de patients 3D génériques. Il peut aussi s'entrainer sur la maquette 3D de son futur patient. « L'enjeu fort aujourd'hui est de faire de la 3D spécifique au patient, avec un modèle 3D qui correspond très exactement à sa morphologie propre » estime Arnaud Cosson, PDG de HRV Simulation.
Cette approche futuriste est d’ores et déjà une réalité à l'IRCAD, l’institut de Recherche contre les Cancers de l'Appareil Digestif, créé par le Professeur Jacques Marescaux au CHU de Strasbourg. Très en avance quant aux applications de la réalité virtuelle dans le domaine chirurgical, l’IRCAD forme 5.500 chirurgiens venus du monde entier et WeBSurg, son université virtuelle dédiée à l’enseignement de la chirurgie mini-invasive en ligne, compte 350 000 membres actifs.
Pour aller vers cette chirurgie virtuelle personnalisée, l’IRCAD a créé Visible Patient, un service en ligne où les chirurgiens peuvent envoyer les fichiers d’imagerie médicale de leurs patients afin que des spécialistes n’en réalisent une modélisation 3D exacte. Un modèle que le praticien peut ensuite télécharger et visualiser et manipuler à sa guise. Un logiciel de visualisation lui permet d’explorer le modèle du patient sur son PC, une tablette ou un simple smartphone en phase de diagnostic comme en phase de préparation de l’opération. Le chirurgien peut potentiellement réaliser l’opération en réalité virtuelle sur son patient avant de passer à l’acte. L'approche prônée par l'IRCAD fait sauter une des limites de la simulation dans le domaine où les chirurgiens utilisaient des modèles 3D génériques, parfois trop éloignés de la morphologie de leur patient.
Avec Visible Patient, l'IRCAD de Strasbourg offre d'ores et déjà un service en ligne de modélisation de l'anatomie des patients à partir de leur imagerie IRM ou scanner 3D TDM.
Les progrès rapides enregistrés dans les équipements de réalité virtuelle vont amener de telles simulations à être de plus en plus réalistes et l'arrivée d'interfaces haptiques, c'est à dire capable de coupler les instruments chirurgicaux à un retour d'effort réaliste, va faire franchir une étape décisive dans ce recours à la simulation. « Les technologies de simulation permettent aujourd'hui de faire de la simulation, demain, elles permettront de faire de l'anticipation, c'est à dire pratiquer une chirurgie virtuelle spécifique avant de la pratiquer sur le patient lui-même avec la technologie active de retour d'effort » explique Arnaud Cosson. « Dans ce but, nous voulons associer l'imagerie médicale à l'objet 3D et sur lequel nous allons pouvoir associer les caractéristiques de densité osseuses du modèle. Cela va permettre de créer une simulation qui soit appropriée avec un modèle 3D qui correspond à un patient spécifique. »
Ce couplage entre la visualisation 3D immersive et la technologie haptique doit permettre aux professionnels de santé de s'exercer dans les conditions les plus proches du réel sans aucun risque pour les patients. HRV Simulation a notamment déjà conçu le VirTeaSy Birth, un simulateur d'accouchement difficile qui permet aux obstétriciens novices de s'entrainer au maniement des forceps avec une maquette de la patiente couplée à un modèle 3D réaliste des organes pelviens et du fœtus. Des simulateurs de ce type seront plus particulièrement précieux dans les pays émergeants estime Arnaud Cosson : « La simulation médicale est d'ores et déjà un marché mondial. Dans les zones géographique en hyper croissance où la classe moyenne se développe, il existe un besoin de former des personnels de santé rapidement et en grande quantité. Ces pays sont en quête de solutions et si cela fait 4 ans que notre société existe, nous réalisons 50% de notre chiffre d'affaires à l'étranger, dernier pays en date l'Ouzbékistan, des pays où il y a de grandes attentes en termes de formation des personnels soignants. »
La réalité virtuelle va profondément modifier la façon dont sera enseignée la médecine, notamment dans les pays où la demande de formation de personnel médical est forte.
La réalité augmentée, de la salle d'opération jusqu'aux urgences
Disposer d'un modèle 3D conforme en tout point au patient ouvre de nouvelles perspectives non plus seulement pour répéter un geste médical, mais aussi pour assister le chirurgien lors de l'opération elle-même. Depuis plusieurs années maintenant, le Professeur Patrick Pessaux, chirurgien hépato-bilio-pancréatique au CHU de Strasbourg utilise la réalité augmentée lors des opérations. Le modèle 3D est projeté directement sur le patient, ce qui permet non seulement au chirurgien de bien visualiser les organes du patient, mais surtout de mettre en valeur d'une couleur différente la tumeur à retirer. Le système de projection est une solution simple et efficace de faire de la réalité augmentée, mais beaucoup s'intéressent aux lunettes de réalité augmentée pour non seulement diffuser les images des opérations, mais aussi accéder à des informations complémentaires en cours d'intervention. L'atout clé des lunettes de réalité augmentée est de laisser libre les mains du chirurgien qui peut commander l'affichage des lunettes par la voix. Dès leur lancement limité, plusieurs chirurgiens ont essayé les Google Glass en salle d'opération, avec plus ou moins de réussite, mais l'arrivée de lunettes de nouvelle génération, plus performantes, plus endurantes et avec une meilleure qualité d'affichage ouvre de nouvelles perspectives. « Les médecins demandent une technologie qui sache se faire oublier et qui soit surtout facile d'accès. Le casque de réalité augmentée de type Microsoft HoloLens permet de garder les mains libres » estime Olivier Gardinetti, directeur technique d'Interaction Healthcare. Le Royal College of Surgeons of England a commencé à expérimenter dans ses blocs opératoires le casque HoloLens de Microsoft ainsi que divers casques de réalité virtuelle tels que le Samsung Gear VR, HTC Vive et Oculus Rift. Le but est ici de former les futurs chirurgiens sur des modèles 3D plutôt que des cadavres, mais une fois lcs étudiants en médecine formés à la réalité augmentée, sans doute ceux-ci voudront en bénéficier pour des patients bien vivants.
Le breton AMA propose aux urgentistes d'exploiter des lunettes de réalité augmenté afin de rester en contact permanent avec les services d'urgence et ainsi accélérer la prise en charge des patients.
Un éditeur est convaincu des atouts de la réalité augmentée pour le secteur de la santé, c'est le breton AMA. Cette start-up rennaise développe des applications professionnelles pour une dizaine de modèles de lunettes de réalité augmentée. Dans le secteur de la santé, AMA propose une application de réalité augmentée non pas aux chirurgiens, mais aux urgentistes, ceux qui interviennent dans les équipes de SAMU pour intervenir sur les lieux d'accident. Actuellement, lorsqu'une équipe d'urgence part en intervention, celle-ci reçoit pendant le trajet un premier descriptif de la situation telles que rapportée par les témoins ou les pompiers présents sur place. Une fois les premiers gestes de secours appliqués, l'urgentiste rappelle son central pour décider des mesures à prendre : Appel de renforts, transport des cas les plus critiques par hélicoptère. Ce rapport permet au coordinateur de mobiliser les moyens supplémentaires s'il a lieu de le faire, de prévenir les services d'urgence de l'arrivée de patients, éventuellement demander la préparation des blocs opératoires. L'idée de Guillaume Campion, responsable en charge de la stratégie produit d'AMA, c'est de doter l'urgentiste de lunettes de réalité augmentée qui vont permettre au régulateur de suivre en temps réel l'intervention via la caméra vidéo intégrée. « Outre la vision, le régulateur va pouvoir interagir avec l'urgentiste qui est sur le terrain, lui donner des instructions, lui poser des questions, éventuellement lui envoyer des documents. Il peut aussi prendre le contrôle des lunettes à distance et ainsi zoomer sur l'image, notamment sur l'ECG, prendre des photos, interagir sur les photos, envoyer vers l'urgentiste le protocole à appliquer et l'afficher sur l'écran des lunettes. C'est un véritable échange dans les deux sens qui peut s'instaurer entre l'urgentiste et le régulateur. » La solution développée par AMA a notamment été testée au CHR de Metz Thionville, dans l'est de la France. Guillaume Campion estime que cette approche collaborative prend tout son sens lors de catastrophes majeures, des situations où il faut organiser le tri d'un grand nombre de blessés, puis organiser le plus rapidement possible la noria des ambulances qui vont évacuer les blessés. « La mise en place du plan ORSEC demande de réaliser un gros travail logistique, et dans les essais auxquels nous avons pu participer, les lunettes permettent de gagner de 30 à 45 mn sur chaque rapport, évitant tous les allers-retours entre poste de commandement et point de tri. »
La technologie, encore balbutiante il y a quelques années semble désormais suffisamment mature pour être adoptée par le secteur médical et nul doute que la réalité virtuelle et la réalité augmentée feront prochainement pleinement partie des instruments de base des professionnels de santé, au même titre que le stéthoscope d'antan.
Jeu de briques
Snake
Pacman
Bubble