Ce travail repose sur le principe de collaboration entre deux utilisateurs potentiellement distants l’un de l’autre (ex. l’un sur Terre ; l’autre dans l’ISS, Station Spatiale Internationale). Dans de telles circonstances et selon la situation distante, un opérateur distant pourrait être assisté par un agent conversationnel visualisé en Réalité Augmentée (RA).
En même temps, sur Terre, un expert métier serait immergé dans une reconstitution de la situation distante à l’aide d’un dispositif de Réalité Virtuelle (RV).
Plus concrètement, considérons un équipier malade et un astronaute dans l’ISS. Bien que formé à la médecine et ne pratiquant pas celle-ci au quotidien, l’astronaute pourrait avoir besoin d’assistance.
Pour cela, un médecin virtuel serait présent aux côtés de l’astronaute qui porterait un casque de RA.
Sur Terre, un médecin présent dans un CAVE serait immergé dans une reconstitution de l’ISS. Il suivrait et assisterait également l’astronaute et enverrait alors « en temps réel » des mises à jour d’instructions directement à l’astronaute via le médecin virtuel.
Ces travaux de recherches sont issus du projet ANR VR-MARS (2019-2022) dont Elisabetta BEVACQUA (enseignante-chercheuse ENIB de l'équipe COMMEDIA du Lab-STICC) était responsable. Ces nouvelles expérimentations menées au sein de l’Airbus A310 « Zéro G » de la société Novespace, filiale du Centre National d'Études Spatiales (CNES), ont eu pour objectif de lever deux verrous : un premier verrou scientifique et un second verrou d’ordre technique.
C’est donc après avoir enfilé leurs combinaisons du CNES et après avoir reçu une injection de scopolamine pour ne pas être malade en vol (l’oreille interne et plus globalement le corps étant particulièrement sollicités lors de ces vols) que nos chercheurs se sont abaqués à ces deux verrous.
Pour le premier, il s’agissait de vérifier si l’opérateur était capable de suivre et de mener sans encombre une procédure médicale, en étant assisté par un agent virtuel, le tout en situation d’apesanteur. Cette procédure médicale allait du simple interrogatoire du patient, aux captures de ses données physiologiques jusqu’aux palpations afin d’établir un diagnostic médical. Pour ce premier verrou, les résultats se sont avérés très vite positifs. Les participants aux expérimentations (6 médecins invités par l’équipe) ayant quasi tous réussis à effectuer la procédure jusqu’au bout, lors de 15 paraboles d’une durée de 22 secondes chacune d’apesanteur.
Pour le second, il s’agissait de tester et évaluer le matériel de RA en apesanteur. C’est ici que les problèmes commencent…
Nos chercheurs avaient déjà pu effectuer des tests lors de précédentes campagnes de vols mais, d’une manière générale, l’utilisation des dispositifs de RA en apesanteur pose problème (parce qu’ils utilisent des gyroscopes, ou parce qu’ils capturent ou diffusent un rayon laser via des pe8ts miroirs qui, eux-mêmes flottent ou se déplacent en zéro gravité).
Pour cette nouvelle campagne de vols 0G, l’équipe a emporté avec elle une partie du matériel du CERV : des caméras infrarouges. Objectif : utiliser le principe de la « captation optique » pour tracker la position du casque de RA (et donc de l’utilisateur) via des constellations constituées de petites boules réfléchissantes. Exit donc, ici, les problèmes de gyroscopes !
Lors du premier vol, le matériel s’est avéré fonctionnel mais capricieux. L’équipe misait sur quelques réglages qu’ils ont effectués juste avant le second vol. Durant ce dernier : catastrophe ! La position du casque était totalement aléatoire et l’agent virtuel flottait sur tous les axes. Après longues réflexions, analyse de la situation et avec l’aide des ingénieurs de Novespace, nos chercheurs ont déterminé que la configuration matérielle sur le tarmac était différente de la configuration en vol puisque l’avion se dilatait une fois en l’air. Seule solution pour résoudre ce problème qui, de fait, influait sur le positionnement et donc la position des caméras : faire la calibration du matériel et des caméras en vol.
Lors du troisième et dernier vol de la campagne, les résultats furent alors très positifs : l’équipe est arrivée, en apesanteur, à coupler le monde réel avec un monde virtuel à l’aide d’un casque de RA colocalisé dans l’environnement (ici dans l’avion). A notre connaissance, ces résultats s’avèrent être parmi les, sinon la, première(s) mondiale(s).
C’est donc avec des étoiles pleins les yeux que nos chercheurs sont rentrés fièrement en Bretagne.
Souhaitons-leur un « bon retour sur Terre » !
L’équipe tient à remercier l’ensemble des participants des différentes campagnes de vols et surtout l’ensemble de l’équipe de Novespace ainsi que le CNES.
