Neuroscience et XR : Favoriser l’avancement de la réalité immersive

Par: Johnny Kung

2 Juil, 2020

02 juillet 2020

Les technologies de réalité étendue (extended reality, XR), comme la réalité virtuelle (RV) et la réalité augmentée (RA), tirent profit de nos systèmes sensoriels ainsi que des interactions entre le cerveau et le corps humain pour plonger l’utilisateur dans des environnements augmentés et virtuels. Des recherches de pointe en neuroscience et en science cognitive se révèlent très prometteuses pour surmonter des obstacles qui limitent la création d’expériences plus immersives. En parallèle, des percées en XR procurent aux chercheurs de nouveaux outils pour sonder plus à fond les rouages de notre cerveau et de notre esprit.

Les 25 et 26 mai 2020, le CIFAR a organisé une table ronde virtuelle qui a réuni des Boursiers du programme Cerveau, esprit et conscience Azrieli du CIFAR et d’autres experts internationaux du milieu universitaire et du secteur de la XR. Par l’entremise de brèves présentations et de discussions dirigées, l’atelier a exploré des recherches qui sont d’une grande pertinence pour surmonter certains des obstacles majeurs à la création d’expériences en XR plus immersives, ainsi que la façon dont la XR pourrait nous permettre de mieux comprendre la conscience humaine et les interactions entre le cerveau et le corps humain. Il s’agissait du troisième événement d’une série destinée à élargir l’impact du programme Cerveau, esprit et conscience Azrieli du CIFAR qui a réuni les communautés de la neuroscience et de la science cognitive, ainsi que celle de la XR pour un dialogue visant à repérer des possibilités réalisables et collaboratives où ni le milieu de la recherche ni l’industrie ne pourraient réaliser de progrès isolément.

Parties prenantes cibles

Chercheurs en neuroscience, en science cognitive, en philosophie, en éthique et en droit
Développeurs d’outils de neuroimagerie et de technologies de XR
Concepteurs, ingénieurs, créateurs de contenu et conseillers juridiques dans les secteurs des jeux et des films en XR
Professionnels qui s’intéressent à l’utilisation de la XR en éducation, en psychothérapie, en création de communautés et autres applications

Résultats clés

Comparativement à l’environnement beaucoup plus riche du monde réel, les installations dans les laboratoires de psychologie traditionnels sont limitées, même si elles sont utiles pour apprendre certaines choses sur l’esprit. En permettant aux chercheurs d’enrichir l’environnement (virtuel), les outils de XR permettent d’obtenir des cadres expérimentaux plus « réalistes ». La recherche qui exploite la XR peut donc produire des données fondamentales sur le fonctionnement du cerveau et de l’esprit, tout en nous éclairant sur ce qui rend les expériences en XR immersives — par exemple, en démontrant que lors d’une interaction avec des objets virtuels, de légères différences dans le minutage (ou la contingence) des actions et leurs conséquences visuelles, mais pas dans la direction (ou la congruence), influencent la vitesse à laquelle un sujet prend conscience des objets virtuels. Toutefois, il y a un compromis à faire entre le fait de permettre plus de richesse et de souplesse (par exemple, la capacité du sujet à examiner l’environnement virtuel) et la variabilité de l’effet observé (puisqu’il serait plus difficile de contrôler ce que le sujet regarde).
Par l’utilisation d’environnements virtuels comme cadre expérimental, les chercheurs ont démontré le rôle du mouvement et de l’action dans l’apprentissage et la mémoire. Par exemple, des sujets répartis aléatoirement pour jouer à des jeux de tir à la première personne ont affiché des améliorations dans un certain nombre de tâches cognitives, telles que l’attention et la cognition spatiale, par rapport à ceux qui ont été répartis à des jeux qui ne requièrent aucun mouvement (comme Tetris). Dans une autre étude, des sujets qui ont pu placer des objets dans des endroits différents tout en naviguant dans un environnement virtuel ont affiché une amélioration de la mémoire lorsqu’ils se sont remémoré les objets, comparativement à ceux qui ont pu observer les objets seulement pendant la navigation. Finalement, dans une expérience qui a combiné la neuroimagerie et la navigation à travers une ville virtuelle, les chercheurs ont démontré que les distances spatiales et temporelles entre les événements définissent la « carte des événements » dans la mémoire d’un sujet ainsi que son encodage neuronal.
L’embodiment ou l’incarnation, au sens de la « connaissance » de son propre corps relativement à l’agentivité (« quand je bouge, ça bouge »), à l’emplacement (« ça, c’est juste ici ») et à la propriété (« c’est à moi et à personne d’autre »), est une « hallucination contrôlée » définie par l’extéroception (sens de l’environnement externe, comme la vision, l’audition, l’odorat, le toucher, etc.) et l’intéroception (sens de l’état interne du corps, c’est-à-dire le sens de la position du corps ou proprioception, le sens de l’équilibre et de l’orientation spatiale fourni par le système vestibulaire, et la perception des battements du cœur). Les utilisateurs experts d’outils, de véhicules ou d’équipements sportifs sont souvent capables d’atteindre une précision millimétrique avec ce qui devient essentiellement un « prolongement » de leur corps, même si ces objets ne fournissent aucune donnée sensorielle directe. L’équipement de RV, en association avec d’autres outils, comme l’oculométrie et le suivi des mouvements, peut nous aider considérablement à mieux comprendre comment se produit l’incarnation, ce qui se révèle pertinent dans divers domaines, comme les membres prothétiques.
Les expériences en XR qui exploitent les effets de l’incarnation ont des applications éventuelles dans des domaines aussi variés que la diplomatie et la résolution de conflits, la justice réparatrice et la psychothérapie, l’éducation et l’environnement. Par exemple, les hauts diplomates et décideurs peuvent vivre une expérience en XR « sur le terrain » de régions déchirées par la guerre dans l’espoir de mettre un « visage humain » sur les décisions qu’ils prennent à propos du rétablissement et de la consolidation de la paix. Les exercices d’« échange de corps » avec des personnes d’autres communautés ou aux vies différentes ont pour but de susciter l’empathie, de lutter contre les préjugés et de favoriser la résolution de conflits; alors que l’échange de corps avec un psychologue virtuel pour avoir un dialogue avec soi peut se révéler utile dans le domaine de la consultation psychologique. Certaines expériences en XR tentent même d’incarner l’utilisateur dans des animaux non humains ou d’autres organismes qui sont complètement différents des humains (comme les arbres ou les mycéliums), pour aider les utilisateurs à mieux entrer en relation avec le reste de l’écosystème. Les scientifiques pourraient aussi incarner les organismes modèles les plus couramment utilisés dans les expériences en neuroscience (comme les mouches et les souris).
Il n’est peut-être pas nécessaire que la RV soit complètement « réaliste » pour qu’une expérience ou une illusion soit immersive, car l’être humain ne vit pas toujours « correctement » la réalité. Notre cerveau ne perçoit pas les données sensorielles « telles qu’elles sont », mais échantillonne plutôt certaines données de l’environnement pour établir des prévisions et des interprétations, et créer un modèle de l’environnement fondé sur les attentes. Par exemple, en RV, quand on ajoute des œillères au champ de vision virtuel pour bloquer la vision latérale, les sujets ne voient pas nécessairement de différence, comme dans le cas de la « vision concentrée » du conducteur. Il faudra réaliser de plus amples études pour déterminer ce qui doit être inclus ou peut être exclu des expériences virtuelles, comme le nez dans notre champ de vision (normalement supprimé par le cerveau) ou l’utilisation de « bogues » visuels pour simuler le clignement des yeux. Il n’est peut-être même pas nécessaire qu’une expérience en RV soit complètement « crédible » pour être immersive, car il est possible de déclencher la réaction comportementale souhaitée en présence des bons indices sensoriels, que l’utilisateur pense que l’expérience est « réelle ou non ». Il est important de noter que, sur le plan éthique, il peut être préférable que les expériences en RV ne soient jamais totalement réalistes afin de maintenir un « pare-feu » entre le monde réel et la réalité virtuelle.
Un nouveau domaine de recherche et développement consiste à associer la XR et l’intelligence artificielle (IA). L’entraînement des algorithmes d’IA dans des environnements virtuels pourrait améliorer le fonctionnement d’applications basées sur l’IA dans le monde réel (par exemple, en utilisant des modèles en RV créés à partir de scintigraphies 3D du corps entier de patients pour entraîner des programmes basés sur l’IA afin de mettre au point des membres prothétiques robotisés).

Priorités et prochaines étapes

Au fur et à mesure que les systèmes de XR gagneront en complexité et en capacité immersive, la frontière entre les essais de jeux et les expériences neurocognitives sera de plus en plus floue. C’est là l’occasion pour les scientifiques de collaborer plus étroitement avec les développeurs et les créateurs de contenu en XR, à la fois pour créer des expériences en XR plus captivantes qui facilitent la fonction narrative et pour concevoir des expériences scientifiques plus créatives et plus réalistes. La vaste quantité de données produites par l’industrie peut jouer un rôle important dans l’avancement des connaissances scientifiques, à condition de protéger correctement la vie privée et les principes éthiques de la recherche.
En plus de l’amélioration des signaux visuels et auditifs, l’apport d’autres sens sera essentiel pour créer des expériences virtuelles de plus en plus immersives. Le sens de l’équilibre, de l’orientation spatiale et du mouvement que procure le système vestibulaire est particulièrement important, car une coupure entre les signaux visuels du mouvement et un manque de rétroaction vestibulaire peut causer le mal des transports et une rupture de l’immersion. Des améliorations sur le plan de l’équipement peuvent améliorer l’immersion, notamment l’utilisation de casques sans fil moins encombrants, ainsi qu’une oculométrie plus précise et mieux intégrée pour suivre ce que les yeux de l’utilisateur regardent. En ce qui concerne la rétroaction vestibulaire, les chercheurs et l’industrie explorent le recours à des appareils qui induisent des vibrations ou utilisent la stimulation électrique; il est également possible de « surcharger » le cerveau avec un intrant vestibulaire bruyant afin qu’il ignore les signaux et intègre ses propres déductions vestibulaires.
Certaines études révèlent qu’une caractéristique connue sous le nom de contrôle phénoménologique peut influencer l’incarnation ou d’autres expériences subjectives signalées dans des cadres expérimentaux. Il s’agit d’une caractéristique, variable d’un individu à l’autre, en fonction de laquelle une personne est stimulée par des suggestions implicites dans un contexte donné pour créer une expérience subjective véritable (et les réactions neurologiques connexes) afin de répondre aux attentes du contexte (par exemple, une personne est censée avoir l’impression d’avoir incarné une main en caoutchouc dans une expérience mettant en jeu l’illusion de la main en caoutchouc). Il faudra réaliser de plus amples recherches pour voir comment la suggestibilité différente des gens influence les conclusions tirées par les recherches en science cognitive. Le contrôle phénoménologique a également des répercussions sur la facilité avec laquelle différents utilisateurs peuvent percevoir les expériences en XR comme étant immersives ou non.
Il faut explorer plus à fond la relation entre la XR et les expériences sociales. Bien que la XR soit aujourd’hui souvent une activité solitaire, les applications multi-utilisateurs éventuelles suscitent un intérêt croissant, notamment les expériences musicales partagées ou les jeux où plusieurs joueurs doivent coopérer pour résoudre des énigmes. De nouvelles discussions interdisciplinaires pourraient permettre de mieux comprendre la psychologie et la neuroscience des expériences collectives et donner lieu à la création d’expériences sociales plus authentiques et plus immersives en XR.
Vu le nombre croissant de jeux et autres expériences en XR destinés aux enfants dont l’utilisation commencera probablement à un âge toujours plus jeune, il est nécessaire de réaliser davantage de recherches sur la façon dont la XR influence le développement cognitif des enfants, particulièrement en ce qui concerne la suggestibilité, la conscience de soi et des autres, et le sens de la réalité. Des ravaux récents ont révélé que les enfants déclarent plus facilement avoir un sentiment d’agentivité et d’incarnation avec des avatars dans le jeu, malgré les déviations et l’asynchronie.
De manière plus générale, il est important pour les chercheurs et les développeurs de la XR de travailler en étroite collaboration avec les spécialistes des sciences sociales et les philosophes afin de commencer à anticiper et à résoudre les problèmes éthiques et juridiques qui pourraient se présenter avec le déploiement de la XR à plus grande échelle. Un certain nombre de questions méritent une attention urgente, notamment : Quelles sont les conséquences physiologiques, psychologiques et sociales de l’utilisation à long terme des expériences immersives en XR? Comment les interactions avec les avatars d’autres personnes en XR affectent-elles les interactions dans la vie réelle? Quelles sont les répercussions de l’interaction avec des avatars basés sur l’IA dont le réalisme va croissant? Comment empêcher l’utilisation d’expériences en XR, conçues pour être immersives et persuasives, à des fins de propagande ou à d’autres fins nuisibles? Finalement, l’utilisation de la XR mènerait-elle à une acceptation plus large du fait que l’être humain ne perçoit pas le monde « tel quel » et que la conscience est elle-même une « RV ancrée dans la biologie » et, le cas échéant, quelles en seraient les conséquences socioculturelles et politiques?

Participants à la table ronde

Craig Chapman, professeur agrégé, Université de l’Alberta, et chercheur mondial Azrieli, programme Cerveau, esprit et conscience Azrieli, CIFAR
John Cumming, vice-président principal, produits et technologies, Secret Location
Pietro Gagliano, fondateur et directeur créatif, Transitional Forms
Melvyn Goodale, professeur et titulaire de la Chaire de recherche du Canada en neuroscience visuelle, Université Western, et boursier Ivey, programme Cerveau, esprit et conscience Azrieli, CIFAR
Walter Greenleaf, chercheur invité, Virtual Human Interaction Lab, Université Stanford
Atsushi Iriki, chef d’équipe du Laboratoire de développement cognitif symbolique, Centre de recherche sur la dynamique des biosystèmes RIKEN, et boursier, programme Cerveau, esprit et conscience Azrieli, CIFAR
Philipp Kellmeyer, directeur du Laboratoire de neuroéthique et d’éthique en matière d’IA, Centre médical universitaire de Fribourg
Robert Kentridge, professeur, Université Durham, et boursier, programme Cerveau, esprit et conscience Azrieli, CIFAR
Peter Lush, chercheur, Université du Sussex
Alberto Mariola, étudiant diplômé, Université du Sussex
Daanish Masood, artiste et chercheur en RV, BeAnotherLab, et codirecteur de l’équipe de l’innovation, département des affaires politiques et de consolidation de la paix de l’ONU
Thomas Metzinger, professeur, Université Johannes-Gutenberg de Mayence
Brandon Oldenburg, chef de la création, Flight School Studio
Adrian Owen, professeur et ancien titulaire de la Chaire d’excellence en recherche du Canada sur les neurosciences cognitives et l’imagerie, Université Western, et codirecteur et boursier Koerner, programme Cerveau, esprit et conscience Azrieli, CIFAR
Olivier Palmieri, directeur de L’Atelier XR et directeur de jeu, Ubisoft Montréal
Aniruddh Patel, professeur, Université Tufts, et boursier, programme Cerveau, esprit et conscience Azrieli, CIFAR
Brian Schwab, ancien directeur de Interaction Lab, Magic Leap
Anil Seth, professeur et codirecteur du Centre Sackler sur la science de la conscience, Université du Sussex, et codirecteur, programme Cerveau, esprit et conscience Azrieli, CIFAR
Mel Slater, chercheur distingué et codirecteur de Event Lab, Université de Barcelone
Barnaby Steel, fondateur et directeur, Marshmallow Laser Feast
Keisuke Suzuki, chercheur, Université du Sussex
Laurel Trainor, professeure, Université McMaster, et boursière, programme Cerveau, esprit et conscience Azrieli, CIFAR
Nicholas Turk-Browne, professeur, Université Yale, et boursier, programme Cerveau, esprit et conscience Azrieli CIFAR

Lectures complémentaires

Ressources du CIFAR :

L’avenir de la neuroscience et de la RV (compte-rendu d’événement)

La Game Developers Conference (GDC) 2018 – L’avenir de la RV : Neuroscience et développement fondé sur les biocapteurs (compte-rendu d’événement)

Ouvrir les portes (virtuelles) de la perception (compte-rendu de recherche)

L’intelligence artificielle est-elle maintenant douée de conscience? Pas encore (compte-rendu de recherche)

Autres ressources :

Réalité virtuelle : Défis et dangers en matière éthique (en anglais), par Ben Kenwright

Contrôle phénoménologique : La réaction à des suggestions imaginatives est un facteur prédicteur de mesures de synesthésie visuo-tactile, de douleur par procuration et de l’illusion de la main en caoutchouc (en anglais), par Peter Lush et coll.

Virtualité réelle : Code d’éthique. Recommandations pour de saines pratiques scientifiques et les consommateurs de technologies de RV (en anglais), par Michael Madary et Thomas Metzinger

Que peut nous révéler la réalité virtuelle sur la psychologie du monde réel? (en anglais), par David Matthews

La neuroscience de la réalité (en anglais), par Anil Seth

La contingence sensorimotrice module des percées en matière d’objets 3D pendant un paradigme bCFS (breaking continuous flash suppression) (en anglais), par Keisuke Suzuki et coll.

L’éthique du réalisme en réalité virtuelle et augmentée (en anglais), par Mel Slater et coll.

Pour de plus amples renseignements, veuillez communiquer avec
Amy Cook
Directrice principale, Mobilisation du savoir
CIFAR
amy.cook@cifar.ca

Soutenez-nous

L’Institut canadien de recherches avancées (CIFAR) est une organisation de recherche d’influence mondiale fièrement basée au Canada. Nous mobilisons les plus brillants personnes du monde, dans toutes les disciplines et à tous les stades de carrière, pour faire progresser les connaissances transformatrices et résoudre ensemble les plus grands problèmes de l’humanité. Nous recevons l’appui des gouvernements du Canada, de l’Alberta et du Québec, ainsi que de fondations, de particuliers, d’entreprises et d’organisations partenaires du Canada et du monde entier.

Dons