La Game Developers Conference (GDC) 2018 – L’avenir de la réalité virtuelle (RV) : Neuroscience et développement fondé sur les biocapteurs

Par: CIFAR

29 Août, 2018

29 août 2018

À la Game Developers Conference (GDC) 2018, le CIFAR a présenté un panel portant sur l’« Avenir de la réalité virtuelle (RV) : Neuroscience et développement fondé sur les biocapteurs ».

Le panel avait pour objectif d’exploiter des perspectives visionnaires issues de la science et de la conception de jeux pour explorer comment la recherche sur le cerveau et les biocapteurs, comme l’EEG, l’oculométrie et le suivi de mouvement, peuvent mutuellement favoriser l’avancement de la science de la RV et du cerveau.

Parmi les membres du panel, notons : Craig Chapman (Université de l’Alberta) et Alona Fyshe (Université de Victoria et Université de l’Alberta), Chercheurs mondiaux CIFAR-Azrieli, qui ont partagé leur recherche de pointe sur la cognition humaine, le mouvement et la neuroscience. Jake Stauch (président et chef de la direction de NeuroPlus), représentant de l’industrie, a parlé de son expérience dans la création d’un casque léger avec EEG qui s’intègre au jeu en temps réel. Kent Bye (animateur, Voices of VR), spécialiste de la réalité virtuelle, a animé la séance devant un auditoire de près de 200 participants de l’industrie du jeu. Les données principales émanant de ce panel sont présentées ci-dessous.

Présentation 1 : Craig Chapman

Chapman, neuroscientifique cognitif, est fasciné par la façon dont nous bougeons. Son travail s’articule autour d’une idée simple : regarder quelqu’un bouger, c’est le regarder penser. Chapman exploite des biocapteurs de suivi de mouvement pour interpréter ce que le langage corporel communique sur des états intérieurs.

Chapman a partagé des données issues de ses recherches où il a fait des vidéos de gens en train d’appuyer sur l’un de deux boutons, soit à leur discrétion ou en fonction d’instructions hors de l’écran. Ensuite, d’autres participants à l’étude ont regardé ces vidéos sans savoir qu’il y avait des différences entre les vidéos respectant les instructions ou les vidéos autodéterminées. Les chercheurs ont demandé aux participants de pointer le bouton sur lequel ils pensaient que le participant filmé appuierait. Les résultats de Chapman démontrent que les gens qui visionnent les vidéos pointent plus rapidement le bouton quand ils regardent quelqu’un qui a décidé lui-même sur quel bouton appuyer, car l’emplacement du bouton que les participants filmés ont choisi est visible dans leur langage corporel au début du mouvement.

Cette étude illustre que nous lisons et interprétons le langage corporel des autres inconsciemment. De façon plus générale, ces recherches révèlent toute la richesse d’information que recèle le mouvement humain et à quel point le mouvement peut être puissant comme intrant de jeu. Chapman a suggéré qu’il était important de repérer et de comprendre ces subtilités cachées pour créer des personnages et des interactions réalistes dans le jeu, ainsi que pour créer une réalité virtuelle véritablement immersive et interactive.

Dans un nouvel axe de recherche, Chapman collabore avec Fyshe pour incorporer des données cérébrales afin de mieux comprendre les liens entre le corps et l’esprit. Ces données cérébrales pourraient considérablement améliorer l’univers des jeux. Par exemple, un concepteur de jeux pourrait utiliser de telles données pour cerner le moment idéal où surprendre un joueur et ainsi approfondir son immersion. Toutefois, il a noté que pour exploiter ces recherches l’industrie du jeu et les spécialistes de la neuroscience devront travailler en collaboration.

Présentation 2 : Alona Fyshe

Fyshe peut carrément lire dans les pensées. Elle enregistre l’activité cérébrale de gens en train de lire et conçoit ensuite des modèles statistiques aptes à prédire quels sont les mots qu’une personne lit d’après son activité cérébrale. Si le modèle statistique se révèle efficace, les chercheurs pourront comprendre ce que le cerveau est en train de faire et comment il fonctionne simplement en observant certaines situations.

Fyshe a précisé que c’est l’informatique qui l’a mené à la neuroscience et qu’elle se spécialise maintenant en apprentissage automatique, un domaine scientifique où l’ordinateur se programme lui-même à partir de données recueillies. Elle a partagé un exemple concret de l’apprentissage automatique : si nous disposons d’un ensemble de données d’images cérébrales et d’une collection correspondante d’étiquettes d’états mentaux qui indiquent si une personne est somnolente ou reposée, nous pouvons exposer un ordinateur à des paires d’images et d’étiquettes, et l’ordinateur pourra déterminer comment prédire l’état mental du participant. Les techniques d’apprentissage automatique peuvent non seulement repérer de larges motifs de données visibles à l’œil humain, mais aussi des détails plus subtils que l’humain pourrait ne pas percevoir.

À l’aide des outils actuels, nous pouvons savoir à partir d’images cérébrales si une personne a appris une tâche, si les choses se sont déroulées comme prévu ou si les gens sont excités. Cela peut se révéler très utile dans la conception de jeux : si un concepteur sait qu’une personne est excitée ou frustrée, il peut optimiser le jeu pour maximiser l’excitation et minimiser la frustration. Conséquemment, le joueur s’investira beaucoup plus dans le jeu. Fyshe a noté que cette technologie est déjà disponible auprès d’entreprises qui fabriquent des biocapteurs à ajouter à des casques de RV, comme l’EEG, et que les concepteurs de jeux peuvent commencer à utiliser les données cérébrales pour créer de meilleurs jeux.

Présentation 3 : Jake Stauch

Stauch est un concepteur de jeux qui utilise déjà les données cérébrales comme intrant dans ses jeux. Il est le fondateur et président et chef de la direction de NeuroPlus, une jeune entreprise qui a mis au point un casque avec EEG et qui se spécialise dans des jeux neurologiques pour les enfants aux prises avec un TDAH.

Les jeux se fondent sur un thème principal : plus le joueur est concentré, plus de bonnes choses se produisent dans le jeu; si le joueur est tendu ou qu’il bouge trop, plus il perd de points et de santé dans le jeu. Grâce aux éléments neurologiques, les participants s’investissent davantage dans les jeux et cela a aussi une incidence positive sur la santé cognitive. Une étude menée pour vérifier l’efficacité d’un jeu de NeuroPlus dans le traitement du TDAH chez l’enfant a démontré que de jouer au jeu était près de quatre fois plus efficace que le traitement traditionnel du TDAH, soit les médicaments.

Stauch a suggéré que bien que les avancées technologiques surchargent souvent l’usager de plus d’information et d’interruptions, l’avancement des interfaces neurologiques pourrait aider les usagers à accroître leur concentration et à être moins distraits. Toutefois, il a souligné que le nouveau type d’interface présente de nouveaux défis pour la conception de jeux, car les intrants recueillis par le casque diffèrent considérablement de ceux du bouton de la manette traditionnelle. Par exemple, l’intrant n’est pas instantané et les résultats sont probabilistes, car il faut observer les ondes cérébrales pendant quelques secondes pour obtenir un résultat prometteur sur l’état cérébral du joueur. C’est différent de l’interface de la manette traditionnelle qui est immédiate et exacte, car elle est conçue autour d’un bouton que le joueur appuie ou pas. Le jeu deviendrait bien évidemment frustrant si l’intrant du bouton avait un retard de quelques secondes et s’il ne signalait pas toujours avec exactitude l’intention du joueur. Stauch a souligné que les concepteurs de jeux doivent se rappeler que les données cérébrales ne remplacent pas un bouton, mais qu’ils doivent plutôt créer de nouveaux paradigmes de jouabilité pour tirer profit de cet intrant novateur.

Discussion

Kent Bye, animateur de la baladodiffusion Voices of VR, a présidé une discussion interactive avec le panel et l’auditoire. Parmi les questions principales abordées, notons :

Protection des renseignements personnels : La protection des renseignements personnels est un souci pour toutes les données personnelles, mais c’est particulièrement préoccupant pour les données cérébrales. Les données cérébrales représentent les pensées d’une personne et seule celle-ci y a habituellement accès. Le partage de données pourrait considérablement accélérer les progrès dans le domaine, mais la confiance et la sécurité sont des éléments essentiels.Comme la neuroscience n’est pas encore suffisamment sophistiquée, elle ne peut brosser qu’un portrait grossier et flou de ce qui se passe dans la tête de quelqu’un. Les données d’EEG présentées dans cette séance sont anonymes, car il n’y a pas d’« empreinte digitale » dans les ondes cérébrales qui permettrait d’identifier la personne. Toutefois, on ne sait pas ce que l’on arrivera à faire avec ces mêmes données à l’avenir. Conséquemment, les chercheurs et les participants doivent être conscients des enjeux associés au consentement éclairé.
Les spécialistes de l’apprentissage automatique étudient des solutions à la question de la protection des renseignements personnels et visent à créer des modèles efficaces à l’aide de données sans jamais observer ces données directement. Dans le domaine de l’imagerie cérébrale, il existe une solution simple et efficace : l’établissement d’une moyenne entre les données des participants donne de meilleurs résultats et anonymise les données. Cela se compare avec les données de recensement où le salaire moyen d’un quartier est disponible, mais pas les salaires individuels.
Bien-être du joueur : L’utilisation des données cérébrales est associée à d’autres problèmes éthiques. Par exemple, les concepteurs pourraient arriver à optimiser les moments d’excitation ou de surprise dans un jeu, mais l’incidence à long terme sur le bien-être du joueur est difficile à cerner. On ne sait pas notamment si cela rendrait le joueur plus heureux globalement.

Ludification de la réadaptation et de l’éducation : Les principes de la conception de jeux peuvent faire d’un apprentissage ou d’un exercice difficile quelque chose de stimulant, d’amusant et de gratifiant. Plus une activité est agréable, plus les probabilités sont grandes qu’un patient ou un élève y prenne part. Les données cérébrales offrent de nouvelles possibilités pour améliorer le cerveau, car elles captent des éléments qui sont difficiles à pratiquer (et à mesurer), comme de prêter attention ou d’avoir un état d’esprit positif. Dans le cas de l’apprentissage, on pourrait utiliser les données cérébrales pour maintenir une personne dans une zone de stress optimale où une tâche donnée stimulera une personne, mais ne la frustrera pas. De plus, les données pourraient révéler quand l’apprentissage a été fait et quand il est indiqué d’accroître le niveau de difficulté. Nous ne pouvons pas encore mettre un casque pour devenir instantanément un meilleur apprenant, mais des chercheurs explorent des éléments de ces idées.

Une voie à suivre : La collaboration entre le milieu de la recherche et l’industrie

La séance a cherché à inciter l’industrie du jeu à contribuer à l’avancement de la recherche sur le cerveau et à cerner les domaines où les recherches actuelles pourraient favoriser l’avancement de la conception de jeux. Pour les chercheurs, il est évident que les concepteurs de jeux, qui sont des spécialistes de la création d’expériences authentiques, significatives et stimulantes, pourraient grandement contribuer à la conception d’éléments d’expériences scientifiques pour permettre l’étude efficace de la présence, de la concentration et de l’apprentissage. De plus, les résultats de ces recherches pourraient en retour susciter de nouvelles percées dans la conception de jeux immersifs. Ce genre de collaboration intersectorielle pourrait ouvrir de nouvelles frontières dans le développement de la réalité virtuelle et dans la recherche sur le cerveau.

Soutenez-nous

L’Institut canadien de recherches avancées (CIFAR) est une organisation de recherche d’influence mondiale fièrement basée au Canada. Nous mobilisons les plus brillants personnes du monde, dans toutes les disciplines et à tous les stades de carrière, pour faire progresser les connaissances transformatrices et résoudre ensemble les plus grands problèmes de l’humanité. Nous recevons l’appui des gouvernements du Canada, de l’Alberta et du Québec, ainsi que de fondations, de particuliers, d’entreprises et d’organisations partenaires du Canada et du monde entier.

Dons