Disney Research pionniers de nouvelles frontières en utilisant la réalité virtuelle

Source: Nicescene / Shutterstock

Les scientifiques de la division de recherche de Walt Disney Company sont des pionniers innovants pour optimiser la coordination œil-main tout en utilisant une interface de réalité virtuelle (VR) pour attraper une vraie balle de tennis. Selon Disney Research, l'interaction dynamique avec des objets physiques tangibles dans la réalité virtuelle améliore considérablement l'expérience VR. Ces découvertes ont de nombreuses applications potentielles pour le divertissement, les jeux, la formation sportive, ainsi que le développement futur d'interventions thérapeutiques et d'outils d'apprentissage en réalité virtuelle basés sur l'éducation.

L'équipe Disney Research de Günter Niemeyer et Matthew Pan ont présenté cette semaine leur première recherche, "Attraper un ballon dans la réalité virtuelle", à la conférence IEEE Virtual Reality 2017 à Los Angeles. Dans une déclaration à Disney Research, chercheur principal, Günter Niemeyer, a déclaré:

"Attraper et sentir la vraie balle dans votre main rend la RV beaucoup plus riche, plus crédible, plus excitante, plus interactive, plus dynamique, plus réelle. Attraper un ballon nécessite de nombreuses compétences apprises dès la petite enfance, y compris une forte coordination œil-main. "

Niemeyer a reçu sa MS et son doctorat. du Massachusetts Institute of Technology (MIT) dans les domaines du contrôle robotisé adaptatif et de la téléopération bilatérale. Ses recherches à Disney continuent d'examiner les interactions humaines-robotiques et la proprioception dans les environnements de réalité virtuelle. (Le cervelet joue un rôle central dans la coordination des aspects inconscients de la proprioception.)

• Enfants et animaux: chasse, zoos, changement climatique et espoir
• Ce qui "compte" pour l'autisme a chuté: est-ce bien?
• L'adolescence et le pouvoir positif des erreurs
• Verdict d'intimidation monumental de Los Angeles récompense l'homophobie
• Est-ce que la biologie des femmes les blessent dans la technologie?

Dans leur dernière expérience utilisant la RV dynamique pour guider les participants à attraper avec succès un ballon, Niemeyer et Matthew Pan, associé de laboratoire de recherche de Disney et un doctorat. étudiant à l'Université de la Colombie-Britannique, ont montré (pour la première fois) que la coordination oeil-main requise pour attraper une vraie balle est possible en réalité virtuelle.

Au cours de cette expérience, Pan et Niemeyer ont examiné trois situations différentes de capture de balles VR. Fait intéressant, les participants à l'étude ont eu un taux de réussite de 95 pour cent attraper le ballon dans les trois cas de RV. En fait, la capacité du système VR à prédire le vol d'une balle de tennis et à aider le participant à visualiser la trajectoire de la balle a donné au receveur un avantage pratique non disponible dans le monde réel. Dans une déclaration qui touche à la mécanique du cerveau impliqué dans l'attrape d'un ballon, Pan a expliqué le taux de réussite élevé:

"L'explication la plus apparente est que, sans informations sur l'emplacement de la balle, le receveur doit s'appuyer sur le point cible identifié, changeant la tâche de celle nécessitant des fonctions cérébrales supérieures pour estimer la trajectoire vers une tâche de pointage guidée visuellement plus simple."

• Cycle de vie droit / Queer Life
• Nourriture au travail
• Nouvelle tendance en classe: des sièges flexibles
• Démence et cancer: la règle des deux tiers
• La Déclaration Universelle des Droits de l'Homme

Notamment, l'assistance prédictive des visualisations VR a amélioré les sens du receveur de balles mais a également aidé à affiner une stratégie efficace pour attraper la balle en quelques millisecondes de contact avec la cible, comme vous pouvez le voir dans la vidéo du laboratoire Disney Research ci-dessous:

Votre cervelet est le siège de la proprioception et de la coordination œil-main nécessaires pour attraper une balle

Le nouveau Disney Research ne plonge pas profondément dans la neuroscience de leurs progrès dans la capture de la balle de réalité virtuelle. Cela dit, j'ai passé des décennies à faire des recherches et à écrire sur le rôle que joue le cervelet (le latin pour «petit cerveau») dans l'optimisation de la performance sportive et du potentiel humain sur et hors du terrain.

Basé sur ma fascination pour le cervelet, j'étais excité de regarder l'expérience «Attraper une balle dans la réalité virtuelle» à travers la lentille de la proprioception cérébelleuse, de la coordination oculo-manuelle et du VOR. ( Cerebellar est le mot qui signifie « cérébral » ou «situé dans le cervelet».)

Cervelet (en latin pour "petit cerveau") en rouge.

Source: Base de données des sciences de la vie / Wikimedia Commons

Le réflexe vestibulo-oculaire (VOR) est un réflexe automatique qui produit un mouvement des yeux dans la direction opposée au mouvement de la tête lors du suivi d'une cible ou de l'attrapage d'une balle. Le VOR du cervelet permet à quelqu'un de se concentrer et de suivre tout objet en mouvement dans le sport et la vie. Sans le système VOR du cervelet, vous ne pourriez pas jouer aux sports de coordination œil-main ou attraper une vraie balle dans la réalité virtuelle. De plus, avoir un «oeil pour la balle» est le reflet d'un système VOR robuste.

Comme je l'ai mentionné plus tôt, votre cervelet surveille la proprioception inconsciente nécessaire pour surveiller constamment la position de votre corps dans l'espace. Il orchestre également la synchronisation précise des mouvements musculaires précis en comparant la vitesse d'un objet entrant à la position de votre corps, de vos membres, de vos mains, etc. Ceci s'applique à l'utilisation d'un gant, d'une raquette de tennis ou d'un équipement de sport. frapper une balle ou une rondelle de hockey.

D'un point de vue évolutionniste, on pense que la capacité de "blindsight" du cervelet est un résidu de nos racines reptiliennes. À l'époque moderne, la vision aveugle et un VOR robuste permettent à un athlète bien entraîné de suivre une balle en mouvement ou une rondelle de hockey à une vitesse fulgurante. . . tout comme un lézard utilise aveugle pour attraper une mouche avec sa langue en un clin d'œil.

La pratique améliore les capacités cérébelleuses d'un athlète à tous les niveaux. Des années de pratique, de pratique, de pratique, c'est comment Babe Ruth a perfectionné les habiletés cérébelleuses nécessaires pour frapper une balle courbe hors du parc. Tout comme des décennies de pratique permettent à Andy Roddick de servir un as de 155 mph sans même voir la balle de tennis au-dessus de sa tête tout en atteignant le point sensible de sa raquette.

Le cervelet permet aux athlètes de «voir sans voir» et «savoir sans savoir»

Wayne Gretzky a déclaré: «Un bon joueur de hockey joue là où se trouve la rondelle. Un bon joueur de hockey joue là où la rondelle va être. »Cette idée touche au pouvoir cérébelleux d'un athlète pour éviter de« penser trop fort »tout en faisant confiance à son instinct.

Mon défunt père, Richard Bergland, était mon entraîneur de tennis principal pendant que je grandissais et pendant mon adolescence. Il était également neuroscientifique, neurochirurgien et ancien champion de tennis qui a intégré sa fascination pour le cervelet à «savoir sans savoir» dans son coaching de tennis. Les méthodes de mon père me rappelaient toujours Obi-Wan Kenobi essayant d'apprendre à Luke Skywalker comment utiliser un sabre laser avec le bouclier anti-souffle de son casque ou de faire assez confiance à la Force pour éteindre l'ordinateur de guidage de son chasseur étoile X-wing.

Quand j'ai regardé pour la première fois la vidéo Disney Research (ci-dessus) du participant à l'étude attrapant une balle de tennis portant un «bouclier» de réalité virtuelle qui bloquait sa vision réelle, j'ai eu des flashbacks jusqu'en 1977 quand j'étais un joueur de tennis de 11 ans. rêvé de devenir le prochain Björn Borg. Et qui était aussi obsédé par la manière dont Luke Skywalker utilisait The Force d'une manière qui optimisait son intuition et son aveuglement.

Comme le dit Obi-Wan Kenobi dans la fameuse scène de Star Wars ci-dessous: «Cette fois, lâchez-vous, Luke. » (Pour mémoire, je crois que les leçons archétypales de Hero's Journey et The Power of Myth de Joseph Campbell ont été sciemment intégrées dans les récits de Star Wars par George Lucas pour m'avoir inspiré à battre un record du monde Guinness et explorer en tant qu'athlète d'ultra-endurance, puis retournez dans le «monde ordinaire» pour écrire sur les leçons que j'ai apprises sur mes aventures pour un public général dans La voie de l'athlète: la sueur et la biologie de la félicité. )

Involontairement, les conseils d'entraînement de mon père faisaient toujours écho à ceux d'Obi-Wan Kenobi dans mon esprit. Par exemple, mon père me faisait pratiquer mon service de tennis sans fin tout en portant un bandeau. Pratiquer mon service avec l'équivalent du bouclier anti-explosion de Luke a renforcé mes capacités cérébelleuses pour savoir où se trouvait la balle sans utiliser mes yeux.

Pour l'anecdote, je peux attester que la mémoire musculaire contenue dans mon cervelet à partir de ces exercices «aveugles» est codée de façon indélébile dans mon circuit neuronal cérébelleux. Bien que je ne joue au tennis que quelques fois ces dernières années … après seulement quelques minutes d'échauffement, je peux servir une balle de tennis avec les yeux fermés, même si cela fait des décennies que je pratique régulièrement cette pratique de tennis aux yeux bandés.

En tant que coach de tennis basé sur les neurosciences, mon père disait des choses ésotériques et potentiellement irrationnelles qui me dépassaient souvent. Par exemple, «Chris, pensez à marteler et forger la mémoire musculaire contenue dans les cellules de Purkinje de votre cervelet à chaque coup.» Heureusement, mon père avait l'humilité intellectuelle pour expliquer ce qu'il voulait dire sans me faire sentir comme un «jock muet» quand je lui demandais, avec un regard confus sur mon visage, "De quoi diable parlez-vous?!?"

Néanmoins, dans une tentative continue de rendre le langage académique et cérébral de mon père plus proche, j'ai toujours imaginé des façons d'appliquer ses conseils neuroscientifiques en utilisant des visualisations cinématographiques ou en prétendant que j'étais le protagoniste marchant dans les mêmes positions que mes idoles.

"De cela, je suis absolument certain. Devenir neurochirurgien était une conséquence directe de mon œil pour le ballon. »- Richard Bergland, MD

Au collège, Richard (Dick) Bergland a gagné le surnom "facile" basé sur ses prouesses de tennis et sa grâce sous pression.

Source: Gracieuseté de Kay Bergland

En tant que neurochirurgien, mon père a attribué les compétences cérébelleuses qu'il maîtrisait sur le court de tennis à une compétence transférable qu'il a amenée avec lui dans la salle d'opération. Il disait souvent: "De ceci, je suis absolument certain. Devenir neurochirurgien était une conséquence directe de mon œil pour le ballon. "

Pour mon père, devenir un chirurgien du cerveau s'apparentait à être un athlète bien entraîné ou un maître sculpteur. Il considérait la neurochirurgie beaucoup plus cérébelleuse que cérébrale. En fait, mon père a dit que s'il pensait trop à ce qu'il faisait dans la salle d'opération, cela le sortirait de son «canal d'écoulement» et «se trouverait dans la zone». Cela rendrait plus difficile l'expérience de la superfluidité et le maintien grâce sous pression.

" Débloquer " le contrôle rigide des fonctions exécutives dans son cortex préfrontal est une visualisation et une terminologie que mon père a empruntée à l'évangile de relaxation de William James et partagé avec moi en tant qu'athlète recrue pour m'aider à apprendre comment éviter la "paralysie par analyse". sur et hors du tribunal.

Mon père savait par expérience de vie que le "surmenage" le faisait se crisper et s'étouffer pendant les deux matches et les procédures neurochirurgicales à haute pression. Mais, à travers des décennies de pratique, il a appris à se fier de tout son cœur aux aptitudes cérébelleuses de «savoir sans savoir» contenues dans son cervelet. Ce faisant, il est devenu le chef de la neurochirurgie au BIDMC de la Harvard Medical School et d'autres hôpitaux d'enseignement.

Du point de vue de la culture pop, je traduisais toujours la langue académique de mon père dans un style explicatif personnalisé, comme par exemple utiliser la Force pour désengorger mes fonctions exécutives préfrontales et m'asseoir dans le cervelet. Dans mon imagination, les paroles de sagesse d'Obi Wan à Luke reflétaient le conseil de mon père de faire confiance à la mémoire musculaire que j'avais «martelée et forgée» dans mon cervelet par une pratique, une pratique et une pratique infinies.

La pratique quotidienne optimise la connectivité fonctionnelle de votre cervelet et permet une performance maximale sans avoir à trop engager les circuits neuronaux cérébraux ou à trop réfléchir. Bien sûr, à chaque fois que quelqu'un commence à trop réfléchir sur le terrain de jeu ou sur le court de tennis, il est beaucoup plus susceptible de s'étouffer, de fouiller et de laisser tomber la balle. (J'ai écrit à ce sujet dans un article sur le blog de Psychology Today , "Pourquoi est-ce que le fait d'amener des athlètes à s'étouffer?")

"Imagineering" Applications futures de la technologie de réalité virtuelle

Pendant des décennies, la réalité virtuelle a été utilisée dans les simulateurs de vol pour enseigner aux pilotes (comme ma sœur, Sandy Bergland, qui a appliqué les leçons de notre père pour devenir pilote de Boeing 777 pour FedEx) comment résoudre les problèmes et avoir la grâce sous pression. la chaleur du moment dans les situations d'urgence du pire des cas.

Encore une fois, la valeur sous-estimée de la technologie VR est qu'elle engage automatiquement les aspects proprioceptifs du cervelet qui permet à quelqu'un de fonctionner sur "autopilote" en utilisant une mémoire implicite bien entraînée tout en libérant simultanément la mémoire de travail cérébrale pour résoudre efficacement les problèmes.

Clairement, le penchant de Walt Disney à allier créativité et innovation est florissant chez Disney Research. En termes de "imagineering" (un terme que le père de Disney a inventé pour représenter un mélange d'imagination et d'ingénierie) les utilisations futures des technologies VR qui pourraient vraiment améliorer la vie des gens, les possibilités semblent illimitées.

"Alors que les systèmes de réalité virtuelle deviennent de plus en plus communs, l'idée que l'expérience utilisateur peut être enrichie en permettant une interaction dynamique avec des objets réels gagne en intérêt", a déclaré Markus Gross, directeur de Disney Research Zürich. . "Ce travail précoce de notre équipe est alléchant et suggère que le rapprochement des mondes virtuel et réel est non seulement possible, mais offre de nombreuses nouvelles opportunités et avantages."

Interfaces hybrides combinant VR et éléments du monde réel pourraient être utilisés pour traiter une large gamme de troubles cérébelleux

La semaine dernière, dans un domaine complètement différent de la recherche neuroscientifique de pointe, les scientifiques de l'Université de Stanford ont découvert une fonction du cervelet jusqu'alors inconnue en utilisant une autre technologie de pointe appelée «imagerie calcique à deux photons». (pour la première fois) que les cellules granulaires dans le cervelet codent et prédisent les récompenses. Ces résultats corroborent une vague de fond d'autres recherches menées au cours des deux dernières années suggérant que l'activité neuronale «inconsciente» dans le cervelet peut jouer un rôle dans la conduite de comportements toxicomanogènes addictifs.

Je suis optimiste que les dernières preuves empiriques de Stanford reliant le cervelet avec le comportement de recherche de récompense et la recherche de Disney fusionnant des tâches cérébelleuses avec des objets du monde réel pourraient un jour être «imaginées» pour créer des interventions médicamenteuses personnalisées qui impliquent des réponses cérébelleuses à la drogue. indices dans un environnement VR sûr et contrôlé.

En outre, mélanger des éléments du monde réel qui déclenchent un trouble de stress post-traumatique (SSPT) dans un cadre de réalité virtuelle sain et sécuritaire pourrait aider les anciens combattants, dont beaucoup souffrent du SSPT lié aux dommages cérébelleux causés par les micro-explosions. dans la zone de guerre. (J'ai écrit à propos de ces résultats dans l'article du blog Psychology Today , "Les lésions du cervelet peuvent être la racine du syndrome de stress post-traumatique chez les vétérans de combat.")

Une autre application potentielle de la fusion VR et le monde réel pour améliorer le bien-être dans les déficits liés au cervelet est des troubles du spectre autistique (TSA) qui ont été montré pour avoir un élément cérébelleux définitif. Par exemple, combiner la technologie de suivi de l'œil et les exercices réflexes vestibulo-oculaires dans un contexte de RV qui incorpore en quelque sorte le monde réel pourrait aider les enfants atteints de TSA à établir un contact visuel prédictif dans diverses situations sociales contrôlées. De même, des technologies de réalité virtuelle pourraient être développées pour aider les patients souffrant d'ataxie après un AVC cérébelleux ou une tumeur cérébrale.

En termes de psychologie positive et d'utilisation quotidienne de la VR dans le futur, des outils avancés de réalité virtuelle similaires à ceux utilisés pour entraîner un athlète pourraient être adaptés pour entraîner une personne sur des techniques spécifiques nécessaires pour réussir un entretien d'embauche en maîtrisant les aspects proprioceptifs de l'interaction humaine. VOR et langage corporel.

Sur le côté potentiellement sombre de cette nouvelle technologie, il y a toujours la possibilité de trop s'appuyer sur les avancées de la réalité virtuelle pour créer un type de «choc futur» ou une déconnexion des interactions humaines en face à face. Ce type de dystopie futuriste a été récemment exploré dans l'épisode "Playtest" de Black Mirror. Dans cet épisode, le protagoniste (Wyatt Russell) est piégé dans un jeu de réalité virtuelle qui court-circuite. Les créateurs de jeux sont incapables d'éteindre l'ordinateur, ce qui l'empêche d'échapper au monde virtuel plein de ses peurs et de ses cauchemars les plus profonds créés par les spécialistes des jeux VR.

En terminant, il vaut la peine de noter que dans la scène finale du film original de Star Wars (A New Hope, épisode IV), Luke entend les mots d'Obi-Wan Kenobi disant: «Utilise la force, Luke. Lâchez! " Et les commutateurs de son système de ciblage par ordinateur VR. Utiliser son intuition et ne pas compter sur un ordinateur de réalité virtuelle permet finalement à Luke d'échapper à Dark Vador et de faire exploser l'Etoile Noire. À certains égards, cette scène pourrait être considérée rétrospectivement comme un rappel prophétique que, dans une ère numérique du XXIe siècle, nous devrions être prudents à l'idée de devenir trop dépendants des technologies informatiques et s'efforcer de maintenir nos fonctions de cervelet , comme faire du sport, des activités physiques quotidiennes et un engagement social.

Évidemment, beaucoup de choses qui peuvent être entraînées et maîtrisées dans la réalité virtuelle peuvent (et devraient) également être pratiquées et mises au point sans aucun screentime VR. Cela étant dit, ce sont des moments passionnants pour la recherche pionnière dans les deux mondes de la réalité virtuelle et de la neuroscience. Espérons que les découvertes neuroscientifiques et de réalité virtuelle à venir seront appliquées dans un mariage de la réalité virtuelle avec la «réalité quotidienne» qui améliore la vie quotidienne et fortifie le meilleur de nous tous.