Qu'est-ce que le VR eye tracking et comment ça fonctionne ?

Read in English (Lire en anglais)

Pour créer des expériences de réalité virtuelle (VR ou Virtual Reality) convaincantes, les capteurs doivent suivre et collecter des informations à partir des organes sensoriels, comme les yeux et les oreilles, en plus du suivi de la tête. Alors que le VR eye tracking se concentre généralement sur le suivi de la tête, les développements en matière de suivi des yeux sont à l'avant-garde de la recherche sur la VR. 

Le suivi des yeux n'est pas en soi une nouvelle technologie, mais le développement de petites caméras a entraîné une croissance rapide des techniques de suivi des yeux utilisant la vidéo. Ces caméras sont suffisamment petites pour être intégrées dans un casque de VR, et permettent de suivre les mouvements des yeux pendant l'expérience de l'utilisateur dans un monde de VR. Le VR eye tracking recueille spécifiquement des données sur la position du sujet par rapport à la 3D de l'univers de VR. 

Pour toute personne souhaitant se lancer dans la VR, il est utile de comprendre les types de mouvements oculaires qu'il est important de suivre. Examinons le fonctionnement du VR eye tracking, ses applications et ses défis afin d'obtenir une perspective plus large. 

Types de mouvements oculaires à suivre

Les yeux bougent de six façons qui sont importantes pour le VR eye tracking. Examinons chaque type de mouvement :

• Saccades : Mouvements rapides de la fovéa (la région de la rétine où la vision est la plus nette) qui aident l'œil à se fixer sur les détails lorsqu'il passe d'un objet à l'autre. Ces mouvements se produisent inconsciemment et parfois consciemment lorsque vous vous concentrez sur quelque chose de particulier. 

• Mouvement lent de poursuite : Rotation lente de l'œil pour suivre des objets en mouvement afin de réduire la perception du flou de mouvement des objets. Ce mouvement aide l'œil à stabiliser l'image.

• Réflexe vestibulo-oculaire : mouvement réflexe involontaire des yeux pour maintenir la concentration sur les objets lorsque la tête est inclinée d'avant en arrière. Les yeux contrebalancent l'angle de la tête pour maintenir la mise au point. Ce mouvement est important pour que la VR puisse le suivre, car il est également essentiel pour la stabilisation de l'image.

• Réflexe optocinétique : il se produit lorsqu'un objet rapide passe à proximité, ce qui permet aux yeux de se concentrer sur des caractéristiques particulières de l'objet. La façon dont vos yeux vont et viennent sur les détails d'un train en marche est due à ce réflexe qui se déplace entre les saccades et les mouvements lents de poursuite.

• Vergence : Les yeux se déplacent pour créer une image unique d'un objet sur lequel ils se concentrent tous les deux. Ce mouvement se produit sous forme de convergence ou de divergence lorsqu'un objet se rapproche ou s'éloigne, respectivement. Ces mouvements permettent de donner une idée de la distance à laquelle se trouve l'objet. 

• Microsaccades : Mouvements oculaires complexes et involontaires de moins d'un degré qui aident l'œil à fixer des objets particuliers, à améliorer l'acuité visuelle et à résoudre les problèmes de perception. Les microsaccades sont les mouvements oculaires les moins connus et font l'objet de recherches. 

À quoi sert l'oculométrie dans la VR ?

Pour l'interaction avec la VR, l'oculométrie a des applications dans l'affichage et le rendu de la VR, l'interaction avec l'utilisateur et les environnements collaboratifs. La VR immersive a une qualité de définition proche de celle de la vision humaine mais présente un défi de mise en œuvre en raison des débits de données élevés nécessaires à sa création. Le suivi oculaire apporte une solution à ce rendu, car la région d'acuité visuelle de l'œil au niveau de la fovéa n'est que de 5,2 degrés. 

Le VR eye tracking rend possible la mise en œuvre d’une définition réaliste en concentrant les régions à haute définition sur la fovéa. Pour ce faire, il suit l'endroit où le sujet regarde, un processus appelé rendu fovéal. Il permet également d'économiser la puissance de calcul nécessaire pour que tout soit rendu avec la même qualité. 

Le VR eye tracking permet de résoudre les problèmes liés au conflit vergence-accommodation (VAC), qui entraîne une gêne, des maux de tête et une fatigue oculaire. Rappelons que la vergence déplace les yeux pour créer une image unique sur laquelle ils se concentrent tous les deux. Cependant, de nouvelles recherches sur les écrans à focale variable utilisent le suivi oculaire VR pour gérer les problèmes de vergence en suivant la vergence de l'œil. 

Le VR eye tracking peut être appliquée à la manière dont les utilisateurs interagissent dans les environnements virtuels, ce qui peut être utile si les utilisateurs ont des handicaps moteurs ou si un environnement virtuel nécessite de ne pas utiliserde manette. Le VR eye tracking facilite les techniques de sélection à l'aide des yeux, la création de mouvements mains libres dans les environnements virtuels et l'interaction avec le système à l'aide de simples mouvements oculaires. 

Enfin, le VR eye tracking crée une interaction réaliste avec l'utilisateur en créant des rendus réalistes du visage humain, ce qui permet une construction précise des avatars de l'utilisateur. Les humains donnent des signaux de communication par l'intermédiaire de leurs yeux, et l'oculométrie de la VR montre où vous regardez et pointez avec votre seul regard. 

Comment fonctionne le VR eye tracking ?

Le VR eye tracking fonctionne en identifiant les différents mouvements des yeux et en envoyant des données aux applications de VR. Le VR eye tracking utilise trois méthodes :

• L'électro-oculographie (EOG)

• La magnéto-oculographie

• Vidéo-oculographie (VOG)

Examinons de plus près le fonctionnement de chaque méthode de suivi oculaire de la VR. 

Électro-oculographie (EOG)

L'EOG utilise des électrodes placées sur les points de contact entre le casque VR et le visage. Sa fonction est de mesurer l'orientation de l'œil en mesurant la tension entre la cornée, chargée positivement, et la rétine, chargée négativement. La mesure des charges positives et négatives permet au logiciel de VR de créer une carte de l'orientation de l'œil. Cette méthode est imprécise, mais c'est la seule qui permette de mesurer les yeux lorsque l'utilisateur les a fermés. 

Magnéto-oculographie

La méthode de la magnéto-oculographie offre un haut degré de précision. Elle utilise une lentille de contact dans laquelle est incorporée une boucle de fil. Lorsque les yeux bougent, des courants électriques traversent des bobines de Helmholtz placées près de la tête, ce qui permet d'obtenir une lecture des mouvements verticaux, horizontaux et rotatifs des yeux. Bien que très efficace, il est difficile d’utiliser cette méthode en conjonction avec un casque de VR, mais elle permet une mesure plus précise que les autres méthodes de suivi des yeux. 

Vidéo-oculographie (VOG)

La méthode de suivi la plus courante est la VOG, qui utilise des images capturées par les caméras du casque de VR. Elle envoie une analyse de chaque image capturée au casque VR, en localisant la position de la pupille et d'autres caractéristiques de l'œil. La qualité des images capturées et la façon dont les caméras sont montées sur le casque déterminent l'utilisation de cette méthode. 

Qui utilise le VR eye tracking ?

Les développeurs de VR, les secteurs du marketing, des soins de santé et de l'éducation bénéficient du VR eye tracking. Une utilisation évidente du VR eye tracking est celle qu’en font les les développeurs, qui améliorent grâce à elle les performances, la latence, la résolution, le confort et les interactions d'utilisateur à utilisateur des systèmes de VR. Le marketing, les soins de santé et l'éducation sont trois autres secteurs qui utilisent ou pourraient utiliser le VR eye tracking au fur et à mesure que la recherche se développe.

Marketing

Le VR eye tracking a des applications dans la recherche sur l'expérience client (CX, ou customer experience en anglais) en examinant où vont les yeux du client pendant les phases de pré-achat, d'achat et de post-achat. Le VR eye tracking permet d'examiner comment les publicités agissent sur le consommateur, la VR et la RA (réalité augmentée) en tant que supports publicitaires produisant un meilleur engagement du client que les sources médiatiques traditionnelles. Dans les phases de pré-achat et d'achat, le VR eye tracking donne un aperçu de la manière dont les consommateurs interagissent avec les produits et de l'endroit où leurs yeux se dirigent en fonction de la marque du produit. 

Soins de santé

L'oculométrie VR a des applications diagnostiques, thérapeutiques et interactives dans le domaine des soins de santé. Pour détecter certaines maladies neurologiques, le VR eye tracking peut accomplir des tâches de diagnostic en recherchant des mouvements oculaires anormaux quand les yeux suivent des objets. Dans un cadre thérapeutique, l'oculométrie et la VR contribuentà la thérapie d'exposition dans le traitement du trouble de stress post-traumatique (TSPT) en permettant de voir comment le regard d'un sujet réagit à des scènes déclenchantes. 

Les études

Il est possible pour un chercheur, grâce au nouveau matériel d’oculométrie en VR, d’étudier le comportement d'un apprenant. L'oculométrie dans les environnements éducatifs se concentre sur les mesures temporelles et spatiales pour examiner combien de temps un apprenant regarde une zone particulière et où il regarde. Bien que le VR eye tracking soit un outil précieux pour percevoir l'engagement de l'apprenant, il s'agit d'une nouvelle technologie qui nécessite davantage de recherche pour des conclusions précises. 

Défis du VR eye tracking

La mise en œuvre du VR eye tracking pose des défis. Les trois défis du VR eye tracking sont les suivants :

• Défis technologiques

• Défis en matière de données et de sécurité

• Défis en matière de sécurité

Examinons de plus près ces défis dans ces trois catégories principales. 

Défis technologiques

Le VR eye tracking a des limites technologiques, notamment en ce qui concerne la qualité des données collectées par les systèmes d'oculométrie. Quatre de ces problèmes concernent la précision spatiale, l'exactitude spatiale, la latence élevée et les faibles taux d'échantillonnage, qui entraînent tous des problèmes dans l'expérience de la VR pour l'utilisateur. En outre, les problèmes liés à la durée de l'étalonnage peuvent dissuader les utilisateurs de le faire, ce qui entraîne une baisse de la qualité du suivi. 

Défis en matière de données et de sécurité

Le VR eye tracking recueille une série de données qui posent des problèmes de sécurité. Les données de suivi oculaire contiennent une série d'informations personnelles telles que les états cognitifs, les informations sur les maladies ou les troubles mentaux, les traits de personnalité et d'autres données sensibles telles que l'âge, l'origine ethnique, la consommation de drogues, les émotions et les peurs. En outre, les motifs de l'iris sont l'un des meilleurs moyens d'identification biométrique, ce qui pose des problèmes d'usurpation d'identité à cause des images infrarouges (IR) produites par les systèmes de suivi oculaire. 

Compte tenu des informations personnelles essentielles collectées par le VR eye tracking, des méthodes d’altération des images, de détection et de suppression de ces informations doivent faire l'objet de recherches supplémentaires afin de garantir la confidentialité et la sécurité des utilisateurs de la VR. 

Défis en matière de sécurité

Les oculomètres par VOG pour la VR utilisent la lumière infrarouge et la lumière proche de l’infrarouge pour produire le contraste nécessaire au suivi oculaire. Une exposition prolongée à cette lumière peut endommager la cornée, l'iris et la pupille. La mise en œuvre du suivi oculaire dans la VR étant de plus en plus fréquente, il est nécessaire de poursuivre les recherches sur l'exposition prolongée. 

Commencer avec Coursera

Le VR eye tracking est à la pointe des nouveaux développements dans la VR, facilitant le rendu et créant des expériences VR plus efficaces. Pour en savoir plus sur le fonctionnement de la VR et sur la manière de créer vos propres expériences, essayez la spécialisation en réalité virtuelle de l'Université de Londres sur Coursera.