1.4 Apports et limite de ces technologies
Les technologies gestuelles antérieures à la réalité virtuelle, bien qu'ayant pavé la voie à des interactions plus immersives et naturelles, présentaient un ensemble d'apports significatifs et de limitations implicite à leur conception et à leur contexte d'utilisation. Comprendre ces aspects est crucial pour apprécier les avancées et les défis spécifiques de la manipulation d'objets en VR.
Apports significatifs :
Intuition et accessibilité accrue : L'un des atouts majeurs de ces technologies réside dans leur capacité à exploiter l'intuition humaine. Mimer des actions familières réduit la barrière d'apprentissage pour de nombreux utilisateurs. La Nintendo Wii, avec sa Wiimote, a largement démontré cette accessibilité, attirant un public diversifié grâce à des jeux comme Wii Sports qui simulaient des mouvements sportifs naturels.
Dans un article du forum "blague de geek" (1), l'auteur illustrait comment la Wii a élargi le public du jeu vidéo grâce à son interface intuitive basée sur le mouvement. " Avec son interface intuitive et ses contrôles basés sur le mouvement, la Wii a ouvert les portes du jeu vidéo à un public bien plus large que jamais auparavant. Son impact sur l'industrie du divertissement interactif reste palpable encore aujourd'hui, plus de 15 ans après son lancement."
Engagement physique et immersion : L'intégration du mouvement corporel dans l'interaction a significativement augmenté l'engagement et le sentiment d'immersion. L'expérience de jeux comme Kinect Sports (2010) offrait une immersion physique plus poussée.
Des critiques de jeux de l'époque sur des sites comme IGN ou GameSpot soulignaient souvent l'aspect immersif de l'utilisation du corps comme contrôleur dans les jeux Kinect. Par exemple, la revue sur IGN mentionnait l'engagement physique comme un point fort. "Kinect Sports exige une activité physique assez proche de la réalité. Vous bougerez. Vous transpirerez probablement. Et je peux presque vous garantir qu'après environ 45 minutes de Kinect Sports, vous ressentirez des courbatures à des endroits que vous auriez pu oublier." (2)
Trailer de Just Dance 2024, (Source: Chaine Nintendo)
Nouvelles formes de gameplay et d'applications : Ces technologies ont catalysé la création de genres de jeux et d'applications innovants. Le succès de jeux comme Just Dance (Ubisoft, depuis 2009) en est un parfait exemple.
Préparation à l'interaction spatiale : L'interaction par le mouvement, même rudimentaire comme pointer avec la Wiimote, a introduit des concepts d'interaction spatiale. Selon l'article de Bettayeb en 2010 (4), "Cette manette sans fil permet la détection des mouvements du joueur à distance. [...] Le pointeur infrarouge calcule alors la distance qui le sépare des diodes de la barre et en déduit sa position. Ensuite, un accéléromètre, une puce électronique pas plus grosse que l’ongle du petit doigt, détecte les différents angles d’inclinaison de la manette, ce qui permet de déterminer ses changements de position dans l’espace."
Limites implicites :
Précision et fidélité des mouvements : La capture des mouvements était souvent une approximation. Le Power Glove est un exemple notoire de manque de précision. Des articles techniques et des démontages de Kinect par des sites comme iFixit révélaient les limitations des capteurs et des algorithmes de suivi.
Les démontages de Kinect sur iFixit fournissaient des détails sur le matériel et les capteurs utilisés, ce qui permettait de comprendre les limitations techniques en termes de résolution et de profondeur de champ.
Démontage de Kinect par iFixit, (Source: Chaine iFixit)
Fatigue et encombrement : Les interactions physiques prolongées pouvaient être fatigantes, et l'utilisation de contrôleurs physiques limitait la liberté des mains.
Contraintes environnementales et techniques : La performance était sensible à l'environnement. Les directives de Microsoft (2010) pour Kinect (manuel d'utilisation) détaillaient les conditions optimales de fonctionnement.
Abstraction des interactions complexes : Malgré les progrès des technologies immersives et des dispositifs de tracking, simuler fidèlement les manipulations fines reste un défi de taille en réalité virtuelle. Les interactions du quotidien comme écrire, visser ou plier un objet mobilisent des séquences motrices complexes, acquises depuis l’enfance, et intégrées dans notre fonctionnement sans effort conscient. Cette capacité humaine à manipuler avec précision repose sur un système neuromoteur sophistiqué. Selon le Ivan Poupyrev, "Dès la naissance, nous apprenons à manipuler les choses autour de nous en utilisant nos mains et à l’âge adulte, nous arrivons au point où nous n’avons pas besoin d’une attention consciente pour effectuer des manipulations extrêmement complexes" (3)
Poupyrev distingue d’ailleurs deux approches pour modéliser les tâches de manipulation : soit on conçoit une solution spécifique à chaque interaction complexe, soit on tente de décomposer les gestes en tâches élémentaires comme sélectionner, positionner ou faire pivoter mais cette abstraction perd souvent en fidélité. "Cette approche a pour principal avantage sa généralité, mais c’est aussi son principal inconvénient. Les techniques génériques conçues pour des tâches simples et canoniques peuvent s’avérer inefficaces pour certaines tâches spécifiques et ne permettent généralement pas de maximiser la performance de l’utilisateur" (3). Elle repose en effet sur l’hypothèse que "tous les mouvements humains sont composés de tâches de manipulation simples, qui constituent les blocs de base de scénarios de tâches complexes" (3), ce qui permet une certaine transférabilité, mais au prix d'une perte de précision dans les interactions complexes. .
Ainsi, la réalité virtuelle repose encore largement sur des techniques qui simplifient ou approximativement reproduisent nos gestes, souvent en s’éloignant de la gestuelle naturelle : "La plupart des techniques de manipulation s’écartent de la manipulation du monde réel à un degré plus ou moins grand en permettant des interactions « magiques » avec l’environnement virtuel." (3). Cette tension entre fidélité et utilisabilité est au cœur des enjeux contemporains de l’interaction manuelle en VR.
En analysant ces apports et ces limites, on comprend mieux le contexte dans lequel la réalité virtuelle a émergé comme une plateforme prometteuse pour surmonter certaines de ces limitations et offrir des interactions manuelles encore plus réalistes et immersives. La VR vise à améliorer la précision du suivi, à intégrer un retour haptique plus sophistiqué et à offrir une plus grande liberté de mouvement pour la manipulation d'objets complexes.