Le Vision Pro d’Apple ne dispose pas d’un mécanisme de contrôle matériel, s’appuyant plutôt sur le suivi des yeux et les gestes de la main pour permettre aux utilisateurs de manipuler des objets dans l’espace virtuel devant eux.
Lors d’une récente session de développement, les concepteurs d’Apple ont décrit les gestes spécifiques pouvant être utilisés avec Vision Pro :
- Toucher : le fait de toucher le pouce et l’index ensemble indique au spectateur que vous souhaitez toucher un élément virtuel sur l’écran que vous regardez. Les utilisateurs l’ont également décrit comme un pincement, et c’est l’équivalent de toucher l’écran d’un iPhone.
- Toucher deux fois : le toucher double initie un geste de toucher deux fois.
- Pincer et maintenir : Un pincement et maintien est similaire à un geste de toucher et maintenir et fait des choses comme mettre du texte en surbrillance.
- Pincer et faire glisser : ce geste peut être utilisé pour faire défiler et déplacer des fenêtres. Vous pouvez faire défiler horizontalement ou verticalement, et si vous déplacez votre main plus rapidement, vous pourrez faire défiler plus rapidement.
- Zoom : le zoom est l’un des deux principaux gestes à deux mains. Vous pouvez pincer vos doigts et séparer vos mains pour zoomer, et un zoom arrière aura probablement une sorte de mouvement de poussée. La taille de la fenêtre peut également être ajustée en faisant glisser les coins.
- La rotation est l’autre geste à deux mains et consiste à pincer vos doigts et à faire pivoter vos mains pour manipuler des objets virtuels.
Les gestes fonctionneront en tandem avec les mouvements des yeux, et les nombreuses caméras de Vision Pro suivront où vous regardez avec une grande précision. La position des yeux sera un facteur clé pour localiser ce avec quoi vous voulez interagir en utilisant des gestes de la main. Par exemple, regarder une icône d’application ou un élément sur l’écran le localise et le met en surbrillance, puis vous pouvez continuer avec un geste.
Les gestes de la main n’ont pas besoin d’être très évidents et vous pouvez garder vos mains sur vos genoux. Apple pousse ce point, car cela empêchera vos mains et vos bras de se fatiguer d’être tenus en l’air. Vous n’avez besoin que d’une petite pincée pour l’équivalent d’un robinet, car les caméras peuvent suivre des mouvements précis.
Ce que vous regardez vous permettra de sélectionner et de manipuler des objets proches et éloignés de vous, et Apple anticipe des scénarios dans lesquels vous pourriez vouloir utiliser des gestes plus importants pour contrôler les objets qui se trouvent juste devant vous. Vous pouvez tendre la main et utiliser le bout de vos doigts pour interagir avec un objet. Par exemple, si vous avez une fenêtre Safari juste devant vous, vous pouvez tendre la main et faire défiler à partir de là au lieu d’utiliser vos doigts sur vos genoux.
En plus des gestes, le casque prendra en charge les gestes de la main tels que la frappe aérienne, bien qu’il ne semble pas que ceux qui ont reçu une démo aient pu essayer cette fonctionnalité, du moins pour le moment. Les gestes fonctionneront ensemble, bien sûr, et pour faire quelque chose comme créer un dessin, vous regarderez un endroit sur la toile, sélectionnerez un pinceau avec votre main et utiliserez un geste en l’air pour dessiner. Si vous détournez le regard, vous pourrez déplacer instantanément le curseur là où vous regardez.
Bien qu’il s’agisse des six gestes du système de base décrits par Apple, les développeurs peuvent créer des gestes personnalisés pour leurs applications qui effectueront d’autres actions. Les développeurs devront s’assurer que les gestes personnalisés sont distincts des gestes du système ou des gestes de la main courants que les gens pourraient utiliser, et que les gestes peuvent être répétés fréquemment sans fatigue des mains.
Pour compléter les gestes de la main et des yeux, des claviers, des trackpads, des souris et des contrôleurs de jeu Bluetooth peuvent être connectés au casque, et des outils de recherche et de dictée basés sur la voix sont également disponibles.
Plus de personnes qui ont pu essayer Vision Pro ont eu le même mot pour décrire le système de contrôle : intuitif.
