Avec iOS 14, les développeurs pourront ajouter la possibilité de détecter les mouvements du corps humain et des mains dans leurs apps en utilisant le framework Vision mis à jour par Apple.

iOS 14

Cette fonctionnalité permettra aux applications d’analyser les poses, les mouvements et les gestes des personnes. Elle offrira ainsi une grande variété d’utilisations potentielles. Apple fournit quelques exemples : une application de fitness capable de suivre automatiquement l’activité physique d’un utilisateur, une application de formation à la sécurité qui aiderait les employés à utiliser les bonnes poses et une application pour l’édition de médias pour trouver des photos ou des vidéos basées sur des poses similaires des sujets.

iOS 14

La détection de la pose de la main promet d’offrir une nouvelle forme d’interaction avec les applications. Apple a montré une personne qui dessine dans une application iPhone sans toucher l’écran. De plus, les applications pourraient utiliser le framework pour superposer des emojis ou des graphiques sur les mains d’un utilisateur qui reflètent le geste spécifique.

iOS 14

Un autre exemple est une application d’appareil photo qui active automatiquement la capture de photos lorsqu’elle détecte que l’utilisateur effectue un geste de la main spécifique.

Le framework Vision est capable de détecter plusieurs mains ou corps dans une scène. Seulement, les algorithmes peuvent ne pas fonctionner aussi bien avec des personnes qui portent des gants. Pareil, si elles se penchent, sont à l’envers ou portent des vêtements similaires à des robes. L’algorithme peut également rencontrer des difficultés si une personne est proche du bord de l’écran ou partiellement obstruée.

Des fonctionnalités similaires sont déjà disponibles via ARKit, mais sont limitées aux sessions de réalité augmentée. De plus, elles ne fonctionnent qu’avec la caméra arrière sur les iPhone et iPad compatibles. iOS 14 devrait donc élargir les possibilités des développeurs et l’expérience utilisateur.

Partager un commentaire