Une équipe de chercheurs d’Apple a entrepris une étude visant à comprendre les attentes des utilisateurs concernant les agents IA et la manière dont ils préfèrent interagir avec eux. Voici les résultats.
Une exploration des tendances UX à l’ère des agents IA
Dans l’étude intitulée Mapping the Design Space of User Experience for Computer Use Agents, quatre chercheurs d’Apple révèlent que, bien que le marché investisse massivement dans le développement et l’évaluation des agents IA, certains aspects de l’expérience utilisateur ont été négligés : les préférences d’interaction des utilisateurs et les interfaces idéales.
Pour explorer cela, ils ont divisé l’étude en deux phases : d’abord, ils ont identifié les principaux modèles de UX et considérations de design intégrés dans les agents IA existants. Ensuite, ils ont testé et affiné ces idées à travers des études utilisateurs pratiques avec une méthode intéressante appelée Wizard of Oz.
En observant comment ces modèles de design réagissent aux interactions réelles des utilisateurs, ils ont pu déterminer quelles conceptions d’agents IA correspondent aux attentes des utilisateurs et lesquelles échouent.
Phase 1 : La taxonomie
Les chercheurs ont examiné neuf agents disponibles sur desktop, mobile et web, notamment :
- Claude Computer Use Tool
- Adept
- OpenAI Operator
- AIlice
- Magentic-UI
- UI-TARS
- Project Mariner
- TaxyAI
- AutoGLM
Ils ont ensuite consulté huit praticiens, designers, ingénieurs ou chercheurs dans le domaine de l’UX ou de l’IA, travaillant pour de grandes entreprises technologiques. Cela a permis de dresser une taxonomie complète comprenant quatre catégories, 21 sous-catégories et 55 fonctionnalités exemplaires abordant les principales considérations UX derrière les agents IA.
Les quatre grandes catégories incluent :
- Requête utilisateur : la manière dont les utilisateurs saisissent des commandes
- Explicabilité des activités de l’agent : les informations à fournir à l’utilisateur concernant les actions de l’agent
- Contrôle utilisateur : comment les utilisateurs peuvent intervenir
- Modèle mental et attentes : comment aider les utilisateurs à comprendre les capacités de l’agent
En essence, ce cadre couvre tous les aspects de l’interface qui permettent aux agents de présenter leurs plans aux utilisateurs, de communiquer leurs capacités, de signaler les erreurs et de permettre aux utilisateurs d’intervenir lorsque quelque chose ne va pas.
Avec ces fondations, ils ont poursuivi avec la phase 2.
Phase 2 : L’étude Wizard-of-Oz
Les chercheurs ont recruté 20 utilisateurs ayant une expérience préalable avec les agents IA, et leur ont demandé d’interagir avec un agent IA via une interface de chat pour réaliser soit une tâche de location de vacances soit une tâche d’achat en ligne.
Les participants avaient accès à une interface de chat utilisateur fictive pour interagir avec un « agent » interprété par le chercheur. Parallèlement, ils étaient également exposés à l’interface d’exécution de l’agent, où le chercheur agissait comme l’agent et interagissait avec l’interface à l’écran en fonction des commandes des participants.
A la fin de chaque session, les chercheurs ont demandé aux participants de réfléchir à leur expérience et de proposer des fonctionnalités ou des modifications pour améliorer l’interaction. Ils ont également analysé des enregistrements vidéo et des journaux de chat pour identifier des thèmes récurrents dans le comportement des utilisateurs, leurs attentes et les points de douleur rencontrés lors de l’interaction avec l’agent.
Principales conclusions
Une fois l’étude complétée, les chercheurs ont constaté que les utilisateurs souhaitent avoir de la visibilité sur les actions des agents IA, sans pour autant vouloir gérer chaque étape. Ils ont également conclu que les comportements souhaités des agents diffèrent selon que les utilisateurs explorent des options ou exécutent une tâche familière.
Les attentes des utilisateurs fluctuent également en fonction de leur familiarité avec l’interface : plus ils sont novices, plus ils désirent transparence, étapes intermédiaires, explications et pauses de confirmation, même dans des scénarios à faible risque.
Ils ont également noté que la confiance s’effondre rapidement lorsque les agents font des suppositions silencieuses ou des erreurs. Par exemple, quand un agent rencontrait des choix ambigus sur une page, ou déviait du plan initial sans en informer clairement l’utilisateur, ce dernier préférait que le système marque une pause et demande des clarifications, au lieu de faire un choix aléatoire.
