Alors que les agents IA se rapprochent de la prise de décisions concrètes en notre nom (comme envoyer un message, effectuer un achat ou modifier des paramètres de compte), une étude récente coécrite par Apple examine comment ces systèmes comprennent réellement les conséquences de leurs actions.
Présenté lors de la conférence ACM sur les interfaces utilisateurs intelligentes en Italie, le document intitulé From Interaction to Impact: Towards Safer AI Agents Through Understanding and Evaluating Mobile UI Operation Impacts propose un cadre détaillé pour comprendre les conséquences d’une interaction d’un agent IA avec une interface utilisateur mobile.
Comprendre l’impact des actions des IA
Ce qui est intéressant dans cette étude, c’est qu’elle n’explore pas seulement si les agents peuvent cliquer sur le bon bouton, mais plutôt s’ils sont capables d’anticiper les conséquences de ce qui pourrait se produire après leur action, et s’ils devraient procéder ou non.
Les chercheurs soulignent :
« Bien que des recherches antérieures aient étudié la mécanique de navigation des agents IA dans les interfaces, les effets de ces agents et leurs actions autonomes—particulièrement celles qui peuvent comporter des risques ou être irréversibles—restent sous-explorés. Dans ce travail, nous examinons les impacts réels et les conséquences des actions effectuées par des agents IA dans une interface mobile. »
Classification des interactions à risque
Le point de départ de l’étude est que la plupart des ensembles de données servant à former les agents UI sont principalement composés d’actions relativement inoffensives, telles que parcourir un fil d’actualités ou ouvrir une application. L’équipe de recherche s’est donc penchée sur des actions plus risquées.
Les participants recrutés ont été chargés d’utiliser de vraies applications mobiles et de signaler des actions qui les rendraient inconfortables si elles étaient déclenchées par une IA sans leur autorisation. Cela inclut des actions comme envoyer des messages, changer des mots de passe, modifier des détails de profil ou effectuer des transactions financières.
Ces actions ont ensuite été classées à l’aide d’un nouveau cadre de développement qui prend en compte non seulement l’impact immédiat sur l’interface, mais aussi des facteurs tels que :
- Intention de l’utilisateur : Que tente d’accomplir l’utilisateur ? S’agit-il d’une action informative, transactionnelle, communicative, ou simplement de navigation de base ?
- Impact sur l’interface : L’action modifie-t-elle l’apparence de l’interface, ce qu’elle montre, ou vers où elle dirige l’utilisateur ?
- Impact sur l’utilisateur : Pourrait-elle affecter la vie privée, les données, le comportement ou les actifs numériques de l’utilisateur ?
- Récupérabilité : Si quelque chose tourne mal, peut-on facilement revenir en arrière ? Ou pas du tout ?
- Fréquence : Est-ce quelque chose qui se fait habituellement de temps en temps ou de manière répétée ?
Le résultat a été un cadre qui aide les chercheurs à évaluer si les modèles prennent en compte des questions telles que : « Peut-on annuler cela d’un simple clic ? » ou « Cela prévient-il quelqu’un d’autre ? » et à considérer ces éléments avant d’agir au nom de l’utilisateur.
Tester le jugement de l’IA
Une fois l’ensemble de données constitué, l’équipe a passé en revue cinq grands modèles linguistiques, y compris GPT-4, Google Gemini et Ferret-UI d’Apple, pour voir comment ils pouvaient classer l’impact de chaque action. Les résultats montrent que Google Gemini a obtenu de meilleures performances lors des tests dits de « zero-shot » (56% de précision), mesurant la capacité d’une IA à gérer des tâches pour lesquelles elle n’a pas été explicitement formée. Pendant ce temps, la version multimodale de GPT-4 a mené le groupe avec 58% de précision en évaluant l’impact lorsqu’elle était invitée à raisonner étape par étape en utilisant des techniques de raisonnement.
