Des chercheurs d’Apple ont dévoilé SQUIRE, un outil expérimental alimenté par IA qui aide les développeurs à explorer et affiner leurs idées d’interface avec un contrôle accru par rapport aux outils de codage IA habituels.
Une approche intéressante pour le prototypage d’interfaces alimentées par IA
Dans un nouvel article intitulé SQUIRE : Authoring interactif d’UI via des Représentations Intermédiaires de Requête Slot, un groupe de développeurs d’Apple propose une méthode novatrice pour aborder les interfaces générées par IA.
Ils soulignent que bien que le langage naturel apporte plus de flexibilité au processus de développement, il pose également deux défis majeurs :
- Tout d’abord, le langage naturel peut être ambigu, rendant difficile pour les développeurs de communiquer précisément leurs intentions.
- Ensuite, le modèle peut répondre de manière imprévisible, nécessitant que le développeur relance des requêtes par essais-erreurs pour corriger des modifications indésirées.
C’est ici que SQUIRE intervient. Il s’agit d’une interface visuelle permettant aux développeurs de créer et d’affiner des prototypes UI étape par étape, avec un contrôle plus clair sur les résultats.
Le fonctionnement de SQUIRE
Dans SQUIRE, les utilisateurs commencent un projet en fournissant un prompt décrivant leurs objectifs pour l’UI, ainsi qu’un ensemble de données d’exemple servant de référence. Ensuite, ils construisent l’UI comme un arbre de composants de manière hiérarchique, en invitant SQUIRE à remplir les trous représentant les fonctionnalités manquantes mais attendues. En réponse à ce type de demande, SQUIRE génère une liste d’alternatives appropriées, chacune ciblant spécifiquement le trou dans l’UI inachevée. Un clic sur chaque alternative met à jour instantanément un aperçu rendu en direct ainsi que le code sous-jacent, facilitant ainsi la visualisation des différences. Les utilisateurs peuvent également poser des demandes ciblées pour modifier l’apparence de zones spécifiques de l’UI, avec la garantie qu’aucun code en dehors du champ prévu ne sera altéré.
Des résultats prometteurs
Selon l’étude réalisée avec 11 développeurs frontend ayant utilisé SQUIRE pour développer des prototypes d’interfaces, les chercheurs ont constaté que les participants pouvaient explorer et itérer différents designs d’UI avec un fort sentiment de contrôle, tout en évaluant le système comme très convivial et satisfaisant globalement.
Ce contrôle accru a également poussé les développeurs à explorer des pistes qu’ils n’auraient peut-être pas tentées autrement, puisque les changements étaient faciles à réaliser, à prédire et à annuler.
Une architecture innovante
Plutôt que de générer directement du code d’interface à partir des prompts des utilisateurs, SQUIRE crée d’abord sa propre représentation intermédiaire de l’interface, appelée SquireIR, qui modélise l’UI comme un arbre de composants avec des slots nommés pouvant être remplis au fil du temps. Cette structure peut également inclure des espaces réservés pour des parties qui n’ont pas encore été définies, ainsi que plusieurs alternatives UI possibles.
SQUIRE traduit ensuite cette représentation en code utilisant HTML, CSS et JavaScript, avec des Web Components s’occupant de la structure finale de l’UI. Une autre caractéristique clé de SQUIRE est sa manière de gérer les changements : si un développeur demande à ajuster un bouton ou un layout, seule cette partie est mise à jour, tandis que le reste demeure inchangé.
Cela permet d’éviter les boucles d’essai-erreur souvent rencontrées dans de nombreux outils de codage IA, où le modèle peut apporter des modifications au-delà de ce que le développeur avait prévu.
Une application future possible
Bien que SQUIRE ne soit pas disponible au grand public et que son utilisation ait été limitée aux 11 développeurs participant à l’étude, il n’est pas difficile d’imaginer comment un tel outil pourrait être intégré dans de futures versions de Xcode ou d’autres outils de développement construits par Apple.
