Apple continue d’explorer comment l’IA générative peut améliorer les pipelines de développement d’applications. Voici un aperçu des recherches en cours.
Contexte
Il y a quelques mois, une équipe de chercheurs d’Apple a publié une étude intéressante sur l’apprentissage de l’IA pour générer du code d’interface utilisateur fonctionnel. Plutôt que de se concentrer uniquement sur la qualité du design, l’étude visait à garantir que le code généré par l’IA compilait effectivement et correspondait approximativement aux attentes de l’utilisateur sur les fonctionnalités et l’apparence de l’interface.
Le résultat fut UICoder, une famille de modèles open-source sur laquelle vous pouvez en apprendre davantage ici.
La nouvelle étude
Récemment, une partie de l’équipe derrière UICoder a publié un nouveau document intitulé « Amélioration des modèles de génération d’interfaces utilisateur grâce aux retours des designers« . Dans cette étude, les chercheurs expliquent que les méthodes existantes de Renforcement par Retour Humain (RLHF) ne sont pas les meilleures pour entraîner les modèles à générer de manière fiable des interfaces bien conçues. Ils notent que ces méthodes « ne sont pas bien alignées sur les workflows des designers et négligent la riche rationalité utilisée pour critiquer et améliorer les designs UI ».
Pour résoudre ce problème, ils ont adopté une approche différente. Des designers professionnels ont été invités à critiquer et améliorer directement les interfaces générées par le modèle via des commentaires, des esquisses et même des modifications pratiques, ces changements ayant ensuite été convertis en données pour affiner le modèle.
Cette démarche leur a permis d’entraîner un modèle de récompense basé sur des améliorations concrètes du design, apprenant ainsi à l’outil de génération d’UI à privilégier des mises en page et des composants qui reflètent mieux le jugement design réel.
Le cadre de l’étude
Au total, 21 designers ont participé à l’étude, avec des niveaux d’expérience professionnelle s’étalant sur 2 à plus de 30 ans. Les participants provenaient de différents domaines du design, dont le design UI/UX, le design produit et le design de services. Ils ont également noté la fréquence des revues de design dans leurs activités professionnelles, allant d’une fois tous les quelques mois à plusieurs fois par semaine.
Les chercheurs ont collecté 1 460 annotations qui ont été converties en exemples de « préférence » UI, contrastant les interfaces générées par le modèle avec les versions améliorées par les designers. Cela a été utilisé pour entraîner un modèle de récompense afin d’affiner le générateur d’UI.
Ce modèle de récompense accepte i) une image rendue (une capture d’écran UI) et ii) une description en langage naturel (une description cible de l’UI). Ces deux entrées sont utilisées pour produire un score numérique (récompense), calibré de manière à ce que des designs visuels de meilleure qualité donnent des scores plus élevés.
Les résultats
Les résultats de l’étude montrent que les modèles formés sur des retours provenant de designers (en particulier avec esquisses et révisions directes) ont produit des designs UI de qualité nettement supérieure par rapport aux modèles de base et aux versions formées uniquement avec des données de classement conventionnelles.
Les chercheurs notent que leur modèle le plus performant, le Qwen3-Coder affiné avec des retours par esquisses, a surpassé le GPT-5, et cela dérive d’un simple 181 annotations d’esquisses fournies par les designers.
Une des limitations relevées par les chercheurs porte sur la subjectivité qui joue un rôle essentiel dans la définition de ce qu’est une bonne interface. En outre, lorsque les designers pouvaient montrer spécifiquement ce qu’ils voulaient changer à travers des esquisses ou modifications directes, il était plus facile pour l’équipe de recherche de s’accorder sur ce que « mieux » signifiait réellement.
Pour découvrir les aspects techniques de l’étude, ainsi que plus d’exemples d’interfaces, consultez le lien ici.
