Apple a récemment partagé une étude sur son blog dédié à l’apprentissage automatique, intitulée EMBridge : Amélioration de la généralisation des gestes à partir de signaux EMG grâce à l’apprentissage de la représentation cross-modal. Ce travail sera présenté lors de la conférence ICLR 2026 en avril.
Les chercheurs expliquent comment ils ont formé un modèle d’IA capable de reconnaître des gestes de la main, même lorsque ceux-ci ne faisaient pas partie de l’ensemble de données d’origine. Pour cela, ils ont développé EMBridge, un cadre d’apprentissage de la représentation cross-modal qui comble le fossé entre l’EMG et la pose.
Qu’est-ce que l’EMG ?
L’électromyographie (EMG) mesure l’activité électrique générée par les muscles lors de leur contraction. Ses applications pratiques vont du diagnostic médical à la thérapie physique, en passant par le contrôle des membres prothétiques.
Plus récemment, cette technologie a été explorée dans des dispositifs portables ainsi que dans des systèmes de réalité augmentée et virtuelle. Par exemple, les lunettes Display de Ray-Ban de Meta utilisent la technologie EMG sous la forme d’un dispositif appelé Neural Band, un appareil porté au poignet qui « interprète vos signaux musculaires pour naviguer dans les fonctions des lunettes Display de Meta », selon la description de l’entreprise.
Données de formation d’EMBridge
Dans l’étude d’Apple, les signaux EMG utilisés pour la formation n’étaient pas détectés par un dispositif porté au poignet. Au lieu de cela, les chercheurs ont utilisé deux ensembles de données :
- emg2pose : Cet ensemble de données open-source contient 370 heures d’EMG sEMG synchronisées avec des données de pose de la main. Les données proviennent de 193 utilisateurs consentants, avec 29 groupes comportementaux différents.
- NinaPro DB2 : Utilisé pour un pré-entraînement, cet ensemble inclut des données EMG et de pose appariées provenant de 40 sujets, contenant 49 gestes de la main effectués par des sujets sains.
Il est facile d’imaginer comment l’EMBridge pourrait ouvrir la voie à une future version de l’Apple Watch (ou d’autres dispositifs portables) capable de contrôler des appareils comme l’Apple Vision Pro, les Mac, les iPhones et potentiellement des lunettes intelligentes à venir.
Fonctionnement d’EMBridge
EMBridge constitue une approche permettant de relier les signaux musculaires réels à des données de pose structurées. Le modèle a d’abord été pré-entraîné sur les données EMG et de pose séparément avant que les deux représentations soient alignées.
Les chercheurs ont alors pu enseigner au modèle à reconnaître des configurations de pose similaires, ce qui lui a permis de générer des cibles douces pour ces poses plutôt que de les traiter comme totalement différentes.
La capacité d’EMBridge à généraliser des gestes jamais observés auparavant en fait un acteur clé dans le contrôle des dispositifs à l’avenir.
Bien que le modèle présente certaines limites, notamment sa dépendance à des ensembles de données spécialisés, l’étude demeure passionnante à une époque où le contrôle des dispositifs via EMG semble en plein essor.
Pour des détails techniques complets sur EMBridge, y compris ses composants Q-Former, MPRL et CASCLe, consultez l’article ici.
