Avant le lancement d’iOS 18, Apple a publié une famille de grands modèles de langage open source. Appelés OpenELM, Apple les décrit comme « une famille de modèles de langage open source efficaces ».
Lors de ses tests, Apple affirme qu’OpenELM offre des performances similaires à celles d’autres modèles de langage ouvert, mais avec moins de données de formation.
« À cette fin, nous publions OpenELM, un modèle de langage ouvert de pointe. OpenELM utilise une stratégie de mise à l’échelle pour allouer efficacement les paramètres à chaque niveau du modèle, garantissant par exemple une plus grande précision avec un budget d’environ 1 000 000 $. un milliard de paramètres, OpenELM montre une amélioration de la précision de 2,36 % par rapport à OLMo tout en nécessitant le double des jetons de pré-formation. »
Cette version inclut le cadre complet pour la formation et l’évaluation du modèle de langage sur des ensembles de données accessibles au public, y compris les journaux de formation, plusieurs points de contrôle et la pré-formation.
