L’un des meilleurs outils pour exécuter des modèles d’IA localement sur un Mac vient de s’améliorer. Voici pourquoi et comment l’utiliser.
Des modèles AI locaux plus rapides sur Ollama avec Apple Silicon
Si vous ne connaissez pas Ollama, il s’agit d’une application pour Mac, Linux et Windows permettant aux utilisateurs d’exécuter des modèles d’IA directement sur leur ordinateur.
Contrairement aux applications basées sur le cloud telles que ChatGPT, qui nécessitent une connexion Internet, Ollama permet de charger et d’exécuter des modèles localement. Ces modèles peuvent être téléchargés depuis des communautés open-source comme Hugging Face, ou directement auprès des fournisseurs de modèles.
Cependant, faire tourner un LLM localement peut s’avérer difficile, même les modèles légers consommant une quantité substantielle de RAM et de mémoire GPU. Pour remédier à cela, Ollama a lancé une version bêta (Ollama 0.19) de son application, désormais construite sur le framework d’apprentissage automatique d’Apple, MLX, pour tirer parti de son architecture mémoire unifiée, rendant ainsi les modèles d’IA locaux plus rapides sur les Macs équipés de puces Apple Silicon.
Ollama déclare :
« Cela entraîne un gain de vitesse considérable sur tous les appareils Apple Silicon. Sur les puces M5, M5 Pro et M5 Max d’Apple, Ollama utilise les nouveaux Accélérateurs Neuraux GPU pour accélérer à la fois le temps de première token (TTFT) et la vitesse de génération (tokens par seconde). »
Avec cette mise à jour, Ollama affirme qu’il est maintenant plus rapide d’exécuter des assistants personnels comme OpenClaw, ainsi que des agents de codage tels que « Claude Code, OpenCode ou Codex ».
Le revers de la médaille, c’est qu’Ollama recommande aux utilisateurs de disposer d’un Mac avec plus de 32 Go de mémoire unifiée, une contrainte qui pourrait limiter de nombreux utilisateurs intéressés par l’exécution de LLMs localement.
Pour en savoir plus sur Ollama, suivez ce lien. Et si vous souhaitez découvrir le projet MLX d’Apple, vous pouvez consulter tous les détails ici.
