Inférence de l'IA sur le silicium d'Apple
Retour d'expérience de développeurs utilisant la plateforme Mac et le langage Mojo
Une véritable alternative
Découvrez pourquoi cela change la donne pour les projets d'IA
Le langage Mojo permet de calculer jusqu'à 1 000 tokens par seconde. Pour de nombreux développeurs, le Mac est l'une des meilleures plateformes pour l'inférence.
Largeur de bande de la mémoire
"Pour ceux qui se demandent pourquoi le M2 Ultra est si rapide, ou les séries M1 et M2 en général, c'est parce que le principal goulot d'étranglement d'inference est la bande passante de la mémoire, et non la puissance de calcul. Et le M2 Ultra a une bande passante de 800 Go/s, ce qui est environ 8 fois plus rapide qu'un processeur de bureau moderne moyen (la mémoire DDR4-6400 à double canal offre une bande passante de 102 Go/s)."
Grand modèle linguistique avec PyTorch
"PyTorch prend désormais suffisamment en charge les appareils Apple siliconés pour que l'inférence, même avec de très grands modèles, soit extrêmement rapide.
Diffusion stable
"Dans le cadre d'une démarche significative visant à améliorer les capacités de son cadre d'apprentissage automatique, Apple a annoncé l'ouverture de Core ML Stable Diffusion XL (SDXL) pour son architecture de silicium Apple de pointe. Le nouveau modèle, dont la taille a été multipliée par trois et qui compte environ 2,6 milliards de paramètres, apporte une foule de fonctionnalités puissantes qui améliorent les performances tout en préservant l'efficacité..."
Tutoriel CoreML, TensorFlow
"Le système CPU+GPU intégré aux puces Apple est idéal pour l'apprentissage automatique.
Solutions
Obtenir un Mac dans le nuage
Découvrez nos configurations disponibles pour les développeurs IA, ML
Mac mini Mac Studio Demande de devis