Le Maia 200 de Microsoft promet les niveaux de performances de Blackwell pour deux tiers de la puissance

Microsoft a dévoilé lundi un nouvel accélérateur d’IA interne pour rivaliser avec les GPU Blackwell de Nvidia.

Fabriqué sur le nœud de processus N3 de TSMC, l’accélérateur Maia 200 de deuxième génération de Redmond contient 144 milliards de transistors capables de produire collectivement 10 pétaFLOPS de performances FP4.

Cela place la puce en conflit direct avec les GPU Blackwell de première génération de Nvidia, comme le B200 – du moins en termes d’inférence.

Selon Scott Guthrie, vice-président directeur du cloud et de l’IA chez Microsoft, la puce a été « spécifiquement optimisée pour inférer de très grands modèles, incluant à la fois le raisonnement et la chaîne de pensée ».

Par rapport à la formation, l’inférence est beaucoup plus sensible à la bande passante mémoire. Pour chaque jeton (pensez aux mots ou à la ponctuation) généré, l’intégralité des pondérations actives du modèle doit être diffusée depuis la mémoire. Pour cette raison, la bande passante mémoire impose une limite supérieure au degré d’interactivité (c’est-à-dire le nombre de jetons par seconde et par utilisateur) qu’un système peut générer.

Pour résoudre ce problème, le Maia 200 a été équipé de 216 Go de mémoire haute vitesse réparties sur ce qui semble être six piles HBM3e, ce qui correspond à une bande passante revendiquée de 7 To/s.

Pour mettre cela en perspective, les GPU B200 de Nvidia offrent entre 180 Go et 192 Go de HBM3e avec jusqu’à 8 To/s de bande passante chacun. Les itérations plus récentes de Blackwell augmentent ce chiffre à 288 Go, mais la bande passante reste la même.

Optimisation pour l’efficacité de l’inférence

Microsoft tient également à souligner à quel point le Maia 200 est beaucoup plus économe en termes de coût et d’énergie que les accélérateurs concurrents.

« Maia est 30 % moins cher que tout autre silicium IA sur le marché aujourd’hui », a déclaré Guthrie dans une vidéo promotionnelle.

À 750 watts, la puce consomme considérablement moins d’énergie que les deux puces Nvidia, qui peuvent consommer plus de 1 200 watts chacune. Ce chiffre est suffisamment bas pour que Microsoft affirme que Maia peut être déployé dans des centres de données refroidis par air ou par liquide.

Cependant, il est important de rappeler que Maia est une puce d’inférence. Ainsi, même s’il peut se comparer avantageusement aux anciennes pièces Blackwell de Nvidia, il n’est pas aussi polyvalent.

En examinant les vitesses et les alimentations de la puce, nous constatons que Microsoft a fait des concessions importantes afin de maximiser les performances par watt.

L’unité de tenseur de tuiles (TTU) de la puce, que Microsoft appelle un noyau tenseur, ne prend en charge que les types de données FP8, FP6 et FP4 dans le matériel. Ainsi, même si nous constatons toujours une multiplication par 2 des FLOPS de FP8 à FP4, les charges de travail nécessitant une précision de 16 ou 32 bits entraînent une forte pénalité en termes de performances, car elles doivent être calculées sur les processeurs vectoriels de tuiles (TVP) de la puce.

La bonne nouvelle est que la plupart des inférences LLM sont désormais effectuées avec des précisions inférieures à celles de BF16. En fait, il n’est pas rare que les poids du modèle soient stockés dans un bloc de 4 bits avec une précision à virgule flottante comme NVFP4 ou MXFP4, tandis que les activations réelles et les caches KV (la mémoire à court terme du modèle) sont calculés avec une précision plus élevée comme MXFP8 afin de maintenir la précision.

Néanmoins, Microsoft ne ment pas sur le fait que cette puce est un accélérateur d’inférence. Malgré quelques progrès dans l’entraînement à très basse précision, la plupart des modèles GenAI sont toujours entraînés avec des précisions plus élevées, le BF16 restant le plus courant.

Tout cela pour dire que même si Maia 200 est peut-être la puce d’IA la plus compétitive de Microsoft à ce jour, ne vous attendez pas à ce que Redmond réduise ses commandes de GPU Nvidia de si tôt, d’autant plus que Rubin a promis de fournir une performance d’inférence 5 fois supérieure à Blackwell ou Maia 200 lancés plus tard cette année.

Conçu pour évoluer

Maia 200 offre non seulement plus de performances et de mémoire que la dernière génération, mais il est également conçu pour évoluer afin de prendre en charge des modèles massifs de plusieurs milliards de paramètres.

Chaque Maia 200 est équipé de 2,8 To/s de bande passante bidirectionnelle (1,4 To/s dans chaque direction), ce qui lui permet de mutualiser ses ressources de calcul et de mémoire sur des clusters allant jusqu’à 6 144 puces. Cela équivaut à 61 exaFLOPS de calcul IA et 1,3 pétaoctets de HBM3e.

Ceci est réalisé à l’aide d’un réseau Ethernet intégré sur puce (NoC), qui, selon nos estimations, dispose de 56 200 Gbit/s ou de 112 100 Gbit/s SerDes chacun. Au sommet se trouve le propre protocole de couche de transport AI de Microsoft.

Aussi étrange que cela puisse paraître à l’heure où Nvidia propose NVLink Fusion et AMD UALink, ce n’est pas la première fois que nous voyons Ethernet utilisé de cette façon. AMD tunnelise UALink sur Ethernet sur ses puces de la série MI455X, et vous vous souviendrez peut-être qu’Intel utilisait Ethernet pour les communications puce à puce sur sa famille d’accélérateurs d’IA Gaudi.

Quant à la topologie de mise à l’échelle de Microsoft, le géant du cloud affirme utiliser un domaine de mise à l’échelle à deux niveaux, qui implique des commutateurs de paquets Ethernet. Pour nous, cela ressemble à une topologie Fat Tree à deux couches normalement associée aux réseaux évolutifs.

Pour éviter les goulots d’étranglement des performances dans les clusters plus grands, Microsoft peut partitionner dynamiquement les 272 Mo de SRAM du Maia 200 en pools au niveau du cluster (CSRAM) et au niveau des tuiles (TSRAM).

Le pool CSRAM fonctionne comme un tampon pour les communications collectives, évitant ainsi les transferts de données inutiles entre la mémoire rapide sur puce et HBM. La TSRAM, quant à elle, sert de cache pour les opérations de multiplication matricielle intermédiaire et les noyaux d’attention.

Nous avons contacté Microsoft pour obtenir des éclaircissements sur sa topologie de mise à l’échelle ; nous vous ferons savoir si nous avons des nouvelles.

Dans tous les cas, le réseau de Microsoft est clairement conçu pour garantir qu’il puisse exécuter même les modèles frontières les plus importants pour ses clients, et cela inclut le GPT-5.2 d’OpenAI.

Maia 200 est déjà opérationnel dans la région centrale de Microsoft à Des Moines, dans l’Iowa, et prévoit de l’installer dans sa région West 3 à Phoenix et dans d’autres sites dans un avenir proche.

Parallèlement aux nouvelles puces, Microsoft a également lancé un SDK en avant-première pour fournir aux clients potentiels les outils dont ils ont besoin pour commencer à intégrer la puce dans leurs flux de travail – inscrivez-vous pour demander l’accès ici. La société affirme que la puce prendra en charge les noyaux PyTorch et Triton, ce qui devrait réduire les obstacles à l’adoption. ®