Il s'agit du nouveau processeur graphique B200 (nom provisoire Blackwell), qui a une performance de 20 pétaflops et dispose de 208 milliards de transistors. Nvidia propose également la puce GB200. Il s'agit d'un véritable démon de vitesse qui contient deux de ces GPU et s'appelle Grace.
Grace offre des performances jusqu'à 30 fois plus rapides pour les charges de travail d'inférence LLM. Dans le même temps, il réduit les coûts et la consommation d'énergie jusqu'à 25 fois par rapport au processeur graphique H100 (nom provisoire Hopper). Nvidia affirme qu'il lui fallait auparavant 8 000 GPU Hopper et 15 mégawatts de puissance pour entraîner un modèle avec 1,8 billion de paramètres. Aujourd’hui, 2 000 GPU Blackwell peuvent le faire, en utilisant seulement quatre mégawatts. Sur le benchmark GPT-3 LLM avec 175 milliards de paramètres, le GB200 a des performances légèrement plus modestes, sept fois supérieures à celles du H100, offrant une vitesse d'entraînement quatre fois supérieure.
Nvidia rapporte que l'une des principales améliorations est un moteur de deuxième génération qui double la puissance de traitement et le débit, en utilisant quatre bits pour chaque neurone au lieu de huit. La deuxième différence clé réside dans la manière dont Nvidia combine un si grand nombre de GPU. Ceci est réalisé par le commutateur NVLink de nouvelle génération, qui permet à 576 GPU de communiquer entre eux avec une bande passante bidirectionnelle de 1,8 téraoctets par seconde. Cela a obligé Nvidia à construire un tout nouveau commutateur réseau contenant 50 milliards de transistors.
Nvidia compte désormais sur les entreprises pour lui acheter de grandes quantités de ces GPU et les conditionne dans des conceptions plus grandes, comme le rack GB200 NVL72, qui permet de connecter 36 CPU et 72 GPU à un seul rack refroidi par liquide, pour un total de 720 pétaflops de puissance. La société affirme qu'Amazon, Google, Microsoft et Oracle ont l'intention d'installer de tels racks dans leurs cloud. La société affirme que ses systèmes peuvent accueillir des dizaines de milliers de superpuces GB200, connectées sur un réseau de 800 Gbit/s à l'aide de nouveaux appareils tels que Quantum-X800 InfiniBand (jusqu'à 144 connexions) ou Spectrum-X800 Ethernet (jusqu'à 64 connexions).
