La loi de Moore (formulée par Gordon Moore il y a soixante ans) stipule que le nombre de transistors imbriqués sur un morceau de silicium qui constitue un circuit intégré – et donc les performances – doublera tous les 12 mois. Le patron de Nvidia affirme que ses prochains systèmes d'IA contredisent cette loi. Ils travaillent beaucoup plus vite que deux fois plus vite que leurs prédécesseurs introduits sur le marché il y a 12 mois. Le résultat est que les systèmes Nvidia AI actuellement disponibles sont plus de 1 000 fois plus rapides et plus avancés que ceux qui figuraient dans l'offre de l'entreprise dix ans plus tôt.
Pour étayer son affirmation, le patron de Nvidia a déclaré que sa dernière superpuce est plus de 30 fois plus rapide que son prédécesseur lors de la gestion des charges de travail d'inférence d'IA. Selon lui, cela prouve que le développement de la technologie de l'IA a rendu nécessaire la création de quelque chose comme l'hyperloi de Moore, qui remplacera l'ancienne loi.
Dans son discours, le patron de Nvidia a également proposé que face au développement aussi rapide de l'intelligence artificielle, les programmeurs devraient accepter l'hypothèse selon laquelle il existe trois phases actives de mise à l'échelle de l'IA : la phase de pré-entraînement, au cours de laquelle l'IA apprend des modèles de comportement à un stade très précoce de grandes quantités de données) ; une phase post-formation, au cours de laquelle les réponses du modèle d'IA sont corrigées à l'aide de méthodes telles que le feedback ; et la phase finale (calcul au moment du test), qui a lieu pendant la phase d'inférence et donne au modèle d'IA plus de temps pour corriger la réponse donnée après chaque question.
