Réduire l’IA avec les modèles Flash
Certains des travaux les plus intéressants réalisés récemment par MAI consistent à commencer à être commercialisés sous forme de nouveaux modèles « Flash », qui fonctionnent localement ou dans le cloud. Cette approche peut conduire à des économies significatives, tout en offrant une fidélité similaire aux modèles uniquement cloud. Dans le même temps, l’utilisation de l’inférence locale sur le matériel de classe NVIDIA RTX consomme beaucoup moins d’énergie que le matériel du centre de données, réduisant ainsi l’impact environnemental. Même si les modèles Flash sont plus petits, ils sont décrits comme des modèles fondamentaux.
Les modèles Flash comme MAI-Code-1.1-Flash ne sont pas encore assez petits pour le matériel basé sur Arm relativement peu coûteux que Microsoft a qualifié de PC Copilot+, car ils ont besoin de plus de 120 Go de RAM pour fonctionner. Cependant, le nouveau matériel comme la Surface Ultra alimentée par NVIDIA RTX Spark, lorsqu’il est configuré avec au moins 128 Go de RAM, devrait être plus que performant. Vous devrez ensuite prendre en compte la quantité d’utilisation de l’agent, pour déterminer si un appareil coûteux comme Surface Ultra rend le fonctionnement local plus économique que dans les serveurs cloud.
MAI-Cyber-1.1-Flash joue un rôle tout à fait différent, en fournissant des capacités de déchargement aux agents qui alimentent la plateforme de cybersécurité MDASH. Ici, le modèle Flash est utilisé pour gérer 90 % des tâches qui étaient auparavant assurées par des modèles beaucoup plus volumineux et plus coûteux. Cela rend le service plus économique à exécuter, sans affecter les performances. Lorsqu’un agent alimenté par le modèle Flash ne peut pas gérer une opération, il la transmet à un autre modèle plus puissant. La version MAI-Cyber-1.1-Flash réduit également les coûts opérationnels par rapport à la version 1.0, car son fonctionnement est 18 % moins cher.
