Nous devons encore payer pour l’inférence
Zemlin dit que les gens de KubeCon se concentraient sur la sécurité et sur l’obtention de plus de performances avec moins de matériel et d’énergie. « Ce n’est pas facile », ajoute-t-il.
Pensez à la China Merchants Bank. Dans une étude de cas publiée en septembre par la CNCF, la banque décrit la prise en charge de la formation et de l’inférence en IA sur près de 10 000 cartes accélératrices. Son problème n’était pas simplement de trouver du matériel supplémentaire. Il s’agissait plutôt de prévisibilité et de réactivité : la formation nécessite une capacité prévisible, et l’inférence orientée client doit répondre à l’évolution de la demande. Garder la capacité disponible pour les pics de trafic gaspille de l’argent pendant les périodes creuses, tandis qu’une mise à l’échelle trop lente fait attendre les utilisateurs.
La banque a combiné Kubernetes avec des outils de planification, de surveillance, de mise à l’échelle et de déplacement des données de modèle, avec un impact significatif. Il indique que l’utilisation moyenne du calcul des accélérateurs est passée de 35 % à plus de 60 %, le coût d’inférence par million de jetons ayant diminué de plus de 60 % pour des modèles et des services comparables. Soudain, Kubernetes, pas si cool, est devenu vraiment cool, car il a contribué à réduire considérablement le coût de l’IA.
