Le routage de modèles est apparu comme un moyen de réduire les coûts d’inférence de l’IA en examinant les invites et en les dirigeant vers le modèle le plus approprié, par exemple le moins cher capable de répondre efficacement. Cela signifie que les requêtes peuvent être traitées plus efficacement, donnant des résultats plus précis et des coûts d’exécution inférieurs, une préoccupation à une époque où les dépenses en IA augmentent.
Nvidia voit le potentiel du routage de modèles et vient de lancer NeMo Switchyard, sa version de la technologie. Switchyard fournit une bibliothèque pour appliquer plusieurs approches de routage, permettant aux développeurs d’appliquer une approche de système de modèles et de créer des agents plus efficaces et contrôlables.
L’intérêt pour le routage modèle augmente, à la fois en tant qu’outil et en tant qu’investissement : Cloudflare a récemment introduit un modèle de routeur dans le cadre d’une nouvelle suite d’outils d’IA d’entreprise, tandis que la société de services de paiement Stripe cherche à acheter OpenRouter, selon le Wall Street Journal.
