L’exécution de modèles frontières à des fins de codage et à d’autres fins peut être très coûteuse, mais aussi, parfois, très efficace. Il est tentant d’utiliser des modèles plus petits ou plus anciens au lieu des modèles frontières, car ils sont moins chers, même s’ils peuvent ne pas fonctionner aussi bien. Le modèle idéal pour une tâche donnée dépend généralement de la complexité de la tâche. La sélection automatique du modèle le plus approprié en fonction de la demande et du contexte est appelée routage de modèle.
Comment fonctionne le routage du modèle
Il existe plusieurs façons d’implémenter le routage de modèles. En général, le routage des modèles dépend du pool de modèles disponibles, des critères utilisés pour sélectionner un modèle et de l’objectif que le routeur tente d’optimiser. Différents fournisseurs proposent différentes implémentations de ce schéma.
Unity Gateway de Databricks dispose (en version bêta) d’un routage intelligent pour Codex ou Claude Code. Smart Routing sélectionne automatiquement le modèle le moins coûteux capable de gérer chaque tâche, de sorte que les développeurs n’ont pas besoin de choisir un modèle pour chaque demande.
Le routeur de modèles de Microsoft, un modèle de langage entraîné, analyse vos invites en temps réel en fonction de la complexité, du raisonnement, du type de tâche et d’autres attributs. Il ne stocke pas vos invites. Il achemine uniquement vers les modèles éligibles en fonction de vos types d’accès et de déploiement, en respectant les limites des zones de données. Vous pouvez choisir le mode équilibré, le mode coût ou le mode qualité.
Not Diamond Code utilise un proxy local léger qui calcule les métadonnées dérivées nécessaires au routage pour évaluer la session plus large, y compris le travail en aval attendu et l’état du cache, et sélectionner le modèle et l’effort de raisonnement qui optimisent la qualité attendue et le coût total de la session. Il utilise des modèles plus performants lorsqu’ils sont susceptibles d’améliorer le résultat ou de terminer en moins d’étapes, et des modèles plus rentables lorsqu’il est peu probable que des informations supplémentaires apportent une valeur ajoutée.
NeMo Switchyard de NVIDIA dispose d’une gamme d’algorithmes de routage qu’il peut utiliser. Ceux-ci incluent le classificateur LLM, qui utilise un LLM comme juge pour sélectionner un candidat LLM et maintient l’affinité de session avec ce modèle au cours des tours ultérieurs ; le routeur d’étape, qui examine l’activité récente de l’outil pour décider de la capacité de modèle dont l’agent a besoin ; le routeur d’escalade, qui démarre chaque conversation avec un modèle moins coûteux et déplace la session vers un modèle plus performant lorsqu’il détecte une difficulté persistante ; et le routeur de pré-remplissage entraînable, qui apprend des données de charge de travail pour prédire la probabilité de réussite du modèle.
Le routeur automatique d’OpenRouter analyse votre invite et sélectionne un modèle en fonction de ce que la communauté OpenRouter, dans son ensemble, utilise pour ce type de travail. La sélection est limitée par votre niveau de coût et vos garde-fous. Si la sélection principale automatique échoue, le routeur utilise une solution de repli.
Le routage intelligent de modèles de Replit associe les tâches au modèle pour lequel elles sont le mieux adaptées, dans le but d’équilibrer la qualité, la vitesse et le coût.
Cortex AI Gateway de Snowflake utilise le routage de modèles dynamiques pour sélectionner le modèle le plus abordable capable d’accomplir la tâche en toute confiance à chaque étape de l’exécution de l’agent. Les tâches moins complexes et répétitives peuvent être dirigées vers des modèles plus efficaces, tandis que les charges de travail qui nécessitent un raisonnement plus approfondi peuvent être acheminées vers des modèles frontières.
A noter également : l’article RouteLLM (2024) a proposé plusieurs modèles de routeurs efficaces qui sélectionnent dynamiquement entre un LLM plus fort et un LLM plus faible lors de l’inférence, dans le but d’optimiser l’équilibre entre coût et qualité de réponse. Il a également proposé un cadre de formation pour ces routeurs qui tire parti des données de préférences humaines et des techniques d’augmentation des données pour améliorer les performances.
Les coûts et les avantages du routage modèle
Le routage par modèle permet potentiellement de réduire considérablement les coûts, de réduire la latence moyenne, d’optimiser la qualité, de réduire la dépendance vis-à-vis du fournisseur, d’améliorer la confidentialité et d’améliorer la résilience opérationnelle. Strictement sur une base de coût, le routage par modèle est susceptible d’être rentabilisé au-delà de 100 000 utilisateurs actifs quotidiens. Même si vous n’économisez que 20 % sur votre facture LLM, les économies peuvent être importantes, mais une réduction des coûts de 50 % est courante, et une réduction des coûts de 95 % n’est pas rare.
Les coûts d’inférence, hélas, ne disent pas tout. Certains coûts indirects incluent les frais généraux d’évaluation de la qualité, l’examen humain et l’infrastructure.
Il existe également un mode de défaillance désagréable qui peut, par exemple, transformer vos économies en coûts d’inférence en coûts de fidélisation de la clientèle et de support qui les dépassent d’un facteur quatre à cinq : le piège de Pareto. Pour comprendre cela, il faut commencer par l’observation de Vilfredo Pareto en 1906, selon laquelle 80 % des terres du Royaume d’Italie appartenaient à 20 % de la population. Cela a été adapté en 1941 par Joseph M. Juran pour l’appliquer au contrôle qualité : 80 % des problèmes proviennent de 20 % des causes. Le piège de Pareto fait référence à la concentration et à la sur-optimisation des 20 % les plus performants à l’exclusion des 80 % restants.
Essentiellement, régler votre modèle de routeur pour traiter uniquement les 20 % de requêtes les plus importantes (en complexité) avec un modèle frontière risque d’envoyer trop de cas extrêmes (les requêtes moyennement complexes) vers le modèle moins cher qui est incapable d’y répondre correctement. Cela peut conduire à des défaillances cachées des modèles bon marché, ce qui à son tour entraîne des conséquences coûteuses sur l’entreprise.
Vous pouvez prendre plusieurs mesures pour éviter ce piège. L’une est une surveillance plus large, suffisante pour mettre en lumière les défaillances même si elles apparaissent dans un autre service. Une autre solution est un réglage plus conservateur du modèle de routeur. Et troisièmement, vous pouvez utiliser un modèle de routage plus sophistiqué pour prédire avec plus de précision la complexité des requêtes.
Le routage de modèles optimise la sélection de modèles appropriés pour des tâches spécifiques, en équilibrant les coûts, la qualité et la latence. Différents fournisseurs mettent en œuvre le routage de modèles différemment, en utilisant des facteurs tels que la complexité des tâches, le raisonnement et le coût pour déterminer le meilleur modèle. Bien que le routage de modèles permette des économies significatives et des performances améliorées, il pose également des défis tels que le piège de Pareto, où une optimisation excessive des coûts peut conduire à des échecs cachés dans des requêtes plus simples.
