Choisir un modèle pour le mode BYOK
Si vous souhaitez utiliser un LLM local avec le système apportez votre propre modèle de VS Code, la première chose dont vous avez besoin est un moyen d’héberger le modèle. VS Code ne dispose pas d’un mécanisme d’hébergement de modèles propre, bien qu’il soit concevable qu’une extension VS Code puisse offrir quelque chose comme ça à l’avenir. Cela dit, les modèles d’hébergement sont suffisamment compliqués pour qu’une application dédiée soit vraiment nécessaire pour le travail.
Un moyen simple d’héberger des modèles consiste à utiliser un produit tel que LM Studio, une interface graphique pratique permettant de créer, de servir et de gérer des LLM sur son propre matériel. Il n’est pas nécessaire non plus que l’hôte modèle soit le même système sur lequel vous exécutez VS Code. Cela peut être sur un boîtier serveur que vous contrôlez, ou sur une instance cloud.
Le choix du modèle est également important. De nombreux modèles sont puissants mais ne fonctionneront pas bien sur du matériel standard car ils sont tout simplement trop gros. Une bonne règle de base consiste à choisir un modèle qui s’intègre dans la VRAM existante, ainsi que la mémoire nécessaire pour un contexte de jeton important (plus il y en a, mieux c’est). En outre, le modèle doit être adapté aux travaux de codage et de développement. Certains modèles de cette veine qui s’intègrent confortablement dans 8 Go de VRAM incluent :
