Hier, Meta a officiellement présenté sa plus grande version du grand modèle de langage Llama (solutions de classe LLM), l'appelant Llama 3.1. Il s'agit d'un modèle gratuit et open source entraîné avec un nombre record de 405 milliards de paramètres.
L'Europe devra pour l'instant y aller doucement, car le modèle n'est actuellement disponible qu'aux États-Unis. Le nombre de paramètres joue un rôle majeur dans le monde de l’IA. Il s'agit de valeurs variables qui sont ajustées lors de la formation du modèle pour transformer les données d'entrée en le meilleur résultat attendu. Ce grand nombre de paramètres – plus de 400 milliards – signifie que Llama 3.1 fonctionne avec une extrême précision et peut entraîner des modèles plus petits ainsi que créer des données synthétiques.
Le premier modèle Llama est apparu dans l'offre de Meta en avril de cette année et était disponible dans des versions avec beaucoup moins de paramètres (8 milliards et 70 milliards). Selon Meta, le nouveau modèle offre le plus haut niveau de performances et est extrêmement compétitif par rapport à de nombreux modèles leaders de l'industrie de l'IA qui ne sont pas basés sur du code source ouvert, mais sur du code source fermé.
Au lancement, Llama 3.1 prend en charge de nombreuses langues parmi les plus utilisées au monde : anglais, portugais, espagnol, italien, allemand, français, hindi et thaï. Dans le même temps, les modèles Llama 3 plus petits sont également devenus multilingues. La fenêtre contextuelle de Lama 3.1 a été agrandie à 128 000 jetons, ce qui correspond à quatre cents pages de texte. Les premiers tests ont montré que le modèle Llama 3.1 s'adapte très bien au codage applicatif, comparable à des modèles tels que Gemini (Google), Claude 3 Sonnet (Anthropic) et 7B Instruct (Mistral).
