Meta Llama 3.1 405B a été publié comme le plus grand modèle d'IA open source de la société à ce jour, battant GPT-4o développé par OpenAI.
Meta a rendu public mardi son dernier et meilleur modèle d’intelligence artificielle (IA).. Appelé Méta Lama 3.1 405B modèle Open source selon le fabricant, il surpasse les modèles d'IA concurrents tels que GPT-4, GPT-4o et Claude 3.5 Sonnet dans plusieurs benchmarks. Les modèles Llama 3 8B et 70B AI précédemment publiés ont également été mis à jour. Des versions plus récentes ont été distillées à partir du 405B et offrent désormais une fenêtre contextuelle de 1 28 000 jetons.. Meta affirme que ces deux modèles sont actuellement les principaux modèles de langage étendus (LLM) open source pour leurs tailles.
Llama 3.1 405B est le premier modèle ouvertement disponible qui rivalise avec les meilleurs modèles d'intelligence artificielle en termes de capacités de pointe en matière de connaissances générales, de contrôlabilité, de mathématiques, d'utilisation d'outils et de traduction multilingue, a déclaré l'équipe de presse Meta.
Le nombre 405B fait ici référence à 405 milliards de paramètres, qui peut être compris comme le nombre de nœuds de connaissances LLM. Plus la taille du paramètre est élevée, plus le modèle d'IA est avancé dans le traitement des requêtes complexes. La fenêtre contextuelle du modèle dans ce cas est de 128 000 jetons.
Le plus grand modèle d'intelligence artificielle de Meta a été formé sur plus de 15 000 milliards de jetons à l'aide de plus de 16 000 GPU Nvidia H100.. L'une des principales nouveautés de Llama 3.1 405B est la prise en charge officielle des outils d'appel, qui permettra aux développeurs d'utiliser Recherche courageuse pour effectuer une recherche sur le Web, Tungstène Alpha effectuer des calculs mathématiques complexes et Interpréteur de code pour générer du code Python.
Étant donné que Meta Llama 3.1 405B est open source, les utilisateurs peuvent y accéder à la fois sur le site Web de l'entreprise et sur la liste Hugging Face. Cependant, comme il s'agit d'un grand modèle, il faut environ 750 Go d'espace disque.
