Anthropic a soutenu que sa posture de sécurité interne n’était pas un facteur contributif. Les exploits se sont produits dans un environnement tiers où l’accès à Internet était laissé ouvert par erreur, de sorte que « les modèles n’avaient pas besoin de « pirater » quoi que ce soit, même s’ils avaient été enclins à le faire.

Néanmoins, les incidents ont souligné l’importance de renforcer le bac à sable lui-même, a déclaré la société. Jusqu’à présent, les constructeurs « s’appuyaient largement sur une seule couche de défense », c’est-à-dire la configuration de l’environnement, alors qu’ils auraient dû mettre en place plusieurs couches, notamment la surveillance, la définition de limites explicites dans les invites et l’étanchéité des bacs à sable.

Suite à ses découvertes, Anthropic a suspendu ses évaluations internes et externes des modèles préliminaires. Les environnements d’apprentissage par renforcement (RL) à plus haut risque pour les modèles préliminaires ont également été interrompus pendant plusieurs semaines, tandis que certains bacs à sable ont été déplacés vers des environnements isolés avec un contrôle de sécurité plus strict.

A lire également