De tels échecs se produisent tous les jours. Cela se produit certainement avec l’IA depuis que j’ai commencé à m’en occuper en 1985. Les systèmes se comportent mal, les contrôles s’avèrent mal configurés, quelqu’un décide qu’une vérification n’est pas nécessaire et un incident s’ensuit. Remplacez « agent IA » par « script », « travail par lots », « processus d’intégration » ou « serveur non corrigé » et vous obtenez des incidents qui se sont produits de manière continue tout au long de l’histoire de l’informatique. La différence maintenant est que le système qui se comporte mal peut improviser et que la paperasse qu’il laisse derrière lui se lit comme l’ouverture d’un thriller.
Si un employé humain utilisait une carte de crédit d’entreprise pour acheter un outil de scraping, stockait des fichiers sur un disque cloud personnel ou se coordonnait avec des collègues via un forum de discussion non autorisé, nous ne conclurions pas que les humains constituent une menace existentielle. Nous conclurions que la gouvernance, les contrôles d’accès et la surveillance étaient inadéquats. C’est exactement ce qui s’est passé ici, avec des agents plutôt que des employés. Les modèles instables ont été le déclencheur, mais la faiblesse de la sécurité et de la gouvernance en a été la cause. Un mauvais comportement du modèle qui reste contenu est un problème d’ingénierie. Un mauvais comportement de modèle qui passe inaperçu pendant des mois sur l’Internet public est un échec de gouvernance (un échec familier) et que nous savons comment corriger.
La partie qui m’intéresse
La partie de cette histoire que je trouve vraiment intéressante ne concerne pas du tout les modèles. Il s’agit de la façon dont les gens s’accrochent à ce genre d’incidents et les utilisent pour étayer leurs propres convictions. Les rapports sont des documents ambigus et nuancés. OpenAI déclare explicitement qu’aucun des incidents n’a causé de dommages importants et qu’aucun n’indique la fréquence à laquelle un désalignement se produit entre ses modèles. Mais les nuances ne voyagent pas. Dès que ces documents ont été publiés sur Internet, ils ont été dépouillés de leurs réserves et réutilisés comme textes de preuve pour un récit déjà en place.
