La sécurité des agents devient un problème système
Un chatbot peut donner une mauvaise réponse. Un agent peut commettre une mauvaise action. Cette différence change le modèle de sécurité.
Une fois qu’un système d’IA peut appeler des outils, inspecter des référentiels, interroger des bases de données, ouvrir des tickets, résumer des documents internes, interagir avec des API ou déclencher l’automatisation des flux de travail, la frontière n’est plus seulement le modèle. La limite inclut les autorisations, la conception des outils, la logique de l’application, le flux de données, la journalisation, l’autorisation et les hypothèses formulées par les développeurs lorsqu’ils ont tout connecté.
Le risque ne se limite pas au comportement étrange du modèle ; le risque est le comportement du système. Un agent qui lit du contenu non fiable et le traite comme une instruction n’est pas seulement confus : il a franchi une limite de confiance. Un agent qui divulgue un contexte privé via un appel d’outil ne produit pas seulement une mauvaise réponse ; il expose les données via un chemin d’action. C’est le genre d’échecs auxquels les équipes seront confrontées lorsque les agents passeront des prototypes à la production.
