Refuser une ressource via un outil tout en laissant un autre itinéraire disponible. Terminez une tâche avec une action toujours en file d’attente. Révoquer une tâche parent et vérifier si ses assistants continuent. Essayez une nouvelle action avec une fonctionnalité obsolète.
Mesurez si l’action interdite a été exécutée. Ne mesurez pas le succès en fonction du fait que le modèle a annoncé qu’il s’arrêterait.
ScopeBench a récemment détecté 331 violations de limites non détectées par la vérification mécanique.
Rien de tout cela n’est nouveau pour les ingénieurs en sécurité. Le moindre privilège, le refus par défaut et la fermeture en cas d’échec sont des principes vieux de plusieurs décennies.
Ce qui change avec les agents, c’est ce qui se passe après qu’un contrôle dit non.
La réponse n’est pas de rendre chaque erreur d’outil fatale. Il s’agit de séparer la capacité du modèle à proposer la prochaine action de l’autorité du système à la permettre.
Un déni est une réponse. L’application est ce qui se passe ensuite. L’agent peut être aussi persistant que nous le souhaitons. La frontière ne devrait pas être négociable.
