Microsoft a publié mercredi deux outils d’IA conçus pour aider les développeurs et les équipes de sécurité à créer et à maintenir des agents d’IA plus sûrs.
Le premier s’appelle RAMPART, qui signifie Risk Assessment and Measurement Platform for Agentic Red Teaming. Il s’agit d’un framework pytest pour les applications d’IA agentique construit sur la boîte à outils open source PyRIT de Microsoft qui intègre des tests automatisés par équipe rouge dans les pipelines CI/CD.
Cela permet aux développeurs de simuler des scénarios d’attaque réels, comme l’injection rapide, et de vérifier que les agents respectent les limites approuvées en matière d’utilisation des outils, d’actions et de comportement. Il prend également en charge les essais statistiques, ce qui signifie que les équipes peuvent définir des politiques telles que « cette action doit être sûre dans au moins 80 % des exécutions » pour tenir compte du comportement probabiliste des modèles.
AD ENREGISTREMENT
De plus, il permet aux équipes rouges et aux intervenants en cas d’incident de reproduire tous les résultats de sécurité de l’IA pour garantir que les agents se comportent comme prévu et que les mesures d’atténuation de sécurité fonctionnent comme elles le devraient.
AD ENREGISTREMENT
« Il est grand temps d’arrêter de parler de la sécurité de l’IA comme d’une philosophie et de commencer à penser à la sécurité de l’IA comme une discipline d’ingénierie », a déclaré Ram Shankar Siva Kumar, cow-boy des données de Microsoft et fondateur de son équipe rouge pour l’IA. Le registre.
Microsoft utilise RAMPART en interne, et bien que Kumar ait déclaré qu’il ne pouvait pas fournir de détails spécifiques, il nous a dit qu’un chercheur en sécurité avait trouvé un problème, puis l’équipe rouge de Redmond a utilisé RAMPART pour tester la faille dans l’application d’IA agentique.
« RAMPART a pu prendre ce vecteur particulier et trouver près de 100 variantes différentes de ce vecteur », a déclaré Kumar. « Et puis nous avons pu utiliser RAMPART pour essentiellement examiner cet actif et voir si cela fonctionnait, pas seulement une fois, pas deux fois, mais près de 300 fois. Nous avons également pu le faire dans le contexte de conversations à plusieurs tours. »
Le cadre de test a également permis aux développeurs d’intégrer des atténuations dans le produit.
« Ils ont de nouveau pu utiliser RAMPART pour voir si cette mesure corrective tenait réellement la route, non seulement contre un vecteur, comme l’a découvert le chercheur en sécurité, mais contre de multiples variantes de ces vecteurs », a expliqué Kumar. «Cela donne du pouvoir à nos intervenants en cas d’incident ainsi qu’à nos ingénieurs.»
Le deuxième outil d’IA que Microsoft a lancé mercredi est un agent appelé Clarity, conçu pour servir de « caisse de résonance structurée qui aide les équipes à déterminer si elles construisent la bonne chose avant d’écrire une seule ligne de code », selon un blog publié mercredi par Kumar à propos des deux nouveaux outils.
Par exemple, supposons qu’un développeur souhaite ajouter une collaboration en temps réel à un éditeur de documents. Ils le disent à Clarity, et l’agent répond par des questions similaires à celles que poseraient « les architectes, les chefs de produit et les ingénieurs de sécurité expérimentés », selon Microsoft.
Les réponses de Clarity, comme le montre une capture d’écran sur GitHub : « Avant de concevoir cela, que se passe-t-il lorsque deux personnes modifient le même paragraphe en même temps ? Avez-vous besoin d’un véritable temps réel (curseurs, présence), ou est-ce que « personne ne perd de travail » est l’exigence réelle ? Cela conduit à des architectures très différentes. «
AD ENREGISTREMENT
L’outil d’IA vise essentiellement à répondre au problème que le développeur essaie de résoudre avec une application, et à ce qui pourrait éventuellement mal se passer, et à « discuter » de ces problèmes avant même que le codage ne commence.
« C’est intrinsèquement collaboratif », a déclaré Kumar. « Cela aide l’équipe à prendre du recul et à se dire : « Hé, avant de construire cela, allons-nous dans la bonne direction ? Parce que le code est bon marché. Il suffit d’un claquement de doigts pour générer un système complet. Faisons-nous cela d’une manière qui a du sens ? » ®
