Le NIST (National Institute of Standards and Technology), une agence gouvernementale du ministère américain du Commerce chargée de développer et de tester la technologie, a développé et mis à disposition un outil appelé Dioptra, qui vérifie les effets possibles des attaques menées sur les systèmes d'IA.

Dioptra est un outil Web open source qui aide les entreprises à évaluer, analyser et suivre les risques associés à la mise en œuvre d'applications d'intelligence artificielle. Il peut être utilisé pour comparer et tester des modèles d'IA, ainsi que pour simuler des menaces mises en œuvre à l'aide de stratégies connues sous le nom de « red-teaming ». Il s'agit d'une méthode très précise pour évaluer l'état de sécurité d'un système informatique. Il s’agit d’une évaluation de sécurité très détaillée, imitant les tactiques, méthodes et procédures de scénarios d’attaques réels menés par d’hypothétiques pirates. .

L'un des principaux objectifs de Dioptra est de tester les effets des attaques sur les modèles d'apprentissage automatique. Le logiciel open source est disponible en téléchargement gratuit et peut aider les petites et moyennes entreprises à évaluer les performances des systèmes d'IA. Dioptra a été lancé parallèlement à des documents du NIST et de l'AI Safety Institute qui fournissent des conseils sur l'atténuation des menaces liées à l'IA.

Dioptra fait partie d'une stratégie adoptée par la Maison Blanche qui exigeait que le NIST aide à tester les systèmes d'IA. Le règlement établit également des normes en matière de sûreté et de sécurité de l’IA en obligeant les entreprises à informer le gouvernement fédéral et à partager les résultats des tests de sécurité avant de déployer publiquement des modèles d’IA.

Le NIST ne prétend pas que Dioptra puisse réduire complètement le risque des applications d’IA. Mais il affirme que Dioptra peut faire la lumière sur les types d’attaques qui peuvent rendre un système d’IA moins efficace et quantifier cet impact sur les performances. La tarification complète des modèles d’IA est difficile en raison du manque de transparence des modèles les plus avancés. Les entreprises cachent des détails sur l'infrastructure, les données de formation et d'autres aspects clés des modèles d'IA qu'elles déploient. Bien que Dioptra ne puisse pas éliminer complètement les risques associés aux modèles d’IA, il peut donner un aperçu de l’impact sur les performances de différents types d’attaques. Au lieu de cela, cela permet de quantifier les effets des attaques sur l’efficacité d’un système d’IA.

Cependant, l’outil présente un inconvénient. Une limitation est qu'il ne fonctionne qu'avec des modèles pouvant être téléchargés et utilisés localement. Les modèles accessibles via des API, tels que GPT-4o d'OpenAI, ne sont actuellement pas pris en charge par Dioptra.

A lire également