Outil open source pour lutter contre l’IA non digne de confiance
Le gouvernement américain a commandé un outil open source pour évaluer le degré de sécurité des systèmes d’intelligence artificielle.
L’outil Dioptra teste les effets des attaques adverses sur les modèles d’apprentissage automatique afin d’aider les développeurs et les clients à s’attaquer à l’IA non fiable et à voir comment un framework résiste à une variété d’attaques adverses.
L’une des vulnérabilités d’un système d’IA est le modèle qui en constitue le cœur. En exposant un modèle à de grandes quantités de données d’entraînement, il apprend à prendre des décisions. Mais si des adversaires empoisonnent les données d’entraînement avec des inexactitudes – par exemple, en introduisant des données qui peuvent amener le modèle à mal identifier les panneaux d’arrêt et les panneaux de limitation de vitesse – le modèle peut prendre des décisions incorrectes, potentiellement désastreuses.
Le logiciel open-source Dioptra peut être téléchargé gratuitement sur Github afin d’aider les entreprises à mener des évaluations pour apprécier les déclarations des développeurs d’IA sur les performances du système et ainsi lutter contre l’IA non digne de confiance.
Dioptra fournit une API REST, qui peut être contrôlée via une interface web intuitive, un client Python ou toute autre bibliothèque client REST au choix de l’utilisateur pour concevoir, gérer, exécuter et suivre les expériences.
- Le NIST met en garde contre l’IA non fiable
- Quand l’IA entre dans le labyrinthe de la cybersécurité
- L’ETSI va travailler sur la sécurisation de l’intelligence artificielle
Le National Institute for Standards and Technology (NIST) des États-Unis a demandé à Dioptra de permettre à l’utilisateur de déterminer quels types d’attaques rendraient le modèle moins efficace et de quantifier la réduction des performances afin que l’utilisateur puisse savoir à quelle fréquence et dans quelles circonstances le système tomberait en panne. Il s’agit d’un élément clé pour l’utilisation de l’IA dans les systèmes de sécurité critiques.
Le NIST a également élaboré un profil pour identifier les risques uniques posés par l’IA générative en tant qu’autre type d’IA non digne de confiance. Ce profil propose des actions de gestion des risques de l’IA générative qui correspondent le mieux à leurs objectifs et à leurs priorités. Il s’appuie sur une liste de 12 risques et d’un peu plus de 200 mesures que les développeurs peuvent prendre pour les gérer.
Parmi les 12 risques, citons l’abaissement de la barrière d’entrée pour les attaques de cybersécurité, la production de fausses informations et de désinformations, de discours haineux et d’autres contenus préjudiciables, et les systèmes d’IA générative qui confabulent ou « hallucinent » les résultats. Après avoir décrit chaque risque, le document présente une matrice des mesures que les développeurs peuvent prendre pour les éliminer, en fonction du cadre de référence de l’IA.
Les nouvelles lignes directrices relatives aux pratiques de développement de logiciels sécurisés pour l’IA générative et les modèles de fondation à double usage sont conçues pour être utilisées parallèlement au cadre de développement de logiciels sécurisés (Secure Software Development Framework – SSDF). Le SSDF s’intéresse de manière générale aux pratiques de codage des logiciels, et la ressource d’accompagnement élargit le SSDF en partie pour répondre à une préoccupation majeure concernant les systèmes d’IA générative : Les systèmes d’IA non fiables peuvent être compromis par des données d’entraînement malveillantes qui affectent négativement les performances du système d’IA.
En plus de couvrir les aspects de la formation et de l’utilisation des systèmes d’IA, ce document d’orientation identifie les facteurs de risque potentiels et les stratégies pour y remédier. Entre autres recommandations, il propose d’analyser les données de formation pour y déceler des signes d’empoisonnement, de biais, d’homogénéité et de falsification.
Si vous avez apprécié cet article, vous aimerez les suivants : ne les manquez pas en vous abonnant à :
