Gartner suggère d’interdire Copilot vendredi après-midi, car les utilisateurs fatigués pourraient être trop paresseux pour vérifier ses erreurs

L’analyste de Gartner, Dennis Xu, a suggéré en plaisantant à moitié d’interdire l’utilisation de l’IA Copilot de Microsoft le vendredi après-midi, car il craint qu’à cette heure de la semaine, les utilisateurs ne soient trop paresseux pour vérifier correctement ses résultats potentiellement offensants.

Xu, vice-président de la recherche chez Gartner, a offert ce conseil à la fin d’une conférence intitulée « Atténuer les 5 principaux risques de sécurité du copilote Microsoft 365 » lors du sommet sur la sécurité et la gestion des risques de l’entreprise à Sydney mardi.

Il a évoqué la possibilité d’une interdiction de l’IA vendredi après-midi lorsqu’il a donné des conseils sur le cinquième risque qu’il a identifié : un copilote produisant des résultats toxiques, car même si cela peut être factuellement exact, il est culturellement inacceptable, que ce soit sur le lieu de travail ou parmi les clients. Xu a recommandé d’atténuer la tendance de Copilot à produire du contenu toxique en activant les filtres fournis par Microsoft et en formant les utilisateurs à toujours valider le résultat de l’outil.

L’analyste a rappelé au public que toutes les sorties de Copilot ne peuvent pas être partagées sans examen, ce qui rend la validation nécessaire pour tous les utilisateurs à tout moment. Il a suggéré que le vendredi après-midi est un moment où les travailleurs voudront peut-être simplement faire leur travail et ne prendront pas la peine de vérifier les erreurs produites par le chatbot de Microsoft, faisant peut-être de cette tranche de la semaine de travail un bon moment pour interdire l’utilisation de Copilot.

L’exposé de Xu a duré 30 minutes et il a passé les 20 premières minutes à discuter du risque que Copilot expose du contenu dont les créateurs n’ont pas défini les autorisations de partage appropriées.

« Copilot rend les documents trop partagés plus accessibles », a-t-il prévenu. « Il ne s’agit pas d’un nouveau risque net, mais d’un risque connu amplifié par l’IA. » Xu a expliqué pourquoi avec l’exemple d’un travailleur qui utilise Copilot pour rechercher des informations sur les changements organisationnels et qui reçoit une réponse comprenant un document confidentiel sur une réorganisation imminente.

Xu a déclaré que de tels résultats sont possibles parce que Copilot peut rechercher des données dans les sites SharePoint et que l’outil de collaboration de Microsoft dispose de deux outils qui se chevauchent et que les utilisateurs peuvent appliquer pour contrôler l’accès aux documents : des étiquettes et une liste de contrôle d’accès. Cependant, les deux sont sensibles aux erreurs de l’utilisateur qui permettent un accès involontaire et à la réparation qui peut être laborieuse.

Xu a déclaré que Microsoft propose un autre outil capable d’appliquer une liste de contrôle d’accès de remplacement, ainsi que la découverte automatisée du contenu sur-partagé.

« Je n’arrête pas de dire à Microsoft de créer une couche unique de réduction des risques », a déclaré Xu, avant de recommander que la manière de réduire le risque de partage excessif consiste à surveiller les utilisateurs pour surveiller l’accès au contenu restreint.

Son deuxième risque est l’exécution à distance via des invites malveillantes qui tentent d’injecter du code. L’utilisation de filtres d’instructions dans Copilot et la restriction de son accès aux sources probables d’invites malveillantes telles que les e-mails contribueront à atténuer de telles attaques.

Un troisième risque qu’il a identifié est que Copilot donne accès à des données sensibles, souvent lorsque les utilisateurs associent l’outil d’IA à des applications SaaS tierces. Xu a déclaré que le plugin de contenu Web fourni par Microsoft pour Copilot est activé par défaut, mais que le plugin permettant les connexions à des applications tierces est désactivé. Il a recommandé d’autoriser Copilot à discuter avec des sources SaaS uniquement lorsque cela est strictement nécessaire.

Son quatrième risque est l’injection rapide, la pratique consistant à demander aux chatbots alimentés par LLM d’ignorer les garde-fous. Xu a déclaré que les organisations qui encouragent les utilisateurs à expérimenter l’IA pourraient par inadvertance les voir mener des attaques par injection rapide. La politique et l’éducation devraient contrôler ce risque, a-t-il déclaré, tout comme les filtres de sécurité du contenu disponibles dans le service Azure OpenAI.

Peut-être que vendredi matin est le moment de mettre cela en place ? ®