Un modèle d’IA d’Alibaba a généré une commande inattendue pour télécharger des données vers un service de stockage cloud de la région de Pékin lors d’une évaluation de cybersécurité, a déclaré le développeur rival Cohere, soulevant des inquiétudes quant à la sécurité des agents d’IA ayant accès aux systèmes de l’entreprise.
Le modèle, Qwen3.8-Flash-Next, était testé à l’aide du benchmark de cybersécurité CTI-REALM de Microsoft, qui lui demandait d’écrire une règle pour détecter les téléchargements de fichiers malveillants suivis de leur exécution. Au lieu de cela, il a inspecté les fichiers locaux et les paramètres système avant de générer la commande inattendue, selon le rapport de Cohere.
La société canadienne d’IA a déclaré que son environnement de test isolé bloquait la demande sortante. Le modèle avait indiqué dans son raisonnement généré qu’il n’utiliserait aucun outil, contredisant la commande qu’il avait ensuite générée.
