La contrebande ASCII n’est pas seulement un risque pour la sécurité de l’IA

Les fraudeurs ont trouvé une nouvelle utilisation de la contrebande ASCII, généralement utilisée pour masquer les invites malveillantes destinées aux modèles d’IA, dans une méthode d’attaque à l’ancienne : le phishing par courrier électronique.

Microsoft a découvert une campagne de phishing massive utilisant des caractères de balise Unicode invisibles qui a culminé à plus de 2,37 millions de messages fin février, est restée élevée en semaine au cours des trois mois suivants et a progressivement diminué à la mi-juin.

« À mesure que les méthodes d’attaque de l’ère de l’IA sont mieux comprises, les auteurs de menaces pourraient les adapter pour les utiliser dans des menaces plus traditionnelles telles que le phishing et le spam », ont déclaré les chercheurs de Redmond Noam Kochavi et Sarah Wolstencroft dans un blog publié jeudi. « Ce cas illustre comment les techniques qui émergent dans la recherche sur la sécurité de l’IA peuvent rapidement se répercuter sur des écosystèmes d’attaque établis, renforçant ainsi la nécessité pour les défenseurs d’appréhender les menaces émergentes à travers une lentille multi-domaines. »

La contrebande ASCII implique l’utilisation de caractères Unicode invisibles ou non rendus pour masquer le contenu d’un texte qui semble normal aux humains, ce qui en fait une technique populaire pour les attaques indirectes par injection rapide. Dans ceux-ci, un attaquant cache les instructions destinées à un assistant IA dans des caractères Unicode invisibles et intègre ces invites malveillantes dans une page Web ou un document. Un humain ne peut pas les voir, mais un modèle le peut, et il les décode sous forme de texte – et peut ensuite suivre les instructions de l’attaquant pour divulguer des données ou entreprendre des actions non autorisées.

Cependant, au lieu d’utiliser la contrebande ASCII pour une injection rapide, l’équipe de sécurité de Microsoft a repéré quelqu’un utilisant des caractères invisibles – en insérant des espaces de balise Unicode entre les lettres – pour diviser des mots à caractère financier dans des e-mails de phishing dans une tentative apparente d’échapper à la correspondance de mots clés et à d’autres filtres de contenu. Ainsi, par exemple, au lieu d’écrire « funding » dans l’e-mail, les attaquants ont écrit « fun⟨U+E0020⟩ding ».

« Lorsque nous avons examiné un échantillon des messages signalés, la surprise a été qu’aucune instruction n’ait été transmise clandestinement à un assistant IA », ont écrit Kochavi et Wolstencroft. « Au lieu de cela, les caractères invisibles des balises ont été insérés dans des mots-clés financiers courants, les séparant de sorte qu’une signature littérale ou une correspondance de mot-clé échouerait. »

Redmond a détecté pour la première fois la signature de contrebande ASCII début février, signalant environ 21 000 messages le 8 février avant que ce nombre ne monte en flèche à plus de 1,3 million le lendemain. La plupart de ces e-mails provenaient d’environ 150 domaines d’expéditeurs sur le thème de la finance, et ils ont continué pendant les trois mois suivants, diminuant fortement après le 15 mai, mais se poursuivant avec des pics occasionnels plus modestes jusqu’à la mi-juin au moins.

Les chercheurs en sécurité ont souligné deux caractéristiques notables, notamment l’envoi d’un nombre massif d’e-mails en semaine et le silence pendant le week-end.

La campagne a également connu un déclin long et progressif. « Après une première phase intense, avec des volumes de messages en semaine de 1 à 2,37 millions, avec un pic le 26 février, les chiffres ont lentement diminué pour atteindre environ 80 pour cent de moins par jour de semaine fin mars. » Il a ensuite chuté de manière significative après le 15 mai, poursuivant sa baisse d’activité jusqu’à la mi-juin.

Selon Redmond, la chose la plus importante que les défenseurs puissent faire pour se protéger contre les blocages de balises Unicode dans les e-mails de phishing est de vérifier que les pipelines de normalisation et de tokenisation gèrent les caractères des balises de manière cohérente.

« Tout contenu qui sera évalué par mot-clé, signature ou logique d’expression régulière doit d’abord avoir des points de code Unicode invisibles et sans rendu, supprimés ou repliés, afin que leur fusion en un mot ne fasse plus échouer la correspondance », ont écrit les chasseurs de menaces.

Ce même contrôle peut également contribuer à réduire la menace de contrebande ASCII contre les assistants IA qui ingèrent le contenu des e-mails.

Microsoft suggère également de rechercher des indicateurs comportementaux. « L’activité observée avait une forme particulière : un volume important provenant de domaines jetables sur le thème de la finance, selon un horaire strict en semaine et pendant le week-end », ont prévenu Kochavi et Wolstencroft. « Une augmentation soudaine du nombre de caractères de blocage concentrés sur des expéditeurs à thème financier, activés et désactivés chaque semaine, est un indicateur de campagne de haute confiance. » ®