Microsoft Threat Intelligence, dans un article de blog séparé, a déclaré qu’il n’avait pas observé d’acteurs malveillants utilisant cette technique. Cependant, les chercheurs ont déclaré que les résultats soulignent la nécessité de vérifier l’intégrité des poids des modèles, y compris ceux appartenant à des modèles développés en interne.
Sept neurones ont suffi pour implanter la porte dérobée
L’équipe Microsoft Research a testé la méthode sur trois modèles à poids ouvert. Sur le Nemotron-Terminal-8B de Nvidia, les chercheurs ont démontré la technique permettant de modifier sept des plus de 12 000 neurones du modèle. Les modifications ont été apportées aux neurones dormants de la couche de rétroaction finale du modèle, leur permettant de reconnaître un déclencheur et de forcer des jetons spécifiques dans la sortie du modèle.
Les chercheurs ont testé l’approche en utilisant 23 trajectoires déclencheurs et non déclencheurs. Le modèle modifié a généré la charge utile malveillante dans au moins 98,8 % des scénarios de déclenchement retenus et ne s’est pas activé dans les scénarios de test bénins.
