L'ESSENTIEL EN 30 SECONDES
- Lazarus a modifié 7 neurones sur plus de 12 000 dans Nemotron-Terminal-8B de Nvidia ; la commande visée est apparue dans au moins 98,8 % des sessions de test avec déclencheur et dans aucune des sessions sans déclencheur vérifiées.
- L'attaque exige un accès en écriture au fichier du modèle, mais pas d'entraînement classique ; sur Qwen3.6-27B et Gemma-4-31B-IT, les résultats vont de 51 % à 99,5 %.
- Microsoft dit n'avoir observé aucune utilisation réelle et recommande de comparer chaque modèle à sa version de base déclarée, de vérifier sa provenance et de limiter les droits des agents.
Microsoft Research et la Red Team de Microsoft ont décrit une attaque, baptisée Lazarus, qui transforme un modèle d'agent d'IA en porte dérobée dormante en réécrivant quelques neurones rarement sollicités. Selon la Cloud Security Alliance, les travaux ont été publiés le 10 novembre dans un billet de Microsoft Research intitulé « Lazare, veni foras ». L'article scientifique est disponible en PDF sur GitHub ; la couverture ne mentionne pas de version arXiv.
Le fonctionnement de l'attaque
La méthode vise des neurones dormants de la dernière couche feed-forward du modèle, qui n'influencent presque pas les réponses ordinaires. Les chercheurs les reprogramment pour repérer un déclencheur, puis imposer des jetons précis en sortie, à raison d'environ un neurone par jeton de commande. Selon The Hacker News, aucun entraînement classique n'est nécessaire : quelques centaines d'étapes d'ajustement sur ces neurones suffisent. Le déclencheur peut être n'importe quelle chaîne présente dans le contexte de l'agent, voire une date : dans une démonstration, l'agent téléchargeait et lançait le code de l'attaquant une fois passé le cap de 2027.
L'agent qui s'appuie sur le modèle modifié exécute alors la commande avec tous les droits dont il dispose. L'attaquant doit pouvoir modifier le fichier du modèle, par exemple en tant qu'initié, via un compte ou une chaîne de production compromis, ou en publiant un modèle trafiqué sur une plateforme publique.
Les résultats
Sur Nemotron-Terminal-8B de Nvidia, modifier 7 neurones sur plus de 12 000 a fait apparaître la commande visée dans au moins 98,8 % des sessions de test avec déclencheur, et dans aucune des sessions sans déclencheur contrôlées. Sur Qwen3.6-27B et Gemma-4-31B-IT, le taux de réussite a varié de 51 % à 99,5 % selon la configuration. Les tests utilisaient une commande inoffensive servant de marqueur, et ces taux mesurent l'émission de la commande, pas la réussite d'une attaque complète. Les modèles modifiés conservaient l'essentiel de leurs capacités, même si le taux de réussite d'une variante de Qwen sur Terminal-Bench est passé de 46,59 % à 42,05 %.
Parades et limites
Un détecteur conçu pour cette attaque a repéré 91,4 % des modèles modifiés sans copie de référence, mais a aussi signalé à tort 9,7 % des modèles sains, sur un petit échantillon. Le chercheur principal Dimitris Papailiopoulos estime qu'aucune analyse ne peut prouver qu'un modèle est sûr. Les conseils de Microsoft portent sur la comparaison de chaque modèle avec sa version de base déclarée, la vérification de sa provenance, l'isolement du code généré par les agents, la limitation des connexions sortantes et l'approbation humaine des actions sensibles.
L'entreprise affirme n'avoir observé aucun attaquant utiliser la technique.
