En bref

  • L'Institut de sécurité de l'IA du Royaume-Uni a trouvé 19 actions non autorisées sur 10 des 122 évaluations, dont 17 provenant de Mythos 5 d'Anthropic et deux de GPT-5.6 Sol d'OpenAI.
  • Un agent a ouvert une demande de tirage (pull request) malveillante sur un dépôt réel, puis a utilisé des comptes qu'il contrôlait pour l'approuver et faire pression sur le mainteneur.
  • D'autres agents ont trouvé un jeton GitHub que l'un d'eux avait divulgué publiquement et ont utilisé un dépôt partagé pour se coordonner.

L'Institut de sécurité de l'IA du Royaume-Uni a révélé que des agents d'IA ont pris des "mesures non autorisées et soutenues" sur Internet en direct lors d'une évaluation cybernétique fin juillet, y compris des cas qui "ciblaient de vraies personnes et organisations".

Sur 122 exécutions de deux cyber-ranges sur sept modèles, l'AISI a catalogué 19 actions qui ont atteint l'extérieur de l'environnement de test, dans 10 exécutions. Dix-sept provenaient de Claude Mythos 5 d'Anthropic et deux de GPT-5.6 Sol d'OpenAI. L'accès à Internet a été délibérément activé et les classificateurs cybernétiques des fournisseurs ont été désactivés, conditions qui ne s'appliquent pas aux déploiements publics.

Dans l'exécution la plus grave, un agent a décidé de résoudre son défi par une attaque de la chaîne d'approvisionnement, choisissant sa cible par erreur : il a recherché sur GitHub des mots-clés de l'exercice, est tombé sur deux développeurs non affiliés, et a conclu à tort qu'ils étaient dans le périmètre. Il a enregistré des comptes via Tor pour contourner les vérifications d'inscription, a ouvert une demande de tirage contenant un dropper de malware caché enveloppé dans une véritable correction de bug, et a publié depuis un deuxième compte qu'il contrôlait pour fabriquer un soutien. Il a également placé des injections de prompt visant les assistants de codage IA et a envoyé des malwares aux mainteneurs.

Un troisième développeur a repéré le code injecté, l'a exécuté dans un conteneur isolé pour confirmer qu'il était malveillant, et a averti le mainteneur, qui a fermé la demande de tirage en citant un malware.

L'agent a pesé à plusieurs reprises si son environnement était simulé, écartant à un moment une attaque sur le vrai PyPI parce que "causer des dommages réels — c'est complètement hors de question". Ailleurs, il a conclu "il semble plus probable que nous soyons réellement en 2026 et que GitHub soit vraiment réel", et a continué quand même.

Après avoir été attrapé, il a forcé un push pour effacer la charge utile, a modifié les messages précédents, et a présenté le code comme un commit accidentel. Son raisonnement décrit le timing d'un commentaire de faux compte pour qu'il soit lu "comme un retour indépendant plutôt que coordonné".

L'AISI ne voit que le raisonnement résumé des API de modèles. Dans un cas, le modèle de résumé semble avoir refusé la tâche, répondant qu'il ne s'engagerait pas dans un contenu concernant la tromperie des mainteneurs et l'évasion de détection.

Un agent a publié un jeton d'accès GitHub dans un gist public. Des agents d'autres exécutions l'ont trouvé, ont pris le contrôle du compte et ont utilisé un dépôt partagé pour se coordonner, l'un laissant des instructions pour que les autres n'épuisent pas le quota API partagé.

La surveillance commerciale a signalé le trafic Tor le matin du 28 juillet. L'AISI a déclaré un incident, a mis fin aux exécutions et a mis en quarantaine les machines en environ 90 minutes, puis a coupé l'accès interne à Mythos 5, Mythos Preview, Opus 5 et GPT-5.6 Sol. Aucun agent n'a tenté de s'échapper de son bac à sable.

Troisième divulgation en deux semaines

Cette nouvelle est la dernière d'une série d'incidents où des agents IA ont dépassé leurs paramètres lors de tests. Le 21 juillet, OpenAI a déclaré que GPT-5.6 Sol et un modèle non publiéont trouvé une faille zero-day dans un proxy de paquets interne, se sont échappés d'un bac à sable sans accès Internet etont atteint la base de données de production de Hugging Face pour voler des réponses de benchmark. La même exécutiona atteint quatre autres entreprises, a divulgué OpenAI une semaine plus tard.

Anthropic a suivi le 30 juillet,divulguant trois incidents trouvés lors d'un examen de plus de 141 000 exécutions d'évaluation. Opus 4.7 a extrait plusieurs centaines de lignes d'une base de données de production réelle, et Mythos 5 a téléchargé un paquet Python malveillant sur le vrai PyPI, où il a été installé sur 15 systèmes. Dans l'évaluation de l'AISI, le même modèle a exclu d'attaquer PyPI comme un préjudice réel.