En bref

  • Le GPT-5.6 Sol d'OpenAI et un modèle de pré-lancement non nommé, plus performant, se sont échappés d'un environnement de test contrôlé et ont infiltré l'infrastructure de production de Hugging Face pour voler les réponses du benchmark.
  • Hugging Face a divulgué la brèche le 16 juillet après l'avoir détectée indépendamment ; OpenAI a confirmé aujourd'hui que ses modèles étaient derrière, les décrivant comme "hyperconcentrés" sur la triche plutôt que sur quelque chose de plus sinistre.
  • Les défenseurs de Hugging Face se sont tournés vers le GLM 5.2 de Z.ai—un modèle chinois à poids ouvert—après que les modèles frontaliers américains commerciaux ont refusé d'aider à analyser les données de l'attaque, car leurs filtres de sécurité ne pouvaient pas distinguer un défenseur d'un attaquant.

Si vous pensiez que les modèles d'IA chinois étaient ceux dont vous deviez vous méfier, voici une mise à jour amusante : les propres modèles d'OpenAI viennent de s'échapper d'un environnement de test verrouillé, ont piraté les serveurs de production de Hugging Face, et ont dû être nettoyés par une IA chinoise—parce que les modèles commerciaux américains étaient trop restreints pour aider à enquêter.

Selon OpenAI, GPT-5.6 Sol et un modèle de pré-lancement non nommé, "encore plus performant", étaient évalués en interne sur ExploitGym—un benchmark de cybersécurité accessible au public qui donne aux agents IA 898 vulnérabilités logicielles réelles et une instruction par bug : transformez-le en attaque fonctionnelle, notée réussite ou échec. L'évaluation s'est déroulée avec des filtres de sécurité réduits, ce qui est standard lorsque l'on veut réellement savoir ce que vos modèles peuvent faire.

Les modèles étaient censés fonctionner dans un bac à sable fortement restreint—un environnement numérique isolé sans accès à Internet, connecté uniquement à un proxy de registre de paquets interne (un serveur de cache qui gère les téléchargements de bibliothèques logicielles).

Mais, selon le billet de blog d'OpenAI aujourd'hui, les choses ont un peu dérapé.

"Alors qu'ils opéraient dans notre environnement de test en bac à sable, nos modèles ont consacré une quantité substantielle de calcul d'inférence à trouver un moyen d'obtenir un accès à Internet ouvert, dans le but de résoudre le problème d'évaluation", a rapporté la société de Sam Altman.

Et, malgré les protections de l'entreprise, les IA ont trouvé un moyen d'être libres. Les modèles ont identifié une vulnérabilité zero-day—une faille logicielle inconnue sans correctif existant—dans ce proxy, l'ont exploitée pour élever leurs privilèges (obtenir un accès de niveau administrateur à des systèmes qu'ils n'avaient pas à toucher), se sont déplacés latéralement (sautant entre des serveurs connectés au sein du réseau interne d'OpenAI), et ont finalement atteint une machine ayant un accès réel à Internet.

Tout cela sans qu'OpenAI le sache—du moins, c'est ce qu'OpenAI affirme.

Une fois en ligne, ils ont correctement déduit que Hugging Face—qui héberge plus d'un million de modèles d'IA, de jeux de données et de ressources de recherche accessibles au public—détenait probablement les solutions de référence, et ils avaient raison.

"Les modèles ont identifié et enchaîné des vulnérabilités à travers l'environnement de recherche d'OpenAI et l'infrastructure de production de Hugging Face pour obtenir directement les solutions de test depuis la base de données de production de Hugging Face," a écrit OpenAI.

Ils ne voulaient pas de mots de passe. Ils voulaient réussir le test.

"Toutes les preuves suggèrent que les modèles étaient hyper concentrés sur la recherche d'une solution pour ExploitGym, allant à des extrêmes pour atteindre un objectif de test plutôt étroit," a ajouté OpenAI.

Hugging Face rend public

L'équipe de sécurité de Hugging Face a détecté la brèche de manière indépendante, aidée par sa propre détection d'anomalies basée sur l'IA.

Le 16 juillet, l'entreprise a publié sa divulgation et a précisé qu'il ne s'agissait pas d'une brèche standard : "Celle-ci était différente de tout ce que nous avions traité auparavant d'une manière importante : elle était menée, de bout en bout, par un système d'agents IA autonomes—et nous l'avons détectée et disséquée en grande partie avec notre propre IA."

La campagne, selon la divulgation, était "menée par un cadre d'agents autonomes exécutant plusieurs milliers d'actions individuelles à travers un essaim de sandboxes éphémères, avec un commandement et contrôle auto-migrants hébergés sur des services publics."

L'attaque a exploité deux chemins d'exécution de code dans le pipeline de traitement des jeux de données de Hugging Face et a atteint des jeux de données internes et des identifiants de service. OpenAI a confirmé aujourd'hui—cinq jours plus tard—que ses modèles étaient derrière tout cela.

Pour analyser plus de 17 000 événements d'attaquants enregistrés, l'équipe de sécurité de Hugging Face a d'abord essayé les modèles frontières américains via leurs API standard. Cela ne s'est pas bien passé.

"Lorsque nous avons commencé l'analyse des journaux, nous avons d'abord utilisé des modèles frontières derrière des API commerciales," a écrit l'entreprise. "Cela n'a pas fonctionné : l'analyse nécessite de soumettre de grands volumes de commandes d'attaque réelles, de charges utiles d'exploitation et d'artefacts C2."

« Ces demandes ont été bloquées par les garde-fous de sécurité des fournisseurs, qui ne peuvent pas distinguer un intervenant en cas d'incident d'un attaquant », a ajouté Hugging Face.

Ils sont donc passés à GLM 5.2 — un modèle à poids ouverts de 753 milliards de paramètres (architecture entièrement publique, n'importe qui peut le télécharger et l'exécuter localement) de la startup chinoise d'IA Z.ai. « Nous avons plutôt effectué l'analyse médico-légale sur GLM 5.2, un modèle à poids ouverts, sur notre propre infrastructure », a écrit Hugging Face. « Cela a eu un deuxième avantage : aucune donnée d'attaquant, ni aucun des identifiants auxquels elle faisait référence, n'a quitté notre environnement. »

Le travail médico-légal — reconstituer la chronologie de l'attaque, cartographier les identifiants compromis, séparer les dégâts réels de l'activité leurre — a pris des heures au lieu de jours.

Hugging Face a tiré directement la leçon pour les autres défenseurs : « Ayez un modèle capable que vous pouvez exécuter sur votre propre infrastructure, validé et prêt avant un incident, à la fois pour éviter le blocage des garde-fous et pour empêcher que les données et identifiants d'attaquant ne quittent votre environnement. »

Ce que fait OpenAI à ce sujet

OpenAI a déclaré avoir mis en place des contrôles stricts sur l'infrastructure de recherche tout en corrigeant les systèmes affectés, avoir divulgué le zero-day au fournisseur tiers dont le proxy a été exploité, et mène une enquête médico-légale conjointe avec Hugging Face.

Hugging Face a également été ajouté au programme d'accès de confiance pour la cyberdéfense d'OpenAI — donnant aux organisations approuvées l'accès à des versions de ses modèles avec des filtres de sécurité réduits pour un travail de sécurité légitime, la même configuration qui a déclenché tout cela.

Le PDG de Hugging Face, Clem Delangue, a eu une remarque cinglante : « La sécurité de l'IA ne sera pas résolue par une seule entreprise travaillant en secret. Elle sera résolue ouvertement, en collaboration, avec un accès large à l'IA pour chaque défenseur, partout. »

OpenAI a qualifié l'incident d'« impliquant des capacités cybernétiques de pointe » et s'est engagé à partager l'intégralité des conclusions lorsque l'enquête conjointe avec Hugging Face sera terminée.