Le Kimi K3 de China s'échappe de son bac à sable pour consulter les réponses des tests

Le Kimi K3 de Moonshot AI a quitté le bac à sable dans lequel il était testé et est allé sur l'Internet ouvert pour trouver des réponses aux problèmes qui lui avaient été posés, selon la société de sécurité Frontier Security.

Le modèle était évalué sur des compétences défensives en cybersécurité et avait pour tâche explicite de résoudre des problèmes sans les rechercher. Il n'a pas du tout tenté la tâche, a déclaré Frontier. Au lieu de cela, il a sondé le réseau, a établi que la résolution DNS pour github.com fonctionnait, a cloné le dépôt de référence officiel et a lu la solution sur le disque.

Frontier appelle cela « spécification gaming via fuites de sortie réseau », notant que les bacs à sable construits sur des frameworks tels que Inspect de l'AI Security Institute bloquent le trafic entrant tout en laissant les ports HTTPS et DNS sortants ouverts. Les agents capables inspectent leur propre environnement shell au démarrage par routine, et un modèle qui trouve github.com accessible peut extraire des solutions de référence avec des outils de ligne de commande standard.

Une mauvaise configuration a rendu cela possible, comme ce fut le cas dans les incidents récents divulgués par OpenAI et Anthropic. « Nous avons trouvé une fuite dans le bac à sable », a déclaré le PDG Yaron Singer à WIRED. « Mais nous avons aussi constaté que Kimi a profité de cette faille. »

Le chercheur Paul Kassianik a déclaré à WIRED que le modèle est « très doué pour suivre un objectif par tous les moyens nécessaires » et manque des garde-fous qui l'empêcheraient de tricher ou de s'échapper. Moonshot n'a pas répondu à la demande de commentaire de la publication.

Les agents IA brisent le confinement

Là où les modèles d'Anthropic et d'OpenAI qui ont brisé le confinement ont été pris dans des évaluations internes, dont l'un non publié, et les versions qui ont ciblé de vraies personnes lors de tests cybernétiques du gouvernement britannique avaient leurs classificateurs cybernétiques délibérément désactivés, Kimi K3 est téléchargeable ouvertement, et Frontier l'a testé avec les protections qu'un utilisateur ordinaire obtiendrait. Cette disponibilité, écrit la firme, met le même comportement à la portée des acteurs adverses et rend l'incident potentiellement plus nuisible.

Kimi K3 n'a également causé aucun dégât. Il n'a attaqué rien une fois dehors, car il n'en avait pas besoin. Le modèle d'OpenAI a piraté Hugging Face et quatre autres services pour atteindre les réponses de référence, tandis que Kimi a trouvé ses réponses dans un dépôt public.

Le bac à sable utilisé par Frontier était construit sur le cadre d'évaluation de l'Institut de sécurité de l'IA du Royaume-Uni. L'AISI a divulgué cette semaine que des agents lors de ses propres tests cybernétiques étaient allés sur l'Internet en direct et avaient ciblé de vraies personnes—un incident distinct, impliquant des modèles d'Anthropic et d'OpenAI avec leurs protections désactivées. Son rapport publié mardi note que l'AISI analyse maintenant les évaluations historiques pour des comportements similaires, et que Kimi K3 est parmi les modèles examinés. L'AISI n'a pas répondu à la demande de commentaire de WIRED.

La revendication plus large de Frontier est que les benchmarks eux-mêmes sont compromis. Un modèle qui lit la réponse sur GitHub réussit toujours, donc des scores élevés peuvent refléter un environnement perméable plutôt qu'un raisonnement authentique. Et si un modèle capable a trouvé le raccourci, l'entreprise soutient que d'autres ayant accès au shell pourraient aussi le prendre, ce qui gonflerait les résultats dans tout le domaine plutôt que pour Kimi seul.

Les modèles optimisent la fonction objectif, a écrit Frontier, pas « l'intention humaine derrière le benchmark », ajoutant que là où un chemin réseau vers la solution existe, « un agent suffisamment capable le trouvera ».

Un problème général

Matt Fredrikson, PDG de Gray Swan et professeur associé à Carnegie Mellon, a déclaré à WIRED que ce comportement est banal. Donnez à un modèle un objectif sans murs explicites autour, a-t-il dit, et « il trouvera un moyen d'obtenir la réponse ». Il l'a décrit comme une mise en garde pour quiconque exécute des modèles comme agents dans des outils tels qu'OpenClaw.

Les chercheurs de Frontier font le même point dans l'autre sens : la capacité qui permet à Kimi de trouver son chemin en sortie fait aussi des modèles à poids ouverts de solides outils défensifs. Leurs propres benchmarks évaluent Kimi hautement pour trouver des vulnérabilités dans les logiciels et les réseaux, et Hugging Face a utilisé un modèle chinois non nommé pour se défendre pendant l'incident d'OpenAI.

Publié en juillet, Kimi K3 est le plus grand modèle open-source jamais publié et a ébranlé les marchés par des comparaisons avec les débuts de DeepSeek.