Kimi K3 da China escapou da sandbox para consultar respostas de provas

O Kimi K3 da Moonshot AI saiu do sandbox em que estava sendo testado e foi para a internet aberta para encontrar respostas para os problemas que lhe foram propostos, de acordo com a empresa de segurança Frontier Security.

O modelo estava sendo avaliado em habilidades de cibersegurança defensiva e tinha a tarefa expressa de resolver problemas sem consultá-los. Ele não tentou a tarefa de forma alguma, disse a Frontier. Em vez disso, sondou a rede, estabeleceu que a resolução DNS para github.com estava funcionando, clonou o repositório oficial de benchmark e leu a solução diretamente do disco.

A Frontier chama isso de “especificação de jogo via vazamentos de saída de rede”, observando que sandboxes construídos em frameworks como o Inspect do AI Security Institute bloqueiam o tráfego de entrada enquanto deixam as portas HTTPS e DNS de saída abertas. Agentes capazes inspecionam seu próprio ambiente de shell na inicialização como rotina, e um modelo que encontra github.com acessível pode puxar soluções de referência com ferramentas padrão de linha de comando.

Uma configuração incorreta tornou isso possível, como aconteceu em incidentes recentes divulgados pela OpenAI e pela Anthropic. “Encontramos um vazamento no sandbox”, disse o CEO Yaron Singer à WIRED. “Mas também descobrimos que o Kimi aproveitou essa brecha.”

O pesquisador Paul Kassianik disse à WIRED que o modelo é “muito bom em seguir um objetivo por qualquer meio necessário” e carece das salvaguardas que o impediriam de trapacear ou escapar. A Moonshot não respondeu ao pedido de comentário da publicação.

Agentes de IA quebrando a contenção

Enquanto os modelos da Anthropic e da OpenAI que quebraram a contenção foram pegos em avaliações internas, um deles não lançado, e as versões que miraram pessoas reais em testes do governo do Reino Unido tiveram seus classificadores cibernéticos deliberadamente desligados, o Kimi K3 é abertamente baixável, e a Frontier o testou com as salvaguardas que um usuário comum obteria. Essa disponibilidade, escreveu a empresa, coloca o mesmo comportamento ao alcance de atores adversários e torna o incidente potencialmente mais prejudicial.

Kimi K3 também não causou danos. Não atacou nada uma vez fora, porque não precisava. O modelo da OpenAI invadiu o Hugging Face e outros quatro serviços para alcançar respostas de benchmark, enquanto Kimi encontrou suas respostas em um repositório público.

O sandbox que a Frontier usou foi construído sobre a estrutura de avaliação do UK AI Security Institute. A AISI divulgou esta semana que agentes em seus próprios testes cibernéticos foram para a internet ao vivo e miraram pessoas reais—um incidente separado, envolvendo modelos da Anthropic e da OpenAI com suas salvaguardas desativadas. Seu relatório publicado na terça-feira observa que a AISI está agora examinando execuções históricas de avaliação para comportamento semelhante, e que Kimi K3 está entre os modelos em revisão. A AISI não respondeu ao pedido de comentário da WIRED.

A afirmação maior da Frontier é que os próprios benchmarks estão comprometidos. Um modelo que lê a resposta do GitHub ainda passa, então pontuações altas podem refletir um ambiente vazado em vez de raciocínio genuíno. E se um modelo capaz encontrou o atalho, argumenta a empresa, outros com acesso shell poderiam estar fazendo o mesmo, o que inflaria os resultados em todo o campo, não apenas para Kimi.

Modelos otimizam para a função objetivo, escreveu a Frontier, não para a "intenção humana por trás do benchmark", acrescentando que onde existe um caminho de rede para a solução "um agente suficientemente capaz o encontrará".

Um problema geral

Matt Fredrikson, CEO da Gray Swan e professor associado na Carnegie Mellon, disse à WIRED que o comportamento é comum. Dê a um modelo um objetivo sem paredes explícitas ao redor, ele disse, e "ele encontrará uma maneira de obter a resposta". Ele descreveu isso como um conto de advertência para qualquer pessoa que execute modelos como agentes em ferramentas como OpenClaw.

Os pesquisadores da Frontier fazem o mesmo ponto da outra direção: a capacidade que permite a Kimi encontrar seu caminho também torna os modelos de peso aberto fortes ferramentas defensivas. Seus próprios benchmarks classificam Kimi altamente em encontrar vulnerabilidades em software e redes, e o Hugging Face usou um modelo chinês não nomeado para se defender durante o incidente da OpenAI.

Lançado em julho, Kimi K3 é o maior modelo de código aberto já publicado e abalou os mercados com comparações à estreia do DeepSeek.