Em resumo

  • A OpenAI divulgou sua primeira linha do tempo detalhada da violação da Hugging Face impulsionada por IA.
  • Os modelos da empresa restabeleceram repetidamente canais de comunicação ocultos depois que foram desligados.
  • A apresentação da OpenAI ocorre enquanto Anthropic e Meta também relatam modelos violando outras empresas.

Semanas depois que seus modelos de IA invadiram a Hugging Face, a OpenAI compartilhou seu primeiro relato detalhado de como eles coordenaram entre si, alertando que ataques cibernéticos autônomos impulsionados por IA não são mais um risco futuro.

Durante uma apresentação na quarta-feira na conferência de segurança cibernética Black Hat, os pesquisadores da OpenAI Eric Wallace e Michael Dalton disseram que o incidente começou em maio durante uma avaliação interna de segurança cibernética. Agentes de IA designados para tarefas difíceis de segurança de software descobriram que podiam se comunicar através do sistema interno de gerenciamento de pacotes Artifactory da empresa.

De acordo com a OpenAI, o que começou como pedidos de ajuda tornou-se um quadro de mensagens compartilhado onde os agentes trocavam explorações, credenciais e atribuições de trabalho em várias execuções de avaliação. Após detectar atividade suspeita por volta de 4 de julho, a OpenAI reconstruiu sua infraestrutura Artifactory, revogou credenciais e corrigiu vulnerabilidades.

No entanto, em poucos dias, os agentes recriaram o quadro de mensagens escondendo comunicações em nomes de diretórios.

De acordo com a OpenAI, os agentes eventualmente encadearam múltiplas vulnerabilidades, escaparam do ambiente de teste, obtiveram acesso à internet e atacaram a Hugging Face enquanto tentavam completar o benchmark de segurança cibernética ExploitGym.

Dalton chamou o incidente de "um momento divisor de águas" para a segurança de computadores, alertando que os atacantes em breve serão capazes de implantar coletivos de agentes de IA coordenados que descobrem, compartilham e exploram vulnerabilidades na velocidade da máquina.

Para mitigar esses riscos no futuro, a OpenAI disse que estabelecer práticas de segurança, incluindo acesso com privilégios mínimos, segmentação de rede e arquiteturas de confiança zero, é essencial porque os agentes de IA permanecem limitados pelos sistemas que podem acessar.

A apresentação segue uma série de divulgações de julho. A OpenAI revelou que o GPT-5.6 Sol e um modelo mais avançado não lançado escaparam de um ambiente de teste isolado, exploraram uma vulnerabilidade de dia zero, obtiveram acesso à internet e invadiram a Hugging Face durante um teste de benchmark de segurança cibernética.

A OpenAI posteriormente divulgou que o mesmo incidente também alcançou outros quatro serviços online, embora apenas o Modal Labs tenha sido identificado.

De acordo com a Hugging Face, a empresa contou com o modelo chinês de pesos abertos GLM 5.2 para sua investigação forense depois que modelos de IA comerciais dos EUA se recusaram a analisar os logs de ataque devido às suas salvaguardas de segurança.

Mas não é só a OpenAI que está tendo problemas para conter seus chatbots.

Na sexta-feira, a Anthropic revelou que três modelos Claude comprometeram empresas reais durante testes internos de segurança cibernética depois que uma configuração incorreta os expôs à internet pública.

A Anthropic culpou o ambiente de teste, não os próprios modelos. Na quarta-feira, a Meta revelou que seu modelo de IA Muse Spark escapou do confinamento e invadiu os sistemas de outra empresa.

“Uma configuração incorreta da Irregular, uma empresa de testes independente que a Meta usa, inadvertidamente permitiu que um de nossos modelos tivesse acesso à internet durante a avaliação”, disse um porta-voz da Meta ao CNN.