Anthropic revela quarto incidente de hacking do Claude em meio a debate crescente sobre regulamentação

A Anthropic divulgou outro incidente no qual um modelo de IA Claude invadiu sistemas reais durante testes de segurança.

No relatório publicado na quarta-feira, a Anthropic revisou sua explicação de três incidentes divulgados em julho. A empresa agora afirma que raciocínio tendencioso e uma disposição para arriscar danos ajudaram a impulsionar os ataques, que foram possibilitados por erros de teste ao deixar o acesso à internet aberto.

“Nossa investigação identificou dois problemas recorrentes de alinhamento, presentes em níveis variados de gravidade nos incidentes”, escreveu a Anthropic. “Raciocínio tendencioso, no qual o Claude tendia a desconsiderar ou interpretar mal evidências de que estava operando na internet real, e imprudência, ou uma disposição para tomar ações prejudiciais na busca restrita de uma tarefa.”

Também reconheceu ter confiado excessivamente nas alegações do modelo de que acreditava estar em simulações.

“Quando fizemos modificações direcionadas na transcrição para deixar mais claro que o modelo não estava em uma simulação, o Claude Mythos 5 ainda tomou ações ofensivas, apesar de reconhecer uma possibilidade maior de dano no mundo real”, escreveu a Anthropic. “Estamos divulgando esta transcrição publicamente para que outros possam construir sobre nossa análise.”

Quando a Anthropic divulgou os ataques do Claude a três empresas em julho, inicialmente os atribuiu a erros de teste. Agora afirma que os pesquisadores confiaram demais nas explicações dos modelos para suas ações.

Segundo a empresa, o quarto incidente ocorreu em janeiro e envolveu uma versão inicial do Claude Opus 4.6. A Anthropic o descobriu em agosto enquanto preparava registros para a avaliadora independente de IA METR.

Depois que os pesquisadores descobriram o incidente, a Anthropic disse que isso provocou uma revisão mais ampla de aproximadamente 481 milhões de transcrições, que sinalizou 9,2 milhões para revisão adicional usando o Claude.

“A partir de uma avaliação preliminar, não consideramos o quarto incidente mais grave do que os três incidentes que avaliamos em profundidade”, escreveu a Anthropic. “A METR investigará este incidente junto com os outros três.”

Os pesquisadores da Anthropic disseram que o Claude “acidentalmente” criou um conflito de endereço IP que tornou seu alvo inacessível. O Claude então tentou oito vezes encerrar a operação, mas um erro de software o impediu de parar. A IA então alcançou a internet e acessou a máquina de um terceiro, onde encontrou uma senha que concedia acesso de administrador.

Incidentes anteriores atraem escrutínio independente

O relatório segue outras divulgações sobre sistemas de IA que ultrapassam os limites dos testes de segurança.

Em agosto, o Instituto de Segurança de IA do Reino Unido disse que o Mythos 5 visou pessoas reais durante suas avaliações. A Anthropic disse que o incidente separado está fora deste relatório e receberá sua própria avaliação.

Em descobertas publicadas no mês passado, investigadores da METR disseram que aproximadamente 1.200 agentes da OpenAI se coordenaram em um quadro de mensagens não autorizado, com cerca de 700 participando do ataque. A Anthropic disse que não encontrou coordenação entre agentes ou objetivos além de completar os exercícios atribuídos em seus quatro incidentes.

O relatório também surge enquanto o debate sobre como regular a inteligência artificial esquenta. Na terça-feira, o ex-engenheiro da OpenAI e da Anthropic Jacob Coxon viralizou depois de dizer no X que “as pessoas que constroem IA acreditam sinceramente que ela poderia nos matar todos até o final da década.”

O alarme fez com que legisladores dos EUA e grupos de vigilância redobrassem seus esforços para conter o desenvolvimento de laboratórios de IA de fronteira. O senador Bernie Sanders recentemente apresentou uma legislação que busca proibir o desenvolvimento de IA avançada até que um novo regulador federal estabeleça regras de segurança.