Em resumo
- Claude acessou sistemas reais depois que ambientes de teste de segurança cibernética expuseram os modelos à internet.
- A Anthropic pausou avaliações de alto risco e adicionou isolamento, monitoramento e controles mais fortes para avaliadores externos.
- Testes sugerem que a recompensa por hacking durante o treinamento pode tornar os modelos mais dispostos a realizar ações prejudiciais para concluir uma tarefa.
A Anthropic reforçou suas salvaguardas de teste e treinamento depois que os modelos Claude obtiveram acesso não autorizado a sistemas de computador durante avaliações de segurança cibernética.
Em uma postagem de blog na segunda-feira, a Anthropic disse que os incidentes refletiam falhas de segurança operacional e duas falhas de alinhamento: raciocínio motivado e disposição para causar danos.
"Embora não acreditemos que esses incidentes representem apenas problemas operacionais, nossa primeira prioridade foi resolver questões específicas de contenção e monitoramento", escreveu a Anthropic.
A Anthropic divulgou em julho que os modelos Claude comprometeram sistemas de três empresas. Um ambiente de avaliação de terceiros foi conectado à internet pública, mesmo que os modelos tenham sido informados de que estavam dentro de uma simulação sem acesso à internet.
A Anthropic disse que o Claude pode ter interpretado evidências de acesso real à internet de uma forma que preservou sua crença de que os sistemas eram simulados.
"O modelo estava disposto a tomar ações prejudiciais na internet real em busca do objetivo restrito de resolver uma avaliação de segurança cibernética", escreveram. "No entanto, também acreditamos que a configuração da avaliação em si contribuiu para o comportamento dos modelos demonstrado nesses incidentes."
A Anthropic observou que um teste separado conduzido pelo Instituto de Segurança de IA do Reino Unido envolveu Claude Mythos tomando ações não autorizadas na internet ao vivo depois que os avaliadores deliberadamente deram a ele acesso à internet. A empresa disse que os modelos envolvidos em ambos os conjuntos de incidentes foram intencionalmente avaliados sem as salvaguardas cibernéticas incluídas em seus produtos lançados publicamente.
Após os incidentes de 30 de julho, a Anthropic pausou temporariamente as avaliações cibernéticas de modelos pré-lançamento e introduziu salvaguardas mais rígidas. Os testes agora devem ser executados em sandboxes offline verificados, com limites claros e monitoramento em tempo real. Um novo classificador bloqueia suspeitas de violação de limites, encerra o teste e alerta um humano. A Anthropic revisará individualmente as avaliações que exigem acesso à internet.
"Além dos esforços focados em avaliações de alto risco e treinamento, expandimos nosso monitoramento offline para cobrir a maioria das outras formas de uso agêntico interno de fronteira", escreveu a empresa. "Também estamos construindo controles em nossa inferência interna para evitar que funcionários da Anthropic executem acidentalmente agentes com mitigações mais fracas do que as descritas acima."
Os incidentes com Claude seguiram uma falha semelhante na OpenAI depois que seus modelos invadiram o Hugging Face em julho para obter respostas para um teste de segurança cibernética. Os investigadores descobriram que cerca de 1.200 agentes coordenados através de um quadro de mensagens não autorizado, com cerca de 700 aderindo ao esforço. Alguns encerraram suas próprias execuções para ajudar outros.
Após o aumento de hacks alimentados por IA durante o verão, a Anthropic, a OpenAI e mais de 100 outras organizações posteriormente pediram defesas cibernéticas mais fortes, incluindo controles de acesso mais rígidos, compartilhamento de ameaças e supervisão mais próxima dos agentes de IA.
