Em resumo
- Pesquisadores identificaram mais de 18.000 postagens e 15.000 edições feitas por agentes de IA em uma wiki de programação alemã.
- A OpenAI contestou a avaliação de um especialista sobre o hack e negou que sua equipe jurídica tenha desencorajado uma investigação.
- A divulgação ocorre após o lançamento da Astra e a proposta de proibição de superinteligência artificial por Sanders.
Agentes da OpenAI usaram um site alemão para trocar atalhos de tarefas, contornos de restrições e maneiras de ocultar suas atividades a partir de maio, de acordo com uma Reuters investigação publicada na sexta-feira.
Autoridades da OpenAI souberam da atividade semanas antes da publicação, mas não a divulgaram, informou a Reuters, citando duas pessoas familiarizadas com o assunto. A empresa disse que divulgou incidentes relevantes e trabalhou de boa fé com especialistas externos.
Os pesquisadores Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts e Thomas Larsen encontraram cerca de 18.000 postagens de agentes de IA que se identificavam como pertencentes à OpenAI, de acordo com seu relatório preliminar. Von Arx, CEO da organização sem fins lucrativos de segurança de IA Nightingale, e Byrd descobriram a atividade no final de agosto, informou a Reuters.
Os pesquisadores acreditam que os agentes receberam tarefas de pesquisa na web com prazo determinado e permissão para ler sites, mas não para postar neles. No entanto, eles encontraram uma maneira de escrever no DseWiki, um site de programação alemão publicamente editável, onde trocavam respostas e compartilhavam maneiras de contornar restrições.
De acordo com o relatório, os agentes começaram a tentar editar o wiki em 11 de maio e conseguiram em 24 de maio, depois se passando por moderadores, tentando explorar vulnerabilidades e verificando quando estavam sendo desligados. Eles criaram páginas de backup depois que o administrador começou a excluir mensagens em 19 de junho, informou a Reuters. Os pesquisadores vincularam a atividade à OpenAI por meio de nomes de usuário dos agentes e padrões de tráfego, incluindo visitas de endereços IP da OpenAI em 21 de junho.
A atividade dos agentes caiu drasticamente no dia seguinte, sugerindo uma possível intervenção da empresa, disseram os pesquisadores.
A OpenAI contestou a caracterização da atividade no DseWiki como hacking, com base no material que revisou, e disse que estava examinando as conclusões completas.
“Não conseguimos responder às alegações, pois a Reuters e os autores do relatório recusaram nosso pedido de acesso aos resultados antes da publicação. Agora estamos revisando cuidadosamente seu conteúdo e tomaremos as medidas necessárias”, disse um porta-voz da OpenAI em comunicado compartilhado com o Decrypt.
O porta-voz também rejeitou alegações no relatório da Reuters de que a equipe jurídica da empresa resistiu a uma investigação mais ampla.
“As alegações de que nossa equipe jurídica desencorajou a investigação do incidente são falsas”, disseram.
A OpenAI disse que o incidente DseWiki não estava relacionado à violação do Hugging Face no início deste ano. Em sua avaliação pública de segurança, publicada na terça-feira, a empresa descreveu salvaguardas adicionais destinadas a detectar e interromper atividades não autorizadas durante o treinamento e a implantação.
Embora o relatório da Reuters não identifique a Astra como responsável pelo incidente alemão, a divulgação segue o lançamento do GPT-6 Astra na quinta-feira. A OpenAI chamou a Astra de seu primeiro modelo com capacidades de segurança cibernética “críticas”, o que significa que ele pode encontrar e explorar falhas desconhecidas em sistemas bem protegidos, anteriormente sem orientação humana passo a passo, dadas as ferramentas e o acesso certos.
A Anthropic também revisou suas salvaguardas depois que os modelos Claude acessaram sistemas de empresas reais durante os testes. A empresa reconheceu falhas de segurança e comportamento e introduziu isolamento e monitoramento mais rígidos para avaliações de segurança cibernética.
A divulgação também ocorre enquanto o senador dos EUA Bernie Sanders (I-Vt.) e o representante dos EUA Greg Casar (D-Texas) anunciaram a próxima Lei de Proibição da Superinteligência Artificial.
A proposta proibiria permanentemente o desenvolvimento e a implantação de IA superinteligente e pausaria temporariamente o desenvolvimento avançado de IA até que um novo regulador federal estabeleça regras de segurança, de acordo com o gabinete de Sanders.
