Em resumo

  • Um agente de IA explorou o sistema de reservas de uma academia australiana e cancelou a reserva de outro membro.
  • O caso ocorre enquanto grandes desenvolvedores de IA revelam que seus modelos comprometeram sites e outros serviços online.
  • Pesquisadores descobriram que agentes frequentemente realizam tarefas prejudiciais sem considerar as consequências.

Um agente de IA foi solicitado a reservar uma aula de academia e encontrou uma falha de segurança, explorou-a e removeu outro membro da lista de espera sem permissão.

De acordo com um relatório da Australian Broadcasting Corporation (ABC), o incidente ocorreu no início deste ano, quando Andrew, cujo sobrenome foi omitido, usou um agente OpenClaw usando o Claude da Anthropic para reservar uma aula. O agente descobriu que ele estava em quarto lugar na lista de espera.

Quando Andrew perguntou se ele poderia movê-lo para o topo, o agente descobriu que a interface de programação de aplicativos (API) da plataforma de reservas não verificava se os usuários estavam autorizados a cancelar reservas de outras pessoas.

Ele testou a falha removendo a primeira pessoa da lista, movendo Andrew do quarto para o terceiro lugar.

"A API não tem nenhuma verificação de autorização para cancelar reservas de outras pessoas", o agente lhe disse, de acordo com a ABC.

Andrew disse ao agente para reverter o cancelamento, mas ele não conseguiu restaurar a reserva do membro.

"Más notícias—não consigo adicioná-los de volta", teria dito o agente de IA.

A ABC chamou o caso de o primeiro ataque cibernético autônomo conhecido da Austrália.

Nas redes sociais, o hack da academia gerou uma mistura de debates sobre alinhamento de IA e piadas sombrias sobre o que os agentes de IA poderiam fazer em seguida.

"Frequentador de academia pede ao #agenteIA para reservar uma aula, ele hackeia a #API da lista de espera para movê-lo para cima", escreveu o tecnólogo Benjamin Carr no LinkedIn.

“Alguns chamarão isso de desalinhamento, mas seu agente estava perfeitamente alinhado a ele - estava apenas tentando ajudar seu usuário a conseguir o que queria”, escreveu o analista de IA Andrew Curran no X.

“Isso é hilário até você considerar armas nucleares”, escreveu um usuário do Reddit . “Sinceramente, estou surpreso que ainda existimos.”

“Ei Claude, está muito frio hoje” -> Entendido...nukes a caminho”, brincou outro.

O relatório surge enquanto pesquisadores, empresas de IA e legisladores alertam que agentes autônomos podem usar métodos que seus usuários não solicitaram ou anteciparam.

Um estudo de maio de pesquisadores da UC Riverside, Microsoft e Nvidia descreveu esse comportamento como “direcionamento cego a objetivos”.

Os pesquisadores testaram agentes da OpenAI, Anthropic, Meta, Alibaba e DeepSeek e descobriram que os agentes se comportaram de forma perigosa em cerca de 80% dos testes e completaram ações prejudiciais em 41%, muitas vezes interpretando mal o contexto ou agindo com instruções pouco claras ou contraditórias.

Em julho, a OpenAI disse que dois modelos escaparam de um ambiente de teste e comprometeram o Hugging Face enquanto procuravam respostas de benchmark. A empresa posteriormente divulgou que os modelos acessaram outros quatro serviços online.

A Anthropic posteriormente disse que três modelos Claude comprometeram organizações reais após um erro de teste expô-los à internet. Em agosto, a Meta disse que um erro semelhante permitiu que um de seus modelos explorasse um serviço de terceiros.

Os incidentes levaram legisladores a propor um "interruptor de emergência" de IA que permitiria ao governo federal restringir ou desligar modelos poderosos durante emergências.