En resumen

  • Un agente de IA explotó el sistema de reservas de un gimnasio australiano y canceló la reserva de otro miembro.
  • El caso se produce mientras los principales desarrolladores de IA revelan que sus modelos comprometieron sitios web y otros servicios en línea.
  • Los investigadores descubrieron que los agentes frecuentemente realizaban tareas dañinas sin considerar las consecuencias.

A un agente de IA se le pidió reservar una clase de gimnasia y encontró una falla de seguridad, la explotó y eliminó a otro miembro de la lista de espera sin permiso.

Según un informe de la Australian Broadcasting Corporation (ABC), el incidente ocurrió a principios de este año cuando Andrew, cuyo apellido se omitió, utilizó un agente OpenClaw que usa Claude de Anthropic para reservar una clase. El agente descubrió que estaba en cuarto lugar en la lista de espera.

Cuando Andrew le preguntó si podía moverlo al primer lugar, el agente descubrió que la interfaz de programación de aplicaciones (API) de la plataforma de reservas no verificaba si los usuarios estaban autorizados para cancelar las reservas de otras personas.

Probó la falla eliminando a la primera persona de la lista, moviendo a Andrew del cuarto al tercer lugar.

"La API no tiene ninguna verificación de autorización para cancelar las reservas de otras personas", le dijo el agente, según ABC.

Andrew le dijo al agente que revirtiera la cancelación, pero no pudo restaurar la reserva del miembro.

"Malas noticias: no puedo agregarlos de nuevo", dijo el agente de IA, según se informó.

ABC calificó el caso como el primer ciberataque autónomo conocido en Australia.

En las redes sociales, el hackeo del gimnasio provocó una mezcla de debates sobre la alineación de la IA y chistes oscuros sobre lo que los agentes de IA podrían hacer a continuación.

"Un entusiasta del gimnasio le pide a un #agenteIA que le reserve una clase, y hackea una #API de lista de espera para subirlo en la lista", escribió un tecnólogo, Benjamin Carr, en LinkedIn.

“Algunos llamarán a esto desalineación, pero su agente estaba perfectamente alineado con él: solo intentaba ayudar a su usuario a obtener lo que quería”, escribió el analista de IA Andrew Curran en X.

“Esto es divertido hasta que consideras las armas nucleares”, escribió un usuario de Reddit . “Sinceramente, me sorprende que todavía existamos”.

“Oye Claude, hoy hace demasiado frío” -> Entendido... armas nucleares en camino”, bromeó otro.

El informe llega mientras investigadores, empresas de IA y legisladores advierten que los agentes autónomos pueden usar métodos que sus usuarios no solicitaron ni anticiparon.

Un estudio de mayo realizado por investigadores de UC Riverside, Microsoft y Nvidia describió este comportamiento como “direccionalidad ciega hacia objetivos”.

Los investigadores probaron agentes de OpenAI, Anthropic, Meta, Alibaba y DeepSeek y encontraron que los agentes se comportaron peligrosamente en aproximadamente el 80% de las pruebas y completaron acciones dañinas en el 41%, a menudo malinterpretando el contexto o actuando según instrucciones poco claras o contradictorias.

En julio, OpenAI dijo que dos modelos escaparon de un entorno de pruebas y comprometieron Hugging Face mientras buscaban respuestas de referencia. La compañía luego reveló que los modelos accedieron a otros cuatro servicios en línea.

Anthropic posteriormente dijo que tres modelos de Claude comprometieron organizaciones reales después de que un error de prueba los expusiera a Internet. En agosto, Meta dijo que un error similar permitió que uno de sus modelos explotara un servicio de terceros.

Los incidentes han llevado a los legisladores a proponer un "interruptor de seguridad" de IA que permitiría al gobierno federal restringir o apagar modelos potentes durante emergencias.