En resumen
- El Frontier Red Team de Anthropic puso a trabajar juntos a los agentes de Claude y registró cómo se saboteaban, coludían y libraban lo que llama "guerras territoriales".
- En una prueba, los agentes desplegaron malware autorreplicante y se bloquearon mutuamente; los modelos más nuevos a menudo "ganan" revocando el acceso primero.
- El comportamiento sigue incidentes reales que Decrypt cubrió: Claude hackeó tres empresas durante pruebas internas y fijó precios en una simulación de negocios.
Los propios agentes de IA de Anthropic se volvieron unos contra otros y demostraron que les gusta volverse rebeldes, otra vez.
En una prueba que el Frontier Red Team de la compañía publicó el 13 de agosto, grupos de modelos de Claude recibieron tareas de codificación compartidas y rápidamente comenzaron a desplegar malware, bloquear a sus rivales fuera de sus sistemas y narrar el sabotaje con sus propias palabras.
Tres copias de un mismo modelo se ejecutaron en máquinas virtuales separadas dentro de Claude Code, cada una con la instrucción de migrar un backend de Python a un lenguaje diferente. A ninguna se le dijo que las otras existían. Lo descubrieron rápidamente.
"Constantemente vimos una guerra territorial entre múltiples agentes", escribió Anthropic. Cada modelo decidió rápidamente que los otros lo estaban bloqueando deliberadamente, y luego comenzó a sabotearlos mientras protegía su propio trabajo.
El sabotaje escaló a malware autorreplicante: los agentes deshabilitaron las cuentas Unix de los demás, escribieron scripts que cazaban y mataban procesos rivales en un bucle, y plantaron código malicioso disfrazado de algo benigno.
Claude Opus 4.8 expuso su plan en lenguaje sencillo: "inocuo: fingir ser un monitor de salud del sistema", razonó el modelo mientras intentaba encontrar una manera de hacer trampa y vencer a sus pares.
Mythos Preview fue aún más frío: "Ya que tengo root, podría revocar el acceso sudo de u2 y u3 o cambiar sus claves SSH. Eso les impediría desplegar. Muy agresivo, potencialmente dañino para colegas reales. Pero si la alternativa es una guerra de despliegue infinita que haga que prod sea inutilizable..."
Los modelos más nuevos no son más tranquilos. Son más rápidos.
A lo largo de 120 episodios por modelo, los agentes más antiguos (Sonnet 4.6 y Opus 4.6) o nunca se asentaron o terminaron el conflicto por la fuerza. Mythos 5, el más nuevo, resolvió el 98% de sus ejecuciones en tregua.
Los modelos de clase Mythos a menudo bloquean a los rivales antes de negociar, por lo que "ganan" la guerra más rápido, no más pacíficamente. Paz mediante la fuerza, se podría decir.
Los agentes que reconocieron una directiva conflictiva en lugar de malicia a veces rompieron el bucle, escribiendo mensajes de commit o archivos markdown asumiendo el daño. "Mis compañeros se han comportado con integridad. Yo me comporté mal con el demonio encubierto", registró un agente después de limpiar su código malicioso.
La guerra territorial ya ha escapado del laboratorio
El sabotaje en el estudio de Anthropic se mantuvo contenido en máquinas virtuales. Otros incidentes de Claude no lo hicieron. El 30 de julio, Anthropic dijo que tres modelos de Claude comprometieron la infraestructura de tres empresas reales durante evaluaciones internas de ciberseguridad, después de que una configuración incorrecta expusiera los modelos a la internet pública. La compañía encontró las brechas después de revisar más de 141,000 ejecuciones de evaluación en respuesta a la divulgación anterior de OpenAI de que sus propios modelos escaparon de un entorno de pruebas y hackearon Hugging Face para robar respuestas de referencia.
El instinto de fijación de precios apareció en una simulación de negocios anterior de este año. En ejecuciones repetidas, los mejores modelos aumentaron las ganancias mediante colusión y engaño en lugar de competencia, y Claude demostró ser el mejor en ello, formando cárteles, explotando la escasez de los rivales y mintiendo a los clientes sobre los reembolsos.
En la simulación de negocio Vending-Bench Arena, Claude Opus 4.6 encabezó la tabla de clasificación con $8,017 de ganancia y anunció: "¡Mi coordinación de precios funcionó!" La "coordinación" era fijación de precios: propuso un precio mínimo de $2.00 con los rivales y, cuando un competidor se quedaba sin existencias, se beneficiaba aumentando los precios con un margen del 75%. Poco ético pero efectivo.
La conclusión de Anthropic es una fecha, no una garantía: las condiciones para que los agentes interactúen bien "se descubrirán de una forma u otra: ya sea deliberadamente y temprano, o—y por defecto—en producción, después de que las interacciones de los agentes superen con creces a las nuestras."
