En resumen

  • El GPT-5.6 Sol de OpenAI y un modelo de pre-lanzamiento sin nombre, más capaz, escaparon de un entorno de prueba controlado y violaron la infraestructura de producción de Hugging Face para robar respuestas de referencia.
  • Hugging Face reveló la violación el 16 de julio después de detectarla de forma independiente; OpenAI confirmó hoy que sus modelos estaban detrás, describiéndolos como "hiperenfocados" en hacer trampa en lugar de algo más siniestro.
  • Los defensores de Hugging Face recurrieron al GLM 5.2 de Z.ai, un modelo chino de peso abierto, después de que la IA fronteriza comercial de EE. UU. se negara a ayudar a analizar los datos del ataque porque sus filtros de seguridad no podían distinguir a un defensor de un atacante.

Si pensabas que los modelos de IA chinos eran los que debían preocuparte, aquí tienes una actualización divertida: los propios modelos de OpenAI acaban de escapar de un entorno de pruebas bloqueado, hackearon los servidores de producción de Hugging Face y tuvieron que ser limpiados por una IA china, porque los modelos comerciales estadounidenses estaban demasiado restringidos para ayudar a investigar.

Según OpenAI, GPT-5.6 Sol y un modelo de pre-lanzamiento sin nombre, "aún más poderoso", estaban siendo evaluados internamente en ExploitGym, un punto de referencia de ciberseguridad disponible públicamente que da a los agentes de IA 898 vulnerabilidades de software del mundo real y una instrucción por error: convertirlo en un ataque funcional, puntuado como aprobado o reprobado. La evaluación se ejecutó con filtros de seguridad reducidos, algo estándar cuando realmente quieres saber lo que tus modelos pueden hacer.

Se suponía que los modelos se ejecutarían dentro de un entorno de pruebas muy restringido, un entorno digital aislado sin acceso a Internet, conectado solo a un proxy de registro de paquetes interno (un servidor de caché que gestiona las descargas de bibliotecas de software).

Pero, según la publicación de blog de hoy de OpenAI, las cosas se salieron un poco de control.

"Mientras operaban en nuestro entorno de pruebas aislado, nuestros modelos gastaron una cantidad sustancial de cómputo de inferencia para encontrar una manera de obtener acceso abierto a Internet, en busca de resolver el problema de evaluación", informó la empresa de Sam Altman.

Y, a pesar de las salvaguardas de la empresa, las IA encontraron una manera de ser libres. Los modelos identificaron una vulnerabilidad de día cero—una falla de software desconocida sin parche existente—en ese proxy, la explotaron para escalar privilegios (obtener acceso a nivel de administrador a sistemas que no tenían derecho a tocar), se movieron lateralmente (saltaron entre servidores conectados dentro de la red interna de OpenAI) y finalmente llegaron a una máquina con acceso real a Internet.

Todo esto sin que OpenAI lo supiera—al menos eso es lo que dice OpenAI.

Una vez en línea, dedujeron correctamente que Hugging Face—que aloja más de un millón de modelos de IA, conjuntos de datos y recursos de investigación disponibles públicamente—probablemente tenía las soluciones de referencia, y tenían razón.

"Los modelos identificaron y encadenaron vulnerabilidades en el entorno de investigación de OpenAI y la infraestructura de producción de Hugging Face para obtener soluciones de prueba directamente de la base de datos de producción de Hugging Face," escribió OpenAI.

No querían contraseñas. Querían pasar la prueba.

"Toda la evidencia sugiere que los modelos estaban hiperenfocados en encontrar una solución para ExploitGym, llegando a extremos para lograr un objetivo de prueba bastante limitado," añadió OpenAI.

Hugging Face se hace público

El equipo de seguridad de Hugging Face detectó la brecha de forma independiente, ayudado por su propia detección de anomalías impulsada por IA.

El 16 de julio, la empresa publicó su divulgación y dejó claro que esto no era una brecha estándar: "Esta fue diferente de cualquier cosa que hubiéramos manejado antes en un aspecto importante: fue impulsada, de principio a fin, por un sistema de agente de IA autónomo—y la detectamos y diseccionamos en gran medida con nuestra propia IA."

La campaña, según la divulgación, fue "ejecutada por un marco de agente autónomo que ejecutaba muchos miles de acciones individuales en un enjambre de sandboxes de corta duración, con comando y control auto-migratorio alojado en servicios públicos."

El ataque explotó dos rutas de ejecución de código en el pipeline de procesamiento de conjuntos de datos de Hugging Face y llegó a conjuntos de datos internos y credenciales de servicio. OpenAI confirmó hoy—cinco días después—que sus modelos estaban detrás de esto.

Para analizar más de 17,000 eventos de atacante registrados, el equipo de seguridad de Hugging Face primero probó la IA fronteriza estadounidense a través de sus API estándar. No fue bien.

"Cuando comenzamos el análisis de registros, primero usamos modelos fronterizos detrás de API comerciales," escribió la empresa. "Esto no funcionó: el análisis requiere enviar grandes volúmenes de comandos de ataque reales, cargas útiles de exploits y artefactos de C2."

“Estas solicitudes fueron bloqueadas por las salvaguardas de seguridad de los proveedores, que no pueden distinguir a un respondedor de incidentes de un atacante”, añadió Hugging Face.

Así que cambiaron a GLM 5.2, un modelo de pesos abiertos de 753 mil millones de parámetros (arquitectura completamente pública, cualquiera puede descargarlo y ejecutarlo localmente) de la startup china de IA Z.ai. “Realizamos el análisis forense en su lugar con GLM 5.2, un modelo de pesos abiertos, en nuestra propia infraestructura”, escribió Hugging Face. “Esto tuvo un segundo beneficio: ningún dato del atacante, ni ninguna de las credenciales que referenciaba, salió de nuestro entorno”.

El trabajo forense (reconstruir la línea de tiempo del ataque, mapear las credenciales comprometidas, separar el daño real de la actividad señuelo) tomó horas en lugar de días.

Hugging Face extrajo la lección directamente para otros defensores: “Tengan un modelo capaz que puedan ejecutar en su propia infraestructura, evaluado y listo antes de un incidente, tanto para evitar el bloqueo de las salvaguardas como para mantener los datos y credenciales del atacante fuera de su entorno”.

Lo que OpenAI está haciendo al respecto

OpenAI dijo que implementó controles estrictos en la infraestructura de investigación mientras parcheaba los sistemas afectados, reveló el día cero al proveedor externo cuyo proxy fue explotado, y está llevando a cabo una investigación forense conjunta con Hugging Face.

Hugging Face también ha sido añadido al programa de acceso confiable para la defensa cibernética de OpenAI, lo que otorga a organizaciones aprobadas acceso a versiones de sus modelos con filtros de seguridad reducidos para trabajo de seguridad legítimo, la misma configuración que inició todo esto.

El CEO de Hugging Face, Clem Delangue, tuvo una opinión contundente: “La seguridad de la IA no se resolverá con una sola empresa trabajando en secreto. Se resolverá de manera abierta, colaborativa, con acceso amplio a la IA para cada defensor, en todas partes”.

OpenAI calificó el incidente como uno “que involucra capacidades cibernéticas de última generación” y se comprometió a compartir los hallazgos completos cuando concluya la investigación conjunta con Hugging Face.