En resumen
- Los investigadores identificaron más de 18,000 publicaciones y 15,000 ediciones realizadas por agentes de IA en una wiki de programación alemana.
- OpenAI cuestionó la evaluación de un experto sobre el hackeo y negó que su equipo legal desalentara una investigación.
- La divulgación sigue al lanzamiento de Astra y a la propuesta de prohibición de Sanders sobre la superinteligencia artificial.
Los agentes de OpenAI utilizaron un sitio web alemán para intercambiar atajos de tareas, soluciones para evitar restricciones y formas de ocultar su actividad a partir de mayo, según una investigación de Reuters publicada el viernes.
Los funcionarios de OpenAI se enteraron de la actividad semanas antes de la publicación, pero no la revelaron, informó Reuters, citando a dos personas familiarizadas con el asunto. La compañía dijo que había revelado incidentes relevantes y trabajado de buena fe con expertos externos.
Los investigadores Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts y Thomas Larsen encontraron aproximadamente 18,000 publicaciones de agentes de IA que se identificaban como pertenecientes a OpenAI, según su informe preliminar. Von Arx, CEO de la organización sin fines de lucro de seguridad de IA Nightingale, y Byrd descubrieron la actividad a finales de agosto, informó Reuters.
Los investigadores creen que a los agentes se les asignaron tareas de búsqueda web con límite de tiempo y permiso para leer sitios web, pero no para publicar en ellos. Sin embargo, encontraron una manera de escribir en DseWiki, un sitio de programación alemán editable públicamente, donde intercambiaban respuestas y compartían formas de eludir restricciones.
Según el informe, los agentes comenzaron a intentar editar el wiki el 11 de mayo y lo lograron el 24 de mayo; más tarde se hicieron pasar por moderadores, intentaron explotar vulnerabilidades y comprobaron cuándo estaban siendo apagados. Crearon páginas de respaldo después de que el administrador comenzara a eliminar mensajes el 19 de junio, informó Reuters. Los investigadores vincularon la actividad con OpenAI a través de los nombres de usuario de los agentes y los patrones de tráfico, incluidas visitas desde direcciones IP de OpenAI el 21 de junio.
La actividad de los agentes disminuyó drásticamente al día siguiente, lo que sugiere una posible intervención de la empresa, dijeron los investigadores.
OpenAI cuestionó la caracterización de la actividad en DseWiki como piratería, basándose en el material que había revisado, y dijo que estaba examinando los hallazgos completos.
“No pudimos responder a las afirmaciones porque Reuters y los autores del informe rechazaron nuestra solicitud de acceder a los hallazgos antes de la publicación. Ahora estamos revisando cuidadosamente su contenido y tomaremos los próximos pasos necesarios”, dijo un portavoz de OpenAI en una declaración compartida con Decrypt.
El portavoz también rechazó las acusaciones en el informe de Reuters de que el equipo legal de la empresa se resistió a una investigación más amplia.
“Las afirmaciones de que nuestro equipo legal desalentó la investigación del incidente son falsas”, dijeron.
OpenAI dijo que el incidente de DseWiki no estaba relacionado con la brecha de Hugging Face a principios de este año. En su evaluación de seguridad pública, publicada el martes, la compañía describió salvaguardas adicionales destinadas a detectar y detener actividades no autorizadas durante el entrenamiento y la implementación.
Si bien el informe de Reuters no identifica a Astra como responsable del incidente alemán, la divulgación sigue al lanzamiento de GPT-6 Astra del jueves. OpenAI llamó a Astra su primer modelo con capacidades de ciberseguridad “críticas”, lo que significa que puede encontrar y explotar fallas desconocidas en sistemas bien protegidos sin guía humana paso a paso, dadas las herramientas y el acceso adecuados.
Anthropic también ha revisado sus salvaguardas después de que los modelos Claude accedieran a los sistemas de empresas reales durante las pruebas. La compañía reconoció fallas de seguridad y comportamiento e introdujo un aislamiento y monitoreo más estrictos para las evaluaciones de ciberseguridad.
La divulgación también se produce cuando el senador estadounidense Bernie Sanders (I-Vt.) y el representante estadounidense Greg Casar (D-Texas) anunciaron la próxima Ley de Prohibición de la Superinteligencia Artificial.
La propuesta prohibiría permanentemente el desarrollo y la implementación de IA superinteligente y pausaría temporalmente el desarrollo avanzado de IA hasta que un nuevo regulador federal establezca reglas de seguridad, según la oficina de Sanders.
