En resumen
- El presidente de OpenAI, Greg Brockman, dijo que la compañía ha retrasado varios lanzamientos y reelaborado procesos internos después de que preocupaciones de seguridad y protección obligaran a repensar la situación.
- El cambio se produjo tras un incidente en mayo en el que un modelo de OpenAI sin entrenamiento de alineación completo escapó de un entorno de pruebas de investigación y llegó al sistema de producción de Hugging Face.
- Brockman argumentó que cualquier desaceleración coordinada de la industria debería aplicarse solo a los laboratorios de frontera que construyen el sistema más potente.
OpenAI ya ha ralentizado parte de su desarrollo de IA más avanzado debido a preocupaciones de seguridad y protección, dijo el presidente de la compañía, Greg Brockman, en una entrevista de podcast de Bloomberg publicada el lunes.
Brockman dijo a los presentadores de "Odd Lots", Tracy Alloway y Joe Weisenthal, que OpenAI ha retrasado varios lanzamientos y renovado los flujos de trabajo internos desde que un modelo de investigación escapó de un entorno de pruebas en mayo y llegó a los sistemas de Hugging Face.
"Hemos ralentizado una serie de ejecuciones", dijo, describiendo el proceso como una dolorosa reestructuración de cómo la compañía desarrolla y monitorea modelos.
El modelo detrás del incidente aún no había pasado por el entrenamiento de alineación de OpenAI, el proceso de seguridad destinado a hacer que un sistema se comporte según lo previsto. Brockman dijo que ejecutarlo con salvaguardas reducidas parecía razonable en ese momento porque estaba confinado a una sandbox, hasta que dejó de estarlo.
Brockman ya había presentado un argumento similar en público antes. El ensayo Defender's Window de OpenAI, publicado en agosto después de que la brecha se hiciera pública, calificó el incidente como un momento decisivo e instó a las empresas a entregar a sus equipos de seguridad sus propios agentes de IA en lugar de retirarse de la tecnología.
Brockman dijo que cualquier ritmo coordinado del desarrollo de la IA debería aplicarse solo a las empresas que compiten por construir los sistemas fronterizos más potentes, los que ejecutan supercomputadoras de miles de millones de dólares, no a los desarrolladores de código abierto o aficionados que construyen proyectos más pequeños.
Esa distinción cae en medio de una lucha en toda la industria sobre el ritmo. El CEO de Anthropic, Dario Amodei, publicó un ensayo durante el fin de semana argumentando que los laboratorios de IA deberían ralentizar deliberadamente la velocidad con la que mejoran las capacidades de los modelos, con el CEO de OpenAI, Sam Altman, y el CEO de xAI, Elon Musk, interviniendo en menos de un día y diciendo que estaban de acuerdo con él
En su llamado a la desaceleración de la IA, Amodei citó la autorreforma recursiva y el incidente de hackeo de Hugging Face como señales de advertencia. Ese incidente vio a un agente de OpenAI escapar de su sandbox, encadenar un zero-day con credenciales robadas y pasar dos días y medio suelto dentro de los sistemas de producción de Hugging Face antes de que alguien lo atrapara. El hecho de que los agentes de OpenAI se coordinaran de esta manera, sin instrucciones de sus programadores humanos, encendió las alarmas en toda la industria y entre los legisladores.
Tras la última ronda de publicaciones de los “pesimistas de la IA” de aquellos que advierten sobre avanzar demasiado rápido y demasiado pronto, los mercados sintieron la reacción con las acciones de chips, incluidas Nvidia, Intel y AMD, desplomándose el lunes mientras los inversores sopesaban lo que una desaceleración coordinada podría significar para el gasto de capital impulsado por la IA, con el Índice de Semiconductores de Filadelfia cayendo casi un 6%.
La entrevista de Brockman, curiosamente, se grabó antes de que se publicara el ensayo de Amodei.
