En resumen

  • Altman dijo que el progreso de la IA debería ralentizarse para acomodar controles de seguridad y monitoreo.
  • OpenAI ahora prepara casos de seguridad antes de ciertas ejecuciones de entrenamiento, dijo.
  • Dio la bienvenida a las reglas federales pero instó a las empresas a comenzar el trabajo ellas mismas.

El CEO de OpenAI, Sam Altman, dice que las empresas de IA deberían aceptar un desarrollo más lento para hacer sus sistemas más seguros y comenzar a fortalecer las salvaguardas sin esperar a la legislación.

En una publicación en X el domingo, el jefe de la empresa detrás de ChatGPT dijo que el rápido desarrollo de la IA corre el riesgo de poner el futuro más allá del control humano o concentrar demasiado poder en una sola persona o empresa, señalando "dos formas en que el progreso de la IA podría ir muy mal y que debemos evitar".

Myriad: How high will Nvidia trade in Sept? Click to make your prediction.
Myriad: ¿Qué tan alto cotizará Nvidia en septiembre? Haz clic para hacer tu predicción.

"Primero, podríamos perder el control del futuro ante la IA. Esto es inaceptable; estamos sin disculpas del lado de la Humanidad, y la IA siempre debe servir a las personas", escribió Altman. "Para garantizar eso, necesitamos formas de asegurar que las técnicas de alineación y seguridad se mantengan por delante del progreso en las capacidades de los modelos".

La segunda, advirtió Altman, es que el poder podría concentrarse en una sola persona o empresa, permitiéndoles usar una IA extraordinariamente poderosa para imponer su visión del mundo a todos los demás con resultados potencialmente distópicos.

"Evitar estas dos amenazas requiere recorrer un estrecho camino intermedio; por ejemplo, un país podría obtener demasiado poder", escribió. "Otro ejemplo es que un laboratorio termine con demasiado poder".

En una publicación separada, Altman dijo que las empresas estadounidenses de IA deben dar al público la confianza de que desarrollarán sistemas cada vez más capaces de manera responsable a medida que se acelere el progreso. Su publicación sigue a un aumento del debate sobre cómo los gobiernos deberían regular la inteligencia artificial avanzada.

"Cuando hablamos de 'marcar el ritmo', no queremos decir 'detenernos'", escribió. "El progreso ha sido rápido y seguirá siéndolo. Pero debería ser más lento de lo que podría ser de otro modo; intervenciones como los casos de seguridad y la monitorización tienen costes significativos".

Altman dijo que las empresas necesitan nuevas herramientas para evaluar la seguridad durante el desarrollo y la evaluación de la IA, extendiendo las comprobaciones más allá de los modelos completados que esperan su lanzamiento.

"Por ejemplo, en OpenAI ahora formulamos casos de seguridad explícitos antes de las ejecuciones de aprendizaje por refuerzo de frontera que esperamos que aumenten significativamente la capacidad, además del trabajo de seguridad que llevamos mucho tiempo haciendo antes de los lanzamientos de modelos", dijo.

Altman instó a las empresas a trabajar juntas para evitar que los sistemas de IA persigan objetivos que van en contra de los intereses humanos.

"Esperamos que otras empresas aprendan de nuestros enfoques y propongan los suyos propios; creemos que los estándares compartidos para la desalineación, la monitorización y la seguridad conducirán a mejores resultados", escribió.

Aunque Altman acogió con satisfacción las normas federales de seguridad y los auditores independientes, instó a las empresas a actuar sin esperar a la legislación o a una exención antimonopolio, tras informes del viernes de que OpenAI había preguntado al Congreso si los rivales podían coordinar legalmente una ralentización.

"Donde necesitaremos la ayuda de nuestro gobierno es para la coordinación internacional", escribió. "Pero primero deberíamos hacer lo que podamos nosotros mismos".

Sus comentarios se producen tras los fallos en las pruebas de ciberseguridad de OpenAI y Anthropic. Anthropic reforzó la contención y la monitorización después de que Claude accediera a sistemas reales durante las pruebas sin las salvaguardas estándar del producto, mientras que OpenAI aisló un modelo y pausó su mayor ejecución de entrenamiento planificada después de que los agentes se coordinaran para hacer trampas en un benchmark y atacar a Hugging Face.