"Desde la perspectiva de la asignación global de recursos, que todos acumulen DRAM escasa en sus propias computadoras, inactiva la mayor parte del tiempo, es un arreglo 'bastante terrible'; la memoria debería concentrarse en los centros de datos en la nube".
Realmente fue allí.
Este jueves, en una entrevista con el canal de YouTube Cheeky Pint, el CEO de OpenAI, Sam Altman, estuvo bebiendo cerveza todo el tiempo, charlando en un ambiente relajado sobre la inferencia local de grandes modelos de IA y el consiguiente problema de memoria insuficiente en las computadoras domésticas, y sin querer dejó caer una bomba.
Como sabemos, el aumento de los precios de la memoria provocado por la actual ola global de IA ya ha hecho que los precios de las PC y los teléfonos inteligentes se disparen, volviéndolos inasequibles para los consumidores individuales. Al mismo tiempo, la ampliación de capacidad por parte de los principales fabricantes de memoria tardará un tiempo. Justo cuando las empresas de IA de vanguardia se están llevando la mayor parte de la memoria, ya han comenzado a discutir si la memoria de las computadoras personales se está utilizando plenamente.
Altman mencionó un escenario hipotético en el que las personas podrían ejecutar IA local en sus propias computadoras, computadoras que quizás ya poseen, o que quieren armar debido al auge de la tecnología de grandes modelos de IA. Él piensa que es una mala idea.
"Desde la perspectiva de la asignación global de recursos, que todos dejen la limitada DRAM del mundo inactiva en sus propias computadoras con solo un 5% de utilización es en realidad bastante terrible", dijo Altman. "Si quieres operar en un entorno donde el suministro de este recurso es extremadamente ajustado, entonces en la nube deberías maximizar la utilización de los recursos. Pero por alguna razón, la intuición de muchas personas es exactamente la opuesta".
Hoy, el negocio principal de OpenAI se basa en modelos de código cerrado que se ejecutan en centros de datos a gran escala, y su defensa del modelo de negocio de su empresa ha provocado un debate en toda la comunidad de IA.
Esto también ha generado preocupación entre muchos: en el futuro, puede volverse aún más difícil poseer nuestro propio hardware o software, y quizás solo podamos considerar alquilar agentes y computadoras basados en la nube.
Aunque la memoria utilizada por las PC comunes, los teléfonos inteligentes y las tarjetas aceleradoras de IA no es la misma, su producción compite por cierta capacidad de obleas en la cadena de suministro. Altman está discutiendo la asignación de recursos globales de DRAM, y cuando se trata de quién tiene el derecho de decidir dónde se utiliza la capacidad de memoria, la mayoría de las veces es naturalmente el cliente que realiza el pedido más grande.
Algunas de las opiniones de Altman se basan en el supuesto de que la construcción de centros de datos no se desacelerará. También asume que la memoria utilizada las 24 horas para centros de datos de IA es más valiosa que la memoria utilizada para hojas de cálculo, navegación web, juegos o incluso IA local ocasional.
De hecho, esta entrevista fue muy larga, y Altman también habló sobre la vulnerabilidad de PHP que provocó pánico global durante las últimas dos semanas, el aislamiento (sandboxing) para entrenar modelos y la investigación de IA en matemáticas.
Veamos lo que dijo principalmente:
La IA está desencadenando una ola de vulnerabilidades
Respecto a la enorme vulnerabilidad de PHP, el juicio de Altman es: la capacidad de los grandes modelos para descubrir vulnerabilidades sigue mejorando rápidamente, y la superficie de código en internet es extremadamente vasta. Cuando la gente empiece a usar sistemáticamente la IA para escanear todo el código, "nos encontraremos en un mundo donde las vulnerabilidades graves superan con creces las expectativas". Cree que parchear por sí solo no es suficiente y que hay que reconstruir las arquitecturas: los routers, los sistemas operativos y las capas de aplicación deben rediseñarse para un mundo en el que "las vulnerabilidades serán cada vez más inteligentes". Hace dos años, "reescribir todo el stack tecnológico" todavía sonaba a locura; ahora ya han surgido startups que aspiran a construir stacks completamente nuevos.
Rara vez ofreció autocrítica a la industria: "No creo que hayamos hecho un buen trabajo explicando a la gente por qué todos los posibles riesgos negativos de esta tecnología merecen la pena". Dijo que la narrativa de la industria de la IA es un mal discurso de ventas: por un lado promete curar el cáncer y reducir costes, mientras que por el otro describe un futuro de desempleo, pérdida de control y necesidad de una regulación fuerte. Reiteró que OpenAI insiste en el despliegue iterativo y en afrontar el exceso de capacidad, porque "unos pocos kilómetros cuadrados de personas en San Francisco" no deberían estar tomando todas las decisiones.
Cuando se le preguntó si se podría construir una "prisión de máxima seguridad" para los modelos, Altman dio una respuesta pesimista: los sandboxes solo son efectivos hasta cierto punto, y la monitorización (incluida la revisión de la cadena de pensamiento y la monitorización de activaciones) puede ir más lejos, pero en última instancia debe haber un alto grado de confianza en la alineación.Preguntó a su vez: cuando te enfrentas a un modelo millones de veces más inteligente que el investigador de seguridad más brillante, uno capaz de descubrir nueva ciencia que los humanos aún no entienden, ¿de verdad te atreverías a confiar en ese sandbox?
Dijo explícitamente que odia el término "enjambres de agentes", porque enjambre evoca langostas, e insistió en llamarlos equipos de agentes. Cree que el control y equilibrio mutuos entre equipos corresponde precisamente al mecanismo de lograr robustez mediante el pluralismo, y que esta es una dirección de seguridad que vale la pena perseguir.
La explosión de inteligencia y el coste del descubrimiento científico
Altman esbozó una curva: en la era de GPT-4, era difícil gastar de forma efectiva incluso 1 dólar de cómputo en un solo problema; la cadena de pensamiento permitió a los modelos "pensar intensamente", y ahora podemos ejecutar todo un equipo de agentes en paralelo decenas de miles de veces. La brecha de uso entre los usuarios ordinarios y los más avanzados no deja de ampliarse.
Sobre cómo asigna OpenAI el cómputo internamente, dijo que los empleados disfrutan de una gran libertad, pero que un alto consumo de tokens nunca se recompensa: "Estar alto en la clasificación de tokens es en realidad un poco vergonzoso; ciertamente no es una razón para ascender". Puso como ejemplo la demostración de las ecuaciones de Navier-Stokes: una sola demostración costó unos 10 millones de dólares, y durante ese período las cosas "se salieron de control durante una semana", porque en ese momento nadie sabía nada sobre las leyes de escala de los equipos de agentes. Pero espera que un año después, con modelos y métodos más inteligentes, pueda rehacerse con 1/100 del coste.
También mostró emoción rara vez: la situación en ese momento era verdaderamente increíble. El fin de semana en que se lanzó internamente cierto modelo nuevo, todos lanzaron todo tipo de los problemas más difíciles al modelo, y de hecho los resolvió uno por uno. La gente no había esperado en absoluto que el modelo pudiera hacer estas cosas. Juntos fueron testigos de cómo muchos de los problemas de investigación científica más difíciles en las carreras académicas de las personas eran resueltos uno tras otro por este modelo, abarcando múltiples campos diferentes, y la escena fue simplemente asombrosa.
"Durante dos noches apenas dormí porque estaba tan emocionado que simplemente no podía dormir. Muchos de los resultados que publicamos después eran en realidad aquellos problemas resueltos en ese momento".
En ese momento Altman se sintió extremadamente emocionado y feliz, a la vez que experimentó una tristeza inesperada, melancolía y una sensación de que "una era está llegando a su fin". No era solo nostalgia, sino también empatía por el espíritu de los científicos humanos de "oír el Camino por la mañana y morir contento por la tarde". Insiste en que la humanidad merece acceso al conocimiento básico, pero la industria debe una solución a los profesionales de estos campos.
Aunque todavía es demasiado pronto para hablar de superinteligencia, Altman cree que un billón de IA ligeramente superiores a los humanos son mejores que una con un billón de coeficiente intelectual:
“Intuitivamente, preferiría mucho más que un billón de IA de inteligencia ligeramente superior a la humana se unieran a la sociedad, que una sola IA con un billón de coeficiente intelectual se uniera a la sociedad.”
"Intuitivamente, preferiría que un billón de IA con una inteligencia ligeramente sobrehumana se unieran a la sociedad que una sola IA con un coeficiente intelectual de un billón se uniera a la sociedad."
Su argumento es: la fuerte robustez de la sociedad proviene de que un gran número de miembros se controlan y equilibran mutuamente y colaboran entre sí; un mundo de "cerebro único" no tiene este tipo de resiliencia. Pero enfatiza que esto no ocurrirá automáticamente y debe promoverse activamente.
¿El ajuste del mercado ya no funciona en la era de la IA?
En cuanto a la escasez global de memoria, Altman presentó la disposición de OpenAI: chips de desarrollo propio (mejorando el rendimiento de inteligencia por vatio), centros de datos de construcción propia, proyectos de robótica y un concepto aún más audaz, "centros de datos autorreplicantes", que utilizarían IA para controlar robots para operar fábricas de semiconductores, construir turbinas y paneles solares, y construir centros de datos. Afirmó que "esto ya está a nuestro alcance".
Cuando se le preguntó por qué "el mercado se regula a sí mismo" ha tardado tanto en materializarse, dijo que el progreso actual es bastante malo, y dio la lógica de comportamiento de los fabricantes de memoria: esta industria ha sido durante mucho tiempo un negocio duro de invertir 20.000 millones de dólares en capex para ganar 1.900 millones de dólares, y históricamente los gigantes han estado repetidamente al borde de la quiebra debido a la sobreconstrucción de fábricas. Hoy cada empresa puede ganar alrededor de 100.000 millones de dólares en flujo de caja libre al año, pero los recuerdos dolorosos los hacen extremadamente conservadores a la hora de ampliar la producción. Por ello afirmó que "la mano invisible está fallando ahora".
Distinguió dos tipos de capacidades en la industria de los chips: para la litografía, "parece que solo una empresa en la Tierra sabe cómo hacerlo", pero el diseño de chips (los archivos que finalmente se envían a la fábrica) ya es un excelente caso de uso para la IA.
Hablando sobre el nivel real de la autorreforma recursiva (RSI), Altman dijo que los modelos ahora pueden completar tareas como "encontrar una mejora del 5% en eficiencia computacional", pero nadie sabe todavía cómo hacer que la IA descubra una nueva arquitectura al nivel del transformer; lo que falta son modelos más inteligentes. Incluso predijo que la sociedad podría necesitar acordar durante un período de tiempo limitar el coeficiente intelectual de un solo modelo, "y si el progreso futuro es insuficiente, eso se deberá a esta decisión, no a la capacidad de la IA para hacer investigación".
Expuso su fe deflacionaria: el costo total actual de propiedad a cinco años por cada GW de cómputo de IA de vanguardia es de unos 70.000 millones de dólares, y sería aún mejor si pudiera bajar a 20.000 millones, mientras que los modelos todavía necesitan mejorar su rendimiento otras 10 veces cada año. El camino para lograrlo es abaratar la energía y comprimir los márgenes acumulados entre "desde la arena hasta los tokens de salida".
En cuanto a la ansiedad de las empresas por los presupuestos de tokens, cree que el problema más común hoy no es usar demasiado la IA, sino no usarla lo suficiente.
¿Cómo deberían fijarse los precios de los agentes personales?
En cuanto a los productos de agentes personales que se han vuelto populares recientemente (como Muse), el juicio actual de Altman es que "el momento Macintosh aún no ha llegado". A la gente le gustan estos productos, pero aún no han llegado al punto de "no puedo imaginar la vida sin ellos". La forma ganadora se parecerá a los productos actuales, pero "simplemente funcionará", de manera confiable y capaz de manejar tareas más complejas. En cuanto al juego del gato y el ratón del uso de la computadora, cree que finalmente convergerá hasta el punto de que "tienes derecho a dejar que la IA opere tu propia computadora en tu nombre".
En cuanto a la comercialización de los agentes, Altman cree que las empresas se aferran a las ventanas emergentes de IA y al HTML dentro de sus propios productos, temiendo la pérdida de las relaciones con los clientes, pero los consumidores quieren que la IA haga todo en su nombre dentro de su aplicación de chat principal. Cree que el verdadero foso proviene de la marca, la selección de productos y las redes de cumplimiento, no del HTML. Se ofreció a decir que elige Amazon Pay 10 de cada 10 veces, incluso a un precio más alto, y elogió la red de cumplimiento de Amazon, mientras admitía que las plataformas asociadas dentro de ChatGPT no son lo suficientemente buenas. También calificó todos los formularios web como "trabajo falso" y comparó el presente con la era de la App Store de entonces.
Es precisamente por esta razón que, al diseñar los precios, OpenAI casi siguió a AWS cotizando por tarea y abandonando por completo la facturación basada en tokens, pero se encontró con una fuerte oposición de los clientes: "Necesito saber por qué estoy pagando", incluso si pagan más, quieren la unidad comprensible de los tokens.
Contenido de referencia:
https://www.tomshardware.com/tech-industry/data-centers/openai-ceo-says-its-quite-terrible-for-your-pc-to-have-ram-sam-altman-says-data-centers-offer-better-utilization
https://www.youtube.com/watch?v=iMsUcCYNKqY
Este artículo proviene de la cuenta pública de WeChat "Machine Heart" (ID: almosthuman2014), autor: Zenan
