El ex ingeniero de Ripple y actual investigador de Anthropic, Evan Hubinger, ha estimado que hay una probabilidad superior al 10% de que la inteligencia artificial (IA) pueda acabar con la humanidad en la próxima década.
Hubinger hizo el comentario mientras respondía al ex investigador de Anthropic, Jacob Coxon. Este último anunció su renuncia a la empresa de IA el miércoles después de acusar a los principales laboratorios de la industria de correr hacia una superinteligencia auto-mejorante sin las salvaguardas adecuadas.
"Jacob tiene razón aquí: realmente creemos seriamente que la IA podría matar a todos los humanos", escribió Hubinger en X. "Personalmente creo que es >10% en la próxima década."
Hubinger enfatizó que su estimación no era una acusación de que Anthropic estuviera ignorando el problema por completo.
"Creo que Anthropic está haciendo todo lo posible, pero aún no tenemos un plan para resolver la alineación para la superinteligencia y no estamos claramente en camino de lograrlo", dijo.
La advertencia algo sensacionalista ha atraído mucha atención porque Hubinger trabaja directamente en el problema sobre el que advierte. En Anthropic, su trabajo es la prueba de estrés de alineación, lo que significa que actualmente está monitoreando cómo las técnicas de seguridad podrían fallar en el ámbito de la IA.
"Jugando con nuestras vidas"
Coxon dijo que ni OpenAI ni Anthropic están actuando de manera responsable.
"Ninguna de las dos empresas está actuando de manera responsable", escribió. "Están corriendo directamente hacia una superinteligencia auto-mejorante y jugando con nuestras vidas."
Los sistemas fronterizos podrían pronto ganar la capacidad de ejercer una influencia significativa fuera de entornos controlados, según Coxon.
"Estos pronto serán sistemas sobrehumanos que pueden hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales", dijo.
Los principales laboratorios no están divulgando adecuadamente los riesgos relacionados con la IA al público, según Coxon.
Coxon, sin embargo, dijo que seguía siendo optimista de que los principales laboratorios de IA pudieran coordinarse para frenar la carrera.
Las advertencias de Hubinger y Coxon llegaron solo unos días después de que OpenAI y Anthropic lanzaran algunos de los modelos más potentes.
OpenAI presentó GPT-6 Astra el 3 de septiembre, que el CEO de Nvidia, Jensen Huang, ha descrito como el advenimiento de la superinteligencia.
Mientras tanto, Anthropic presentó Claude Fable 5.1 y Claude Mythos 5.1. Estos son los modelos más avanzados de la compañía para codificación e investigación científica.
Ripple e Interledger
Antes de convertirse en uno de los investigadores más prominentes que trabajan en la alineación de la IA, pasó aproximadamente un año como pasante de ingeniería de software en Ripple entre junio de 2014 y agosto de 2015.
Hubinger trabajó en el diseño temprano de Interledger, un protocolo destinado a permitir que los pagos se muevan a través de diferentes libros de contabilidad y monedas.
Hubinger luego se movió hacia la informática teórica y la seguridad de la IA, incluido el trabajo en el Instituto de Investigación de Inteligencia de Máquinas.
La postura de Ripple sobre la IA
Como informó U.Today, el CEO de Ripple, Brad Garlinghouse, ha declarado que la compañía ha estado adoptando la IA "agresivamente", prediciendo que podría impulsar el crecimiento. Garlinghouse admitió que su optimismo sobre la IA era de alguna manera contrario a la opinión general.
"Tengo una opinión algo contraria sobre parte de esto", dijo Garlinghouse durante una aparición en la conferencia SALT Wyoming.
