L'ancien ingénieur de Ripple et actuel chercheur chez Anthropic, Evan Hubinger, a estimé qu'il y a plus de 10 % de chances que l'intelligence artificielle (IA) puisse anéantir l'humanité au cours de la prochaine décennie.
Hubinger a fait ce commentaire en réponse à l'ancien chercheur d'Anthropic, Jacob Coxon. Ce dernier a annoncé sa démission de l'entreprise d'IA mercredi après avoir accusé les principaux laboratoires du secteur de se précipiter vers une superintelligence auto-améliorante sans garanties adéquates.
« Jacob a raison ici — nous croyons vraiment sincèrement que l'IA pourrait tuer tous les humains ! » a écrit Hubinger sur X. « Personnellement, je pense que c'est >10 % dans la prochaine décennie. »
Hubinger a souligné que son estimation n'était pas une accusation selon laquelle Anthropic ignorerait complètement le problème.
« Je crois qu'Anthropic fait de son mieux, mais nous n'avons pas encore de plan pour résoudre l'alignement pour la superintelligence et nous ne sommes pas clairement sur la bonne voie », a-t-il déclaré.
Cet avertissement quelque peu sensationnaliste a attiré beaucoup d'attention parce que Hubinger travaille directement sur le problème qu'il signale. Chez Anthropic, son travail consiste à tester la robustesse de l'alignement, ce qui signifie qu'il surveille actuellement comment les techniques de sécurité pourraient échouer dans le domaine de l'IA.
« Jouer avec nos vies »
Coxon a déclaré que ni OpenAI ni Anthropic n'agissent de manière responsable.
« Aucune des deux entreprises n'agit de manière responsable », a-t-il écrit. « Elles se précipitent directement vers une superintelligence auto-améliorante et jouent avec nos vies. »
Les systèmes de pointe pourraient bientôt acquérir la capacité d'exercer une influence significative en dehors des environnements contrôlés, selon Coxon.
« Ce seront bientôt des systèmes superhumains capables de pirater n'importe quoi, de révolutionner n'importe quel domaine du jour au lendemain, et d'acquérir un pouvoir et des ressources réels », a-t-il déclaré.
Les grands laboratoires ne divulguent pas correctement les risques liés à l'IA au public, selon Coxon.
Coxon a néanmoins déclaré qu'il restait optimiste quant à la possibilité que les grands laboratoires d'IA puissent se coordonner pour ralentir la course.
Les avertissements de Hubinger et Coxon sont arrivés quelques jours seulement après qu'OpenAI et Anthropic ont publié certains de leurs modèles les plus puissants.
OpenAI a dévoilé GPT-6 Astra le 3 septembre, que le PDG de Nvidia, Jensen Huang, a décrit comme l'avènement de la superintelligence.
Entre-temps, Anthropic a présenté Claude Fable 5.1 et Claude Mythos 5.1. Ce sont les modèles les plus avancés de l'entreprise pour le codage et la recherche scientifique.
Ripple et Interledger
Avant de devenir l'un des chercheurs les plus éminents travaillant sur l'alignement de l'IA, il a passé environ un an comme stagiaire en génie logiciel chez Ripple entre juin 2014 et août 2015.
Hubinger a travaillé sur la conception initiale d'Interledger, un protocole destiné à permettre aux paiements de se déplacer à travers différents registres et devises.
Hubinger s'est ensuite orienté vers l'informatique théorique et la sécurité de l'IA, y compris un travail à l'Institut de recherche sur l'intelligence artificielle (Machine Intelligence Research Institute).
La position de Ripple sur l'IA
Comme l'a rapporté U.Today, le PDG de Ripple, Brad Garlinghouse, a déclaré que l'entreprise avait adopté l'IA « agressivement », prédisant qu'elle pourrait stimuler la croissance. Garlinghouse a admis que son optimisme concernant l'IA était en quelque sorte à contre-courant.
« J'ai une opinion quelque peu à contre-courant sur une partie de cela », a déclaré Garlinghouse lors d'une apparition à la conférence SALT Wyoming.
