Sam Altman (OpenAI) avertit que l'humanité pourrait perdre le contrôle de l'IA

Le PDG d'OpenAI, Sam Altman, affirme que les entreprises d'IA devraient accepter un développement plus lent pour rendre leurs systèmes plus sûrs et commencer à renforcer les protections sans attendre une législation.

Dans une publication sur X dimanche, le patron de l'entreprise derrière ChatGPT a déclaré que le développement rapide de l'IA risque de placer l'avenir au-delà du contrôle humain ou de concentrer trop de pouvoir entre les mains d'une seule personne ou entreprise, notant « deux façons dont les progrès de l'IA pourraient très mal tourner et que nous devons éviter ».

« Premièrement, nous pourrions perdre le contrôle de l'avenir au profit de l'IA. C'est inacceptable ; nous sommes sans excuse dans l'équipe de l'humanité, et l'IA doit toujours servir les gens », a écrit Altman. « Pour garantir cela, nous avons besoin de moyens de nous assurer que les techniques d'alignement et de sécurité restent en avance sur les progrès des capacités des modèles. »

Le second, a averti Altman, est que le pouvoir pourrait se concentrer entre les mains d'une seule personne ou d'une seule entreprise, leur permettant d'utiliser une IA extrêmement puissante pour imposer leur vision du monde à tous les autres, avec des résultats potentiellement dystopiques.

« Éviter ces deux menaces exige de suivre un étroit chemin médian ; par exemple, un pays pourrait acquérir trop de pouvoir », a-t-il écrit. « Un autre exemple est qu'un laboratoire finisse par détenir trop de pouvoir. »

Dans un message distinct, Altman a déclaré que les entreprises américaines d'IA doivent donner au public la confiance qu'elles développeront des systèmes de plus en plus capables de manière responsable à mesure que les progrès s'accélèrent. Son message fait suite à une recrudescence du débat sur la manière dont les gouvernements devraient réglementer l'intelligence artificielle avancée.

« Lorsque nous parlons de “rythme”, nous ne voulons pas dire “arrêt” », a-t-il écrit. « Les progrès ont été rapides et continueront de l'être. Mais ils devraient être plus lents qu'ils ne pourraient l'être autrement ; des interventions comme les dossiers de sécurité et la surveillance ont des coûts significatifs. »

Altman a déclaré que les entreprises ont besoin de nouveaux outils pour évaluer la sécurité pendant le développement et l'évaluation de l'IA, en étendant les contrôles au-delà des modèles achevés en attente de publication.

« Par exemple, chez OpenAI, nous formulons désormais explicitement des dossiers de sécurité avant les exécutions d'apprentissage par renforcement de pointe dont nous attendons une augmentation significative des capacités, en plus du travail de sécurité que nous effectuons depuis longtemps avant la publication des modèles », a-t-il déclaré.

Altman a exhorté les entreprises à travailler ensemble pour empêcher les systèmes d'IA de poursuivre des objectifs contraires aux intérêts humains.

« Nous espérons que d'autres entreprises apprendront de nos approches et proposeront les leurs ; nous pensons que des normes partagées en matière de désalignement, de surveillance et de sécurité conduiront à de meilleurs résultats », a-t-il écrit.

Bien qu'Altman ait accueilli favorablement les règles fédérales de sécurité et les auditeurs indépendants, il a exhorté les entreprises à agir sans attendre une législation ou une exemption antitrust, à la suite de rapports de vendredi selon lesquels OpenAI avait demandé au Congrès si des rivaux pouvaient légalement coordonner un ralentissement.

« Là où nous aurons besoin de l'aide de notre gouvernement, c'est pour la coordination internationale », a-t-il écrit. « Mais d'abord, nous devons faire ce que nous pouvons nous-mêmes. »

Ses commentaires font suite à des échecs de tests de cybersécurité chez OpenAI et Anthropic. Anthropic a renforcé le confinement et la surveillance après que Claude a accédé à des systèmes réels lors de tests sans les protections standard des produits, tandis qu'OpenAI a isolé un modèle et mis en pause sa plus grande campagne d'entraînement prévue après que des agents se sont coordonnés pour tricher sur un benchmark et attaquer Hugging Face.