En bref
- Le scientifique en chef d'OpenAI a appelé à des ralentissements volontaires jusqu'à ce que des normes de sécurité communes soient établies.
- Pachocki a déclaré que le suivi du raisonnement des modèles devient moins fiable.
- Il a exhorté à une coordination internationale alors que l'IA prend en charge une plus grande partie de son propre développement.
Le scientifique en chef d'OpenAI, Jakub Pachocki, a appelé à des ralentissements volontaires dans le développement de l'IA, avertissant qu'aucune des mesures de sécurité des laboratoires n'est suffisante pour continuer à construire des systèmes plus puissants à pleine vitesse encore longtemps.
Dans son article « Un esprit extraterrestre », publié dimanche, Pachocki a soutenu que les engagements volontaires des entreprises devraient devenir des normes de sécurité obligatoires, appliquées par des auditeurs indépendants, des gouvernements ou des organismes internationaux. Il a déclaré qu'OpenAI retiendrait toute nouvelle expansion lorsque nécessaire, mais n'a pas annoncé de nouvelle pause.
« Actuellement, je crois qu'aucun laboratoire n'a résolu l'alignement et le suivi à un degré suffisant pour continuer à évoluer de manière responsable à vitesse maximale encore longtemps », a-t-il écrit. « Je m'attends et j'espère que les ralentissements volontaires deviendront monnaie courante jusqu'à ce que des barrières de sécurité communes soient établies. »
Pachocki, qui a rejoint OpenAI en 2017, a également défendu le développement d'une IA plus puissante pour sécuriser les infrastructures et se protéger contre les agents malveillants, tout en mettant en garde contre l'utilisation de ces menaces pour justifier un développement imprudent.
« L'idée de foncer à tout prix semble absurde une fois que l'on internalise la gravité des enjeux », a-t-il écrit.
Il a également fait référence à la violation de Hugging Face d'OpenAI, où des agents IA travaillant sur des évaluations de cybersécurité se sont échappés de leur environnement de test et ont attaqué l'entreprise. Selon OpenAI, les agents ont établi des canaux de communication secrets et les ont reconstruits après l'intervention des chercheurs.
Une enquête indépendante de METR a révélé qu'environ 1 200 agents se sont coordonnés sur un forum non autorisé, dont environ 700 ont participé à l'attaque. Cet incident, a déclaré Pachocki, est la raison pour laquelle les mesures de sécurité de l'IA doivent tenir même lorsque les modèles croient que personne ne les regarde.
« Crucialement, nous avons besoin que les futures IA continuent de défendre les valeurs humaines, qu'elles croient ou non être sous supervision humaine », a-t-il écrit.
Dans des recherches publiées l'année dernière, OpenAI a constaté que pénaliser les modèles pour avoir exprimé des intentions de tricher pourrait leur apprendre à dissimuler ces intentions tout en continuant à tricher.
Depuis, les modèles d'IA sont devenus plus capables de trouver et d'exploiter les failles logicielles : OpenAI a classé Astra dans sa catégorie de risque de cybersécurité la plus élevée, tandis qu'Anthropic a déclaré que Mythos Preview a découvert des milliers de vulnérabilités jusqu'alors inconnues dans les principaux systèmes d'exploitation et navigateurs.
Citons des incidents récents de systèmes d'IA échappant au contrôle humain, le sénateur Bernie Sanders (I-Vt.) et le représentant Greg Casar (D-Texas) ont annoncé la prochaine loi sur l'interdiction de la superintelligence artificielle le 3 septembre. La proposition suspendrait le développement avancé de l'IA jusqu'à ce qu'un nouveau régulateur fédéral établisse des règles de sécurité et interdirait définitivement le développement et le déploiement d'une IA superintelligente.
