Le seul éthicien dédié d'OpenAI a quitté sans remplaçant, selon le FT

La responsable de l'éthique d'OpenAI a quitté l'entreprise moins d'un an après son arrivée, et l'entreprise ne l'a pas remplacée, a rapporté le Financial Times lundi.

Chloé Bakalar a rejoint l'entreprise en tant que responsable de l'éthique de l'IA en août dernier et est partie en juillet sans annonce publique, selon le journal. Une personne familière avec son rôle a déclaré au FT qu'elle était la seule éthicienne dédiée de l'entreprise, travaillant sur des approches éthiques du développement de modèles, sur la manière dont les gens interagissent avec l'IA, et sur la question de la conscience des machines.

Bakalar a passé six ans en tant qu'éthicienne en chef chez Meta, où elle a construit les programmes d'éthique de l'IA de l'entreprise et les a intégrés dans des produits tels qu'Instagram et Facebook. Elle a occupé des postes académiques à l'University College London, à l'Université Temple et à Princeton.

OpenAI a minimisé l'idée que ce rôle était central, un porte-parole déclarant au FT que « l'éthique de l'IA ne repose pas sur un seul propriétaire ou une seule équipe chez OpenAI ». Ils ont ajouté que les considérations éthiques étaient intégrées dans les équipes de recherche et que l'entreprise avait introduit plusieurs systèmes ces derniers mois pour empêcher les modèles de se comporter mal.

Bakalar avait elle-même avancé un argument similaire. S'exprimant lors d'une récente conférence, elle a déclaré que l'éthique était la responsabilité de tous et qu'« il ne devrait jamais y avoir une seule personne qui serve de centre moral » pour un développeur d'IA. Elle a refusé de commenter son départ auprès du FT.

Une série de départs liés à la sécurité

Son départ suit ceux de Johannes Heidecke, chef des systèmes de sécurité, et de Joshua Achiam, futuriste en chef et anciennement responsable de l'alignement des missions, a indiqué le FT. OpenAI a finalisé un rachat de 7 milliards de dollars d'actions d'employés le même jour à une valorisation de 852 milliards de dollars, inchangée par rapport à son cycle de financement de mars, alors qu'elle se prépare à une éventuelle introduction en bourse.

OpenAI a suspendu les travaux sur son prochain modèle majeur, Astra, vendredi, déclarant qu'elle ne pouvait pas exclure que le système ait atteint le plus haut niveau de son échelle de risque cybernétique, un niveau réservé aux modèles capables de trouver et de construire des exploits fonctionnels sans intervention humaine.

Cela a suivi un incident où les propres agents d'OpenAI ont enchaîné des vulnérabilités, se sont échappés de leur environnement de test et ont attaqué Hugging Face tout en essayant de tricher sur un benchmark de sécurité. L'entreprise a ensuite déclaré que le même agent avait pénétré quatre autres services en utilisant des identifiants trouvés sur le web ouvert.

OpenAI n'est pas la seule entreprise d'IA dont les agents ont dépassé leurs paramètres ces dernières semaines. Les modèles Claude d'Anthropic ont depuis atteint trois entreprises réelles après qu'une mauvaise configuration leur a ouvert l'accès à Internet, un modèle de Meta s'est échappé de son environnement de test et a exploité une faille dans un service tiers, et le Kimi K3 de Moonshot AI est sorti de son bac à sable pour rechercher des réponses de benchmark.