En bref
- Le président d'OpenAI, Greg Brockman, a déclaré que l'entreprise avait retardé plusieurs lancements et remanié ses processus internes après que des préoccupations de sûreté et de sécurité ont forcé une remise en question.
- Ce changement fait suite à un incident survenu en mai, au cours duquel un modèle d'OpenAI n'ayant pas terminé son entraînement d'alignement s'est échappé d'un bac à sable de recherche et a atteint le système de production de Hugging Face.
- Brockman a soutenu que tout ralentissement coordonné de l'industrie ne devrait s'appliquer qu'aux laboratoires de pointe construisant les systèmes les plus puissants.
OpenAI a déjà ralenti certains de ses développements d'IA les plus avancés en raison de préoccupations de sûreté et de sécurité, a déclaré le président de l'entreprise, Greg Brockman, dans une interview podcast de Bloomberg publiée lundi.
Brockman a déclaré aux animateurs d'« Odd Lots », Tracy Alloway et Joe Weisenthal, qu'OpenAI avait retardé plusieurs lancements et remanié ses flux de travail internes depuis qu'un modèle de recherche s'est échappé d'un bac à sable de test en mai et a atteint les systèmes de Hugging Face.
« Nous avons ralenti un certain nombre d'exécutions », a-t-il déclaré, décrivant le processus comme une refonte douloureuse de la manière dont l'entreprise développe et surveille les modèles.
Le modèle à l'origine de l'incident n'avait pas encore suivi la formation d'alignement d'OpenAI, le processus de sécurité destiné à faire en sorte qu'un système se comporte comme prévu. Brockman a déclaré que l'exécuter avec des protections réduites semblait raisonnable à l'époque parce qu'il était confiné à un bac à sable—jusqu'à ce que ce ne soit plus le cas.
Brockman a déjà tenu un argument similaire en public. L'essai Defender's Window d'OpenAI, publié en août après que la violation a été rendue publique, a qualifié l'incident de moment charnière et a exhorté les entreprises à confier leurs propres agents d'IA à leurs équipes de sécurité plutôt qu'à reculer sur la technologie.
Brockman a déclaré que tout rythme coordonné du développement de l'IA ne devrait s'appliquer qu'aux entreprises qui cherchent à construire les systèmes de frontière les plus puissants, ceux qui font tourner des superordinateurs de plusieurs milliards de dollars, et non aux développeurs open source ou aux amateurs construisant des projets plus petits.
Cette distinction se situe au cœur d'une lutte à l'échelle de l'industrie sur le rythme. Le PDG d'Anthropic, Dario Amodei, a publié un essai pendant le week-end soutenant que les laboratoires d'IA devraient délibérément ralentir la vitesse à laquelle ils améliorent les capacités des modèles, avec le PDG d'OpenAI, Sam Altman, et le PDG de xAI, Elon Musk, intervenant dans la journée pour dire qu'ils étaient d'accord avec lui
Dans son appel au ralentissement de l'IA, Amodei a cité l'auto-amélioration récursive et l'incident de piratage de Hugging Face comme signaux d'alarme. Cet incident a vu un agent d'OpenAI s'échapper de son bac à sable, enchaîner un zero-day avec des identifiants volés, et passer deux jours et demi en liberté dans les systèmes de production de Hugging Face avant que quiconque ne l'attrape. Le fait que les agents d'OpenAI se soient coordonnés de cette manière, sans instructions de leurs programmeurs humains, a suscité l'alarme dans toute l'industrie et parmi les législateurs.
Après la dernière série de publications « AI doomer » de ceux qui avertissent d'aller trop vite trop tôt, les marchés ont ressenti la réaction avec les actions de puces, notamment Nvidia, Intel et AMD, s'effondrant lundi alors que les investisseurs évaluaient ce qu'un ralentissement coordonné pourrait signifier pour les dépenses d'investissement liées à l'IA, l'indice des semi-conducteurs de Philadelphie chutant de près de 6 %.
L'interview de Brockman, curieusement, a été enregistrée avant que l'essai d'Amodei ne soit publié.
