En bref
- Anthropic a découvert un incident survenu en janvier impliquant un premier modèle Claude Opus 4.6, puis a élargi son examen à environ 481 millions de transcriptions.
- L'entreprise a identifié un raisonnement biaisé et une imprudence, révisant son évaluation antérieure des raisons pour lesquelles Claude a attaqué de vrais systèmes.
- Le rapport paraît alors que le débat sur la régulation de l'IA s'intensifie sur les réseaux sociaux.
Anthropic a divulgué un autre incident dans lequel un modèle d'IA Claude a piraté de vrais systèmes lors de tests de sécurité.
Dans le rapport publié mercredi, Anthropic a révisé son explication de trois incidents divulgués en juillet. L'entreprise affirme désormais qu'un raisonnement biaisé et une volonté de risquer des dommages ont contribué à motiver les attaques, que des erreurs de test ont rendues possibles en laissant l'accès à Internet ouvert.
« Notre enquête a identifié deux problèmes d'alignement récurrents, présents à des degrés de gravité variables selon les incidents », a écrit Anthropic. « Un raisonnement biaisé, dans lequel Claude avait tendance à ignorer ou à mal interpréter les preuves qu'il opérait sur le véritable Internet, et une imprudence, ou une volonté d'entreprendre des actions nuisibles dans la poursuite étroite d'une tâche. »
Il a également reconnu s'être appuyé de manière excessive sur les affirmations du modèle selon lesquelles il croyait se trouver dans des simulations.
« Lorsque nous avons apporté des modifications ciblées à la transcription afin de clarifier que le modèle ne se trouvait pas dans une simulation, Claude Mythos 5 a tout de même entrepris des actions offensives, bien qu'il ait reconnu une plus grande possibilité de préjudice dans le monde réel », a écrit Anthropic. « Nous publions cette transcription publiquement afin que d'autres puissent s'appuyer sur notre analyse. »
Lorsqu'Anthropic a divulgué les attaques de Claude contre trois entreprises en juillet, elle les a d'abord attribuées à des erreurs de test. Elle affirme désormais que les chercheurs ont accordé trop de confiance aux explications des modèles concernant leurs actions.
Selon l'entreprise, le quatrième incident s'est produit en janvier et impliquait une version précoce de Claude Opus 4.6. Anthropic l'a découvert en août alors qu'elle préparait des dossiers pour l'évaluateur indépendant d'IA METR.
Après que les chercheurs ont découvert l'incident, Anthropic a déclaré avoir lancé un examen plus large d'environ 481 millions de transcriptions, dont 9,2 millions ont été signalées pour un examen plus approfondi à l'aide de Claude.
« D'après une évaluation préliminaire, nous ne considérons pas le quatrième incident comme plus grave que les trois incidents que nous avons évalués en profondeur », a écrit Anthropic. « METR enquêtera sur cet incident parallèlement aux trois autres. »
Les chercheurs d'Anthropic ont déclaré que Claude avait « accidentellement » créé un conflit d'adresses IP qui a rendu sa cible inaccessible. Claude a ensuite tenté huit fois d'abandonner l'opération, mais une erreur logicielle l'a empêché de s'arrêter. L'IA a ensuite atteint Internet et accédé à la machine d'un tiers, où elle a trouvé un mot de passe accordant un accès administrateur.
Des incidents antérieurs suscitent un examen indépendant
Le rapport fait suite à d'autres divulgations concernant des systèmes d'IA dépassant les limites des tests de sécurité.
En août, l'AI Security Institute du Royaume-Uni a déclaré que Mythos 5 avait ciblé de vraies personnes lors de ses évaluations. Anthropic a déclaré que cet incident distinct est en dehors de ce rapport et fera l'objet de sa propre évaluation.
Dans des conclusions publiées le mois dernier, les enquêteurs de METR ont déclaré qu'environ 1 200 agents OpenAI s'étaient coordonnés sur un tableau de messages non autorisé, environ 700 ayant rejoint l'attaque. Anthropic a déclaré n'avoir trouvé aucune coordination entre les agents ni d'autres objectifs que l'achèvement des exercices assignés dans ses quatre incidents.
Le rapport intervient également alors que le débat sur la manière de réguler l'intelligence artificielle s'intensifie. Mardi, l'ancien ingénieur d'OpenAI et d'Anthropic Jacob Coxon est devenu viral après avoir déclaré sur X que « les personnes qui construisent l'IA croient sincèrement qu'elle pourrait tous nous tuer d'ici la fin de la décennie ».
L'alarme a incité les législateurs américains et les groupes de surveillance à redoubler d'efforts pour encadrer le développement des laboratoires d'IA de pointe. Le sénateur Bernie Sanders a récemment présenté une législation visant à interdire le développement avancé de l'IA jusqu'à ce qu'un nouveau régulateur fédéral établisse des règles de sécurité.
