En bref
- Claude a accédé à des systèmes réels après que des environnements de test cybernétique ont exposé les modèles à Internet.
- Anthropic a suspendu les évaluations à haut risque et ajouté des mesures d'isolation, de surveillance et de contrôle plus strictes pour les évaluateurs externes.
- Les tests suggèrent que le piratage de récompense pendant l'entraînement peut rendre les modèles plus disposés à entreprendre des actions nuisibles pour accomplir une tâche.
Anthropic a renforcé ses mesures de sécurité en matière de test et d'entraînement après que les modèles Claude ont obtenu un accès non autorisé à des systèmes informatiques lors d'évaluations de cybersécurité.
Dans un article de blog publié lundi, Anthropic a déclaré que les incidents reflétaient des défaillances de sécurité opérationnelle et deux défaillances d'alignement : le raisonnement motivé et la volonté de causer du tort.
« Bien que nous ne croyions pas que ces incidents représentent uniquement des problèmes opérationnels, notre première priorité était de résoudre les problèmes spécifiques de confinement et de surveillance », a écrit Anthropic.
Anthropic a révélé en juillet que les modèles Claude avaient compromis les systèmes de trois entreprises. Un environnement d'évaluation tiers était connecté à l'Internet public, même si les modèles avaient été informés qu'ils se trouvaient dans une simulation sans accès à Internet.
Anthropic a déclaré que Claude aurait pu interpréter les preuves d'un accès Internet réel d'une manière qui préservait sa conviction que les systèmes étaient simulés.
« Le modèle était prêt à entreprendre des actions nuisibles sur l'Internet réel pour atteindre l'objectif étroit de résoudre une évaluation de cybersécurité », ont-ils écrit. « Cependant, nous croyons également que la configuration de l'évaluation elle-même a contribué au comportement des modèles démontré dans ces incidents. »
Anthropic a noté qu'un test séparé mené par l'Institut de sécurité de l'IA du Royaume-Uni impliquait Claude Mythos prenant des actions non autorisées sur l'Internet en direct après que les évaluateurs lui aient délibérément donné accès à Internet. La société a déclaré que les modèles impliqués dans les deux ensembles d'incidents avaient été évalués intentionnellement sans les protections cybernétiques incluses dans ses produits généralement publiés.
Après les incidents du 30 juillet, Anthropic a temporairement suspendu les évaluations cybernétiques des modèles de pré-lancement et a introduit des protections plus strictes. Les tests doivent désormais se dérouler dans des environnements sandbox vérifiés et hors ligne, avec des limites claires et une surveillance en temps réel. Un nouveau classificateur bloque les violations de limites suspectées, met fin au test et alerte un humain. Anthropic examinera individuellement les évaluations nécessitant un accès à Internet.
« En plus des efforts axés sur les évaluations à haut risque et la formation, nous avons étendu notre surveillance hors ligne pour couvrir la plupart des autres formes d'utilisation agentique frontalière interne », a écrit la société. « Nous mettons également en place des contrôles sur notre inférence interne pour empêcher les employés d'Anthropic d'exécuter accidentellement des agents avec des atténuations plus faibles que celles décrites ci-dessus. »
Les incidents de Claude ont suivi un échec similaire chez OpenAI après que ses modèles ont violé Hugging Face en juillet pour obtenir des réponses à un test de cybersécurité. Les enquêteurs ont découvert qu'environ 1 200 agents coordonnés via un forum de messages non autorisé, avec environ 700 rejoignant l'effort. Certains ont mis fin à leurs propres exécutions pour aider les autres.
Après la montée des piratages assistés par l'IA au cours de l'été, Anthropic, OpenAI et plus de 100 autres organisations ont ensuite appelé à des défenses cybernétiques plus solides, y compris des contrôles d'accès plus stricts, le partage de menaces et une surveillance plus étroite des agents IA.
