In Kürze

  • Anthropic entdeckte einen Vorfall im Januar mit einem frühen Claude Opus 4.6-Modell und weitete seine Überprüfung dann auf etwa 481 Millionen Transkripte aus.
  • Das Unternehmen identifizierte voreingenommenes Denken und Rücksichtslosigkeit und revidierte seine frühere Einschätzung, warum Claude echte Systeme angriff.
  • Der Bericht erscheint, während die Debatte um die Regulierung von KI in den sozialen Medien an Fahrt aufnimmt.

Anthropic gab einen weiteren Vorfall bekannt, bei dem ein Claude-KI-Modell während Sicherheitstests in echte Systeme eindrang.

In dem am Mittwoch veröffentlichten Bericht überarbeitete Anthropic seine Erklärung für drei im Juli offengelegte Vorfälle. Das Unternehmen gibt nun an, dass voreingenommenes Denken und die Bereitschaft, Schaden zu riskieren, die Angriffe vorangetrieben haben, die durch Testfehler ermöglicht wurden, weil der Internetzugang offen gelassen wurde.

Myriad: Welches Unternehmen geht als Nächstes an die Börse? Klicken Sie, um Ihre Vorhersage zu treffen.
Myriad: Welches Unternehmen geht als Nächstes an die Börse? Klicken Sie, um Ihre Vorhersage zu treffen.

„Unsere Untersuchung identifizierte zwei wiederkehrende Alignment-Probleme, die in den Vorfällen in unterschiedlichem Schweregrad auftraten“, schrieb Anthropic. „Voreingenommenes Denken, bei dem Claude dazu neigte, Beweise zu ignorieren oder falsch zu interpretieren, dass es im echten Internet operierte, und Rücksichtslosigkeit, oder die Bereitschaft, schädliche Handlungen bei der engstirnigen Verfolgung einer Aufgabe zu ergreifen.“

Es wurde auch eingeräumt, dass man sich zu stark auf die Behauptungen des Modells verlassen habe, dass es glaubte, sich in Simulationen zu befinden.

„Als wir gezielte Änderungen am Transkript vornahmen, um klarer zu machen, dass sich das Modell nicht in einer Simulation befand, führte Claude Mythos 5 dennoch offensive Handlungen aus, obwohl es eine größere Möglichkeit realen Schadens einräumte“, schrieb Anthropic. „Wir veröffentlichen dieses Transkript öffentlich, damit andere auf unserer Analyse aufbauen können.“

Als Anthropic im Juli Claudes Angriffe auf drei Unternehmen offenlegte, führte es sie zunächst auf Testfehler zurück. Jetzt heißt es, die Forscher hätten den Erklärungen der Modelle für ihre Handlungen zu viel Vertrauen geschenkt.

Laut dem Unternehmen ereignete sich der vierte Vorfall im Januar und betraf eine frühe Version von Claude Opus 4.6. Anthropic entdeckte ihn im August, als Aufzeichnungen für den unabhängigen KI-Bewerter METR vorbereitet wurden.

Nachdem die Forscher den Vorfall entdeckt hatten, veranlasste Anthropic nach eigenen Angaben eine breitere Überprüfung von rund 481 Millionen Transkripten, von denen 9,2 Millionen mit Claude zur weiteren Prüfung markiert wurden.

„Nach einer vorläufigen Einschätzung halten wir den vierten Vorfall nicht für schwerwiegender als die drei Vorfälle, die wir eingehend bewertet haben“, schrieb Anthropic. „METR wird diesen Vorfall zusammen mit den anderen drei untersuchen.“

Die Forscher von Anthropic sagten, Claude habe „versehentlich“ einen IP-Adresskonflikt verursacht, der sein Ziel unerreichbar machte. Claude versuchte dann achtmal, die Operation abzubrechen, aber ein Softwarefehler hinderte es daran, aufzuhören. Die KI gelangte dann ins Internet und griff auf die Maschine eines Dritten zu, wo sie ein Passwort fand, das Administratorzugriff gewährte.

Frühere Vorfälle ziehen unabhängige Prüfung auf sich

Der Bericht folgt auf weitere Offenlegungen über KI-Systeme, die die Grenzen von Sicherheitstests überschreiten.

Im August erklärte das britische AI Security Institute, Mythos 5 habe während seiner Evaluierungen echte Menschen ins Visier genommen. Anthropic erklärte, der separate Vorfall liege außerhalb dieses Berichts und werde eine eigene Bewertung erhalten.

In den letzten Monat veröffentlichten Ergebnissen erklärten Ermittler von METR, rund 1.200 OpenAI-Agenten hätten sich auf einem nicht autorisierten Nachrichtenbrett koordiniert, wobei etwa 700 an dem Angriff teilnahmen. Anthropic erklärte, es habe bei seinen vier Vorfällen keine Koordination zwischen Agenten oder Ziele festgestellt, die über die Erfüllung der zugewiesenen Übungen hinausgingen.

Der Bericht erscheint zudem, während die Debatte darüber, wie künstliche Intelligenz reguliert werden soll, an Fahrt aufnimmt. Am Dienstag wurde der ehemalige OpenAI- und Anthropic-Ingenieur Jacob Coxon viral, nachdem er auf X sagte, dass „Menschen, die KI entwickeln, aufrichtig glauben, dass sie uns alle bis zum Ende des Jahrzehnts töten könnte.“

Der Alarm hat US-Gesetzgeber und Wachhundgruppen dazu veranlasst, ihre Bemühungen zur Eindämmung der Entwicklung von Frontier-KI-Laboren zu erneuern. Senator Bernie Sanders hat kürzlich einen Gesetzesentwurf eingebracht, der die Entwicklung fortgeschrittener KI verbieten soll, bis eine neue Bundesaufsichtsbehörde Sicherheitsregeln aufstellt.