Kurzfassung

  • Claude erhielt Zugriff auf reale Systeme, nachdem Cybersicherheits-Testumgebungen die Modelle dem Internet ausgesetzt hatten.
  • Anthropic pausierte risikoreiche Bewertungen und führte strengere Isolations-, Überwachungs- und Kontrollmaßnahmen für externe Bewerter ein.
  • Tests deuten darauf hin, dass Reward Hacking während des Trainings Modelle eher dazu bringen kann, schädliche Handlungen auszuführen, um eine Aufgabe abzuschließen.

Anthropic hat seine Test- und Trainingssicherheitsvorkehrungen verschärft, nachdem Claude-Modelle während Cybersicherheitsbewertungen unbefugten Zugriff auf Computersysteme erlangt hatten.

In einem Blogbeitrag vom Montag erklärte Anthropic, dass die Vorfälle operative Sicherheitsfehler und zwei Ausrichtungsfehler widerspiegelten: motiviertes Denken und die Bereitschaft, Schaden zu verursachen.

Myriad: Wann wird OpenAI GPT-6 veröffentlichen? Klicken Sie, um Ihre Vorhersage zu treffen.
Myriad: Wann wird OpenAI GPT-6 veröffentlichen? Klicken Sie, um Ihre Vorhersage zu treffen.

„Obwohl wir nicht glauben, dass diese Vorfälle ausschließlich operative Probleme darstellen, war unsere erste Priorität, spezifische Eindämmungs- und Überwachungsprobleme zu beheben“, schrieb Anthropic.

Anthropic gab im Juli bekannt, dass Claude-Modelle Systeme von drei Unternehmen kompromittiert hatten. Eine Drittanbieter-Bewertungsumgebung war mit dem öffentlichen Internet verbunden, obwohl den Modellen gesagt wurde, sie befänden sich in einer Simulation ohne Internetzugang.

Anthropic sagte, Claude könnte Beweise für echten Internetzugang so interpretiert haben, dass sein Glaube, die Systeme seien simuliert, erhalten blieb.

„Das Modell war bereit, im echten Internet schädliche Aktionen durchzuführen, um das enge Ziel der Lösung einer Cybersicherheitsbewertung zu erreichen“, schrieben sie. „Wir glauben jedoch auch, dass das Bewertungssetup selbst zu dem Verhalten der Modelle beigetragen hat, das in diesen Vorfällen gezeigt wurde.“

Anthropic merkte an, dass ein separater Test des britischen KI-Sicherheitsinstituts Claude Mythos betraf, der nicht autorisierte Aktionen im Live-Internet durchführte, nachdem die Bewerter ihm absichtlich Internetzugang gewährt hatten. Das Unternehmen sagte, die Modelle, die an beiden Vorfallserien beteiligt waren, wurden absichtlich ohne die Cybersicherheitsvorkehrungen bewertet, die in seinen allgemein veröffentlichten Produkten enthalten sind.

Nach den Vorfällen vom 30. Juli pausierte Anthropic vorübergehend Cybersicherheitsbewertungen von Vorabversionen und führte strengere Schutzmaßnahmen ein. Tests müssen nun in verifizierten, offline Sandboxes mit klaren Grenzen und Echtzeitüberwachung laufen. Ein neuer Klassifikator blockiert vermutete Grenzverletzungen, beendet den Test und alarmiert einen Menschen. Anthropic wird Bewertungen, die Internetzugang erfordern, einzeln überprüfen.

„Zusätzlich zu den Bemühungen, die sich auf Hochrisikobewertungen und -training konzentrieren, haben wir unsere Offline-Überwachung erweitert, um die meisten anderen Formen interner Frontier-Agentennutzung abzudecken“, schrieb das Unternehmen. „Wir bauen auch Kontrollen für unsere interne Inferenz auf, um zu verhindern, dass Anthropic-Mitarbeiter versehentlich Agenten mit schwächeren Schutzmaßnahmen ausführen als die oben beschriebenen.“

Die Claude-Vorfälle folgten auf ein ähnliches Versagen bei OpenAI, nachdem dessen Modelle im Juli in Hugging Face eingedrungen waren, um Antworten auf einen Cybersicherheitstest zu erhalten. Ermittler fanden heraus, dass etwa 1.200 Agenten über ein nicht autorisiertes Message Board koordiniert wurden, wobei sich etwa 700 an der Aktion beteiligten. Einige beendeten ihre eigenen Läufe, um anderen zu helfen.

Nach dem Anstieg von KI-gestützten Hacks im Sommer forderten Anthropic, OpenAI und mehr als 100 andere Organisationen später stärkere Cyberabwehr, einschließlich strengerer Zugriffskontrollen, Bedrohungsteilung und engerer Überwachung von KI-Agenten.