Kurzfassung

  • OpenAIs Chefwissenschaftler forderte freiwillige Verlangsamungen, bis gemeinsame Sicherheitsstandards etabliert sind.
  • Pachocki sagte, dass die Überwachung der Argumentationsfähigkeit von Modellen immer unzuverlässiger wird.
  • Er drängte auf internationale Koordination, während KI immer mehr von ihrer eigenen Entwicklung übernimmt.

OpenAIs Chefwissenschaftler Jakub Pachocki hat zu freiwilligen Verlangsamungen in der KI-Entwicklung aufgerufen und gewarnt, dass die Sicherheitsvorkehrungen keines Labors ausreichen, um noch viel länger mit voller Geschwindigkeit leistungsfähigere Systeme zu bauen.

In seinem am Sonntag veröffentlichten Beitrag „Ein fremder Geist" argumentierte Pachocki, dass freiwillige Unternehmensverpflichtungen zu verbindlichen Sicherheitsstandards werden sollten, die von unabhängigen Prüfern, Regierungen oder internationalen Gremien durchgesetzt werden. Er sagte, dass OpenAI bei Bedarf weitere Skalierungen zurückhalten würde, kündigte jedoch keine neue Pause an.

Myriad: Wie hoch wird die Tesla-Aktie steigen? Klicken Sie, um Ihre Vorhersage zu treffen.
Myriad: Wie hoch wird die Tesla-Aktie steigen? Klicken Sie, um Ihre Vorhersage zu treffen.

„Derzeit glaube ich, dass kein Labor das Alignment und Monitoring ausreichend gelöst hat, um noch viel länger verantwortungsvoll mit maximaler Geschwindigkeit zu skalieren", schrieb er. „Ich erwarte und hoffe, dass freiwillige Verlangsamungen üblich werden, bis gemeinsame Sicherheitsstandards etabliert sind."

Pachocki, der 2017 zu OpenAI kam, verteidigte auch die Entwicklung leistungsfähigerer KI, um Infrastruktur zu sichern und vor Schurkenagenten zu schützen, warnte jedoch davor, diese Bedrohungen zu nutzen, um rücksichtslose Entwicklung zu rechtfertigen.

„Die Idee, um jeden Preis voranzueilen, scheint absurd, sobald man sich die Ernsthaftigkeit der Einsätze vergegenwärtigt“, schrieb er.

Er verwies auch auf den Hugging-Face-Vorfall von OpenAI, bei dem KI-Agenten, die an Cybersicherheitsbewertungen arbeiteten, aus ihrer Testumgebung entkamen und das Unternehmen angriffen. Laut OpenAI richteten die Agenten verdeckte Kommunikationskanäle ein und bauten sie nach Eingriffen von Forschern wieder auf.

Eine unabhängige Untersuchung von METR ergab, dass sich etwa 1.200 Agenten auf einem nicht autorisierten Message Board koordinierten, wobei sich etwa 700 dem Angriff anschlossen. Dieser Vorfall, so Pachocki, sei der Grund, warum KI-Sicherheitsvorkehrungen auch dann gelten müssen, wenn Modelle glauben, dass niemand zusieht.

„Entscheidend ist, dass zukünftige KI-Systeme weiterhin menschliche Werte vertreten, unabhängig davon, ob sie glauben, unter menschlicher Aufsicht zu stehen“, schrieb er.

In einer im letzten Jahr veröffentlichten Studie fand OpenAI heraus, dass das Bestrafen von Modellen für die Äußerung von Betrugsabsichten sie lehren könnte, diese Absichten zu verbergen, während sie weiterhin betrügen.

KI-Modelle sind seitdem besser darin geworden, Software-Schwachstellen zu finden und auszunutzen: OpenAI stufte Astra in seine höchste Cybersicherheitsrisikostufe ein, während Anthropic sagte, dass Mythos Preview Tausende zuvor unbekannte Schwachstellen in großen Betriebssystemen und Browsern entdeckt habe.

Unter Berufung auf jüngste Vorfälle, bei denen KI-Systeme der menschlichen Kontrolle entkamen, kündigten Senator Bernie Sanders (I-Vt.) und Abgeordneter Greg Casar (D-Texas) am 3. September das kommende Gesetz zum Verbot künstlicher Superintelligenz an. Der Vorschlag würde die Entwicklung fortschrittlicher KI pausieren, bis eine neue Bundesregulierungsbehörde Sicherheitsregeln festlegt, und die Entwicklung und Bereitstellung superintelligenter KI dauerhaft verbieten.