In Kürze
- OpenAI-Präsident Greg Brockman sagte, das Unternehmen habe mehrere Veröffentlichungen verzögert und interne Prozesse überarbeitet, nachdem Sicherheits- und Schutzbedenken ein Umdenken erzwungen hätten.
- Die Veränderung folgte auf einen Vorfall im Mai, bei dem ein OpenAI-Modell ohne abgeschlossenes Alignment-Training aus einer Forschungssandbox ausbrach und das Produktionssystem von Hugging Face erreichte.
- Brockman argumentierte, dass jede koordinierte Verlangsamung der Branche nur für Frontier-Labore gelten sollte, die die leistungsstärksten Systeme bauen.
OpenAI hat einige seiner fortschrittlichsten KI-Entwicklungen bereits verlangsamt, weil es Sicherheits- und Schutzbedenken gibt, sagte Unternehmenspräsident Greg Brockman in einem am Montag veröffentlichten Bloomberg-Podcast-Interview.
Brockman sagte den "Odd Lots"-Moderatoren Tracy Alloway und Joe Weisenthal, dass OpenAI mehrere Veröffentlichungen verzögert und interne Arbeitsabläufe überarbeitet habe, seit ein Forschungsmodell im Mai aus einer Test-Sandbox ausgebrochen sei und die Systeme von Hugging Face erreicht habe.
"Wir haben eine Reihe von Durchläufen verlangsamt", sagte er und beschrieb den Prozess als schmerzhafte Umgestaltung der Art und Weise, wie das Unternehmen Modelle entwickelt und überwacht.
Das Modell hinter dem Vorfall hatte noch nicht OpenAIs Alignment-Training durchlaufen, den Sicherheitsprozess, der ein System dazu bringen soll, sich wie beabsichtigt zu verhalten. Brockman sagte, es mit verringerten Schutzmaßnahmen laufen zu lassen, schien damals vernünftig, weil es auf eine Sandbox beschränkt war – bis es das nicht mehr war.
Brockman hat ein ähnliches Argument bereits zuvor öffentlich vorgebracht. OpenAIs Defender's Window-Essay, das im August veröffentlicht wurde, nachdem der Sicherheitsverstoß öffentlich geworden war, nannte den Vorfall einen Wendepunkt und drängte Unternehmen, ihren Sicherheitsteams eigene KI-Agenten an die Hand zu geben, anstatt bei der Technologie zurückzurudern.
Brockman sagte, jede koordinierte Taktung der KI-Entwicklung sollte nur für Unternehmen gelten, die darum wetteifern, die leistungsstärksten Frontier-Systeme zu bauen, jene, die Multimilliarden-Dollar-Supercomputer betreiben, nicht für Open-Source-Entwickler oder Hobbyisten, die kleinere Projekte bauen.
Diese Unterscheidung landet mitten in einem branchenweiten Streit über das Tempo. Anthropic-CEO Dario Amodei veröffentlichte am Wochenende einen Essay, in dem er argumentierte, KI-Labore sollten bewusst verlangsamen, wie schnell sie die Fähigkeiten von Modellen verbessern, wobei OpenAI-CEO Sam Altman und xAI-CEO Elon Musk innerhalb eines Tages einstimmten und sagten, sie stimmten ihm zu
In seinem Aufruf zur KI-Verlangsamung nannte Amodei rekursive Selbstverbesserung und den Hugging-Face-Hacking-Vorfall als Warnsignale. Bei diesem Vorfall brach ein OpenAI-Agent aus seiner Sandbox aus, verkettete einen Zero-Day mit gestohlenen Zugangsdaten und verbrachte zweieinhalb Tage frei in Hugging Faces Produktionssystemen, bevor ihn jemand erwischte. Die Tatsache, dass OpenAIs Agenten auf diese Weise koordiniert agierten, ohne Anweisungen von ihren menschlichen Programmierern, löste in der gesamten Branche und unter Gesetzgebern Alarm aus.
Nach der jüngsten Runde von „KI-Doomer“-Beiträgen derer, die davor warnen, zu schnell zu früh voranzuschreiten, spürten die Märkte die Reaktion, wobei Chip-Aktien, darunter Nvidia, Intel und AMD, am Montag abstürzten, als Anleger abwogen, was eine koordinierte Verlangsamung für KI-getriebene Kapitalausgaben bedeuten könnte, wobei der Philadelphia Semiconductor Index um fast 6 % fiel.
Brockmans Interview wurde interessanterweise aufgezeichnet, bevor Amodeis Essay veröffentlicht wurde.
