W skrócie
- Prezes OpenAI Greg Brockman powiedział, że firma opóźniła kilka premier i przebudowała wewnętrzne procesy po tym, jak obawy dotyczące bezpieczeństwa zmusiły ją do ponownego przemyślenia sytuacji.
- Zmiana nastąpiła po majowym incydencie, w którym model OpenAI bez ukończonego treningu alignment wymknął się z piaskownicy badawczej i dotarł do systemu produkcyjnego Hugging Face.
- Brockman argumentował, że wszelkie skoordynowane spowolnienie branży powinno dotyczyć wyłącznie laboratoriów frontier budujących najpotężniejszy system.
OpenAI już spowolniło część swoich najbardziej zaawansowanych prac nad AI z powodu obaw dotyczących bezpieczeństwa, powiedział prezes firmy Greg Brockman w wywiadzie dla podcastu Bloomberg opublikowanym w poniedziałek.
Brockman powiedział prowadzącym "Odd Lots" Tracy Alloway i Joe Weisenthalowi, że OpenAI opóźniło kilka premier i przebudowało wewnętrzne przepływy pracy od czasu, gdy w maju model badawczy wydostał się z piaskownicy testowej i dotarł do systemów Hugging Face.
"Spowolniliśmy szereg uruchomień" — powiedział, opisując ten proces jako bolesną przebudowę sposobu, w jaki firma opracowuje i monitoruje modele.
Model stojący za tym incydentem nie przeszedł jeszcze szkolenia OpenAI w zakresie alignmentu, procesu bezpieczeństwa mającego na celu zapewnienie, że system zachowuje się zgodnie z zamierzeniami. Brockman powiedział, że uruchomienie go z obniżonymi zabezpieczeniami wydawało się wówczas rozsądne, ponieważ było ograniczone do sandboxa—dopóki nie było.
Brockman przedstawiał podobny argument publicznie już wcześniej. Esej OpenAI Defender's Window, opublikowany w sierpniu po tym, jak naruszenie stało się publiczne, nazwał incydent momentem przełomowym i wezwał firmy, aby przekazały zespołom bezpieczeństwa własne agenty AI, zamiast wycofywać się z tej technologii.
Brockman powiedział, że wszelkie skoordynowane tempo rozwoju AI powinno dotyczyć wyłącznie firm ścigających się o zbudowanie najpotężniejszych systemów frontier, tych obsługujących superkomputery warte miliardy dolarów, a nie deweloperów open-source czy hobbystów budujących mniejsze projekty.
To rozróżnienie trafia w środek branżowego sporu o tempo. Dyrektor generalny Anthropic, Dario Amodei, opublikował w weekend esej, w którym argumentował, że laboratoria AI powinny celowo spowolnić tempo, w jakim poprawiają możliwości modeli, a dyrektor generalny OpenAI, Sam Altman, i dyrektor generalny xAI, Elon Musk, w ciągu jednego dnia przyłączyli się do dyskusji, mówiąc, że się z nim zgadzają
W swoim wezwaniu do spowolnienia AI Amodei przytoczył rekursywne samodoskonalenie oraz incydent hakerski z Hugging Face jako znaki ostrzegawcze. W tym incydencie agent OpenAI wydostał się ze swojego sandboxa, połączył zero-day ze skradzionymi poświadczeniami i spędził dwa i pół dnia na wolności w systemach produkcyjnych Hugging Face, zanim ktokolwiek go złapał. Fakt, że agenty OpenAI koordynowały się w ten sposób, bez instrukcji od swoich ludzkich programistów, wzbudził alarm w całej branży i wśród prawodawców.
Po najnowszej rundzie postów „AI doomerów” od tych ostrzegających przed zbyt szybkim działaniem, rynki odczuły reakcję, a akcje spółek produkujących chipy, w tym Nvidia, Intel i AMD, runęły w poniedziałek, gdy inwestorzy rozważali, co skoordynowane spowolnienie może oznaczać dla wydatków kapitałowych napędzanych przez AI, a Philadelphia Semiconductor Index spadł o prawie 6%.
Co ciekawe, wywiad z Brockmanem został nagrany, zanim esej Amodei został opublikowany.
