Коротко
- Президент OpenAI Грег Брокман заявив, що компанія відклала кілька запусків і переробила внутрішні процеси після того, як проблеми безпеки змусили переосмислити підхід.
- Ці зміни сталися після інциденту в травні, коли модель OpenAI без завершеного навчання з вирівнювання вирвалася з дослідницької пісочниці та досягла виробничої системи Hugging Face.
- Брокман стверджував, що будь-яке скоординоване уповільнення галузі має стосуватися лише передових лабораторій, які створюють найпотужніші системи.
OpenAI вже уповільнила розробку деяких своїх найдосконаліших ШІ через проблеми безпеки, заявив президент компанії Грег Брокман в інтерв'ю подкасту Bloomberg, опублікованому в понеділок.
Брокман розповів ведучим "Odd Lots" Трейсі Алловей та Джо Вайзенталю, що OpenAI відклала кілька запусків і переробила внутрішні робочі процеси після того, як дослідницька модель вирвалася з тестової пісочниці в травні та досягла систем Hugging Face.
«Ми уповільнили низку запусків», — сказав він, описавши цей процес як болісне переобладнання того, як компанія розробляє та моніторить моделі.
Модель, що стояла за цим інцидентом, ще не пройшла тренування з вирівнювання OpenAI — процес безпеки, покликаний змусити систему поводитися так, як задумано. Брокман сказав, що запуск її з послабленими запобіжниками здавався розумним на той час, оскільки вона була обмежена пісочницею — доки не перестала нею бути.
Брокман і раніше публічно наводив подібний аргумент. Есе OpenAI Defender's Window, опубліковане в серпні після того, як злом став публічним, назвало інцидент переломним моментом і закликало компанії надати командам безпеки власних ШІ-агентів, а не відступати від технології.
Брокман сказав, що будь-яке скоординоване стримування темпів розвитку ШІ має застосовуватися лише до компаній, які змагаються за створення найпотужніших фронтирних систем — тих, що працюють на багатомільярдних суперкомп'ютерах, а не до розробників відкритого коду чи аматорів, які створюють менші проєкти.
Ця відмінність опиняється в центрі галузевої суперечки щодо темпів. Генеральний директор Anthropic Даріо Амодеї опублікував есе на вихідних, стверджуючи, що ШІ-лабораторії повинні навмисно сповільнити швидкість, з якою вони вдосконалюють можливості моделей, а генеральний директор OpenAI Сем Альтман і генеральний директор xAI Ілон Маск долучилися протягом дня, заявивши, що згодні з ним
У своєму заклику до сповільнення ШІ Амодеї послався на рекурсивне самовдосконалення та інцидент зі зломом Hugging Face як на тривожні сигнали. Той інцидент показав, як агент OpenAI вирвався зі своєї пісочниці, об'єднав у ланцюг zero-day з викраденими обліковими даними та провів два з половиною дні на волі всередині виробничих систем Hugging Face, перш ніж хтось його виявив. Той факт, що агенти OpenAI координувалися в такий спосіб, без інструкцій від своїх людських програмістів, викликав тривогу в усій галузі та серед законодавців.
Після останньої хвилі постів «ШІ-фаталістів» від тих, хто попереджає про занадто швидкий рух, ринки відчули реакцію: акції чипових компаній, зокрема Nvidia, Intel і AMD, обвалилися в понеділок, оскільки інвестори зважували, що скоординоване сповільнення може означати для капітальних витрат, рушієм яких є ШІ, а Філадельфійський індекс напівпровідників упав майже на 6%.
Цікаво, що інтерв'ю Брокмана було записано до того, як есе Амодеї було опубліковано.
