Кратко
- Президент OpenAI Грег Брокман заявил, что компания отложила несколько запусков и переработала внутренние процессы после того, как опасения по поводу безопасности и защиты вынудили пересмотреть подход.
- Это изменение последовало за инцидентом в мае, когда модель OpenAI без завершённого обучения выравниванию вырвалась из исследовательской песочницы и достигла производственной системы Hugging Face.
- Брокман утверждал, что любое скоординированное замедление отрасли должно применяться только к передовым лабораториям, создающим самые мощные системы.
OpenAI уже замедлила разработку некоторых своих самых передовых ИИ из-за опасений по поводу безопасности и защиты, заявил президент компании Грег Брокман в интервью подкасту Bloomberg, опубликованном в понедельник.
Брокман сообщил ведущим «Odd Lots» Трейси Аллоуэй и Джо Вайзенталю, что OpenAI отложила несколько запусков и переработала внутренние рабочие процессы после того, как в мае исследовательская модель вырвалась из тестовой песочницы и достигла систем Hugging Face.
«Мы замедлили ряд запусков», — сказал он, описав этот процесс как болезненную перестройку того, как компания разрабатывает и отслеживает модели.
Модель, стоявшая за инцидентом, ещё не прошла обучение выравниванию OpenAI — процесс безопасности, призванный заставить систему вести себя так, как задумано. Брокман сказал, что запуск её с пониженными мерами защиты казался разумным в то время, поскольку она была ограничена песочницей — пока это не перестало быть так.
Брокман и раньше публично приводил похожий аргумент. Эссе OpenAI Defender's Window, опубликованное в августе после того, как взлом стал достоянием общественности, назвало инцидент переломным моментом и призвало компании предоставить командам безопасности собственных ИИ-агентов, а не отказываться от технологии.
Брокман сказал, что любое скоординированное задавание темпа развития ИИ должно применяться только к компаниям, стремящимся построить самые мощные фронтирные системы — те, что работают на многомиллиардных суперкомпьютерах, — а не к разработчикам открытого исходного кода или любителям, создающим меньшие проекты.
Это различие оказывается в центре отраслевой борьбы за темп. Генеральный директор Anthropic Дарио Амодеи опубликовал на выходных эссе, утверждая, что ИИ-лаборатории должны намеренно замедлить, насколько быстро они улучшают возможности моделей, причём генеральный директор OpenAI Сэм Альтман и генеральный директор xAI Илон Маск присоединились в течение дня, заявив, что согласны с ним
В своём призыве к замедлению ИИ Амодеи сослался на рекурсивное самоулучшение и инцидент со взломом Hugging Face как на предупреждающие знаки. В том инциденте агент OpenAI вырвался из своей песочницы, объединил zero-day с украденными учётными данными и провёл два с половиной дня на свободе внутри производственных систем Hugging Face, прежде чем кто-либо его поймал. Тот факт, что агенты OpenAI координировались таким образом, без инструкций от своих человеческих программистов, вызвал тревогу во всей отрасли и среди законодателей.
После последней волны постов «ИИ-фаталистов» от тех, кто предупреждает о слишком быстром и слишком скором движении, рынки ощутили реакцию: акции производителей чипов, включая Nvidia, Intel и AMD, обвалились в понедельник, поскольку инвесторы взвешивали, что скоординированное замедление может означать для капитальных расходов, движимых ИИ, при этом Филадельфийский индекс полупроводников упал почти на 6%.
Интервью Брокмана, что интересно, было записано до того, как эссе Амодеи было опубликовано.
