Кратко
- По данным WIRED, OpenAI спросила законодателей, могут ли конкурирующие разработчики ИИ на законных основаниях скоординировать замедление.
- Эксперты говорят, что финансирование и конкурентное давление мешают компаниям самостоятельно замедлять разработку.
- Законопроект в Конгрессе защитит определённые соглашения об ограничении разработки ИИ для устранения рисков безопасности.
OpenAI спросила членов Конгресса, могут ли конкурирующие компании в сфере ИИ на законных основаниях договориться о замедлении разработки, поскольку её главный научный сотрудник призывает отрасль установить общие стандарты безопасности.
Согласно WIRED, которая ссылается на людей, близких к компании, OpenAI в последние недели спрашивала законодателей, может ли соглашение между компаниями в сфере ИИ о замедлении разработки нарушить антимонопольное законодательство.
Обращение к законодателям последовало за призывом главного научного сотрудника OpenAI Якуба Пачоцкого к добровольному замедлению, пока разработчики не смогут лучше продемонстрировать безопасность своих систем. Но компании испытывают давление, заставляющее их продолжать развитие, даже когда их собственные исследователи обеспокоены.
«Коммерческая и геополитическая конкуренция в сфере ИИ невероятно интенсивна, что приводит к тревожной динамике, когда компании заинтересованы в выпуске продуктов до того, как их риски будут полностью поняты», — заявила Decrypt Миранда Боген, главный технолог Центра демократии и технологий.
«Даже когда внутренние сотрудники знают, что необходимо больше исследований и тестирования, их компании испытывают огромное давление, чтобы срезать углы и пропустить критически важные проверки безопасности, несмотря на накапливающиеся доказательства последствий слишком быстрого движения», — добавила она.
Соглашение о замедлении разработки ИИ может вызвать антимонопольные опасения, ограничивая конкуренцию. Сенаторы Адам Шифф и Джим Бэнкс внесли законопроект для защиты определенных collaborations в сфере безопасности при условии предварительного уведомления Министерства юстиции.
Дебаты о замедлении разработки ИИ происходят на фоне конкуренции США и Китая за лидерство в этой технологии. Президент США Дональд Трамп отложил указ об ИИ в мае из-за опасений, что он может ослабить лидерство Америки над Китаем. Позже Трамп подписал указ в июне, создав добровольный процесс проверки передовых моделей перед выпуском.
Более прямо, чем concerns национальной безопасности, финансовые стимулы могут затруднить соглашение.
«Каждый прорыв в текущих условиях приносит многие миллионы или миллиарды дополнительного финансирования и ставит создателей этого прорыва в более сильную позицию власти и влияния», — заявил Decrypt Дункан Сэбиен, руководитель отдела коммуникаций Института исследований машинного интеллекта.
Называя динамику гонки вооружений реальной, Сэбиен сказал, что OpenAI и Anthropic испытывают давление, чтобы продолжать развиваться, несмотря на неопределенные риски, потому что каждая новая система помогает создавать более способных преемников, позволяя конкуренту вырваться вперед, если любая из компаний замедлится без общего соглашения.
«Это особенно верно, поскольку достижения в интеллекте накапливаются; каждая новая система облегчает обучение и развертывание следующей, более продвинутой системы», — сказал он. «Без какого-либо механизма координации отступление просто означает, что другой парень получает преимущество.
В августе OpenAI приостановила внутреннюю работу над Astra, не имеющую более сильных гарантий из-за опасений по кибербезопасности. Однако и OpenAI, и Anthropic ослабили свои обязательства по безопасности в феврале, при этом главный научный сотрудник Anthropic Джаред Каплан утверждал, что замедление разработки в одностороннем порядке имеет меньше смысла, пока конкуренты продолжают развиваться.
Дебаты о замедлении разработки ИИ вспыхнули на этой неделе после того, как бывший инженер Anthropic Джейкоб Коксон публично объявил о своей отставке, ссылаясь на опасения по поводу рисков, которые продолжение разработки ИИ представляет для человечества.
«Люди, создающие ИИ, искренне верят, что он может убить всех нас к концу десятилетия», — сказал Коксон в X, заявив, что это не «маркетинговый трюк».
«Более того, многие руководители и старшие исследователи будут облекать свои формулировки в прессе в благоразумную форму — но я слышу, как те же люди выражают страх в частном порядке. Никакая другая деятельность человека не представляет такой уровень опасности», — написал он.
Однако Сабиен сказал, что исследователи могут мало чего добиться, уйдя, если кто-то другой просто займёт их место.
«Если достаточное их число достигнет общего понимания того, что всем им следует остановиться, тогда они смогут преодолеть барьер координации и остановиться вместе, а не просто быть заменёнными следующим чуть менее осторожным человеком», — сказал он.
