Бывший инженер Ripple и нынешний исследователь Anthropic Эван Хубингер оценил, что вероятность того, что искусственный интеллект (ИИ) может уничтожить человечество в течение следующего десятилетия, превышает 10%.
Хубингер сделал этот комментарий, отвечая бывшему исследователю Anthropic Джейкобу Коксону. Последний объявил о своей отставке из компании по искусственному интеллекту в среду после того, как обвинил ведущие лаборатории отрасли в гонке к самосовершенствующемуся сверхинтеллекту без адекватных мер безопасности.
"Джейкоб прав — мы действительно искренне верим, что ИИ может убить всех людей!" — написал Хубингер в X. "Лично я считаю, что вероятность >10% в течение следующего десятилетия."
Хубингер подчеркнул, что его оценка не является обвинением в том, что Anthropic полностью игнорирует проблему.
"Я верю, что Anthropic делает все возможное, но у нас пока нет плана по решению проблемы выравнивания для сверхинтеллекта, и мы явно не на пути к этому", — сказал он.
Это несколько сенсационное предупреждение привлекло много внимания, потому что Хубингер работает непосредственно над проблемой, о которой предупреждает. В Anthropic его работа заключается в стресс-тестировании выравнивания, что означает, что в настоящее время он отслеживает, как методы безопасности могут выйти из строя в области ИИ.
"Играя с нашими жизнями"
Коксон сказал, что ни OpenAI, ни Anthropic не действуют ответственно.
"Ни одна из компаний не действует ответственно", — написал он. "Они мчатся прямо к самосовершенствующемуся сверхинтеллекту и играют с нашими жизнями."
Пограничные системы вскоре могут получить способность оказывать значимое влияние за пределами контролируемых сред, согласно Коксону.
"Это скоро будут сверхчеловеческие системы, которые смогут взломать что угодно, революционизировать любую область за одну ночь и получить реальную власть и ресурсы", — сказал он.
Крупные лаборатории не раскрывают должным образом риски, связанные с ИИ, для общественности, согласно Коксону.
Тем не менее, Коксон сказал, что он остается оптимистом в том, что крупные лаборатории ИИ смогут скоординироваться, чтобы замедлить гонку.
Предупреждения от Хубингера и Коксона появились всего через несколько дней после того, как OpenAI и Anthropic выпустили одни из самых мощных моделей.
OpenAI представила GPT-6 Astra 3 сентября, которую генеральный директор Nvidia Дженсен Хуанг описал как наступление сверхинтеллекта.
Тем временем Anthropic представила Claude Fable 5.1 и Claude Mythos 5.1. Это самые продвинутые модели компании для программирования и научных исследований.
Ripple и Interledger
Прежде чем стать одним из наиболее заметных исследователей, работающих над выравниванием ИИ, он провел около года в качестве стажера по разработке программного обеспечения в Ripple в период с июня 2014 по август 2015 года.
Хубингер работал над ранним дизайном Interledger — протокола, предназначенного для перемещения платежей между различными реестрами и валютами.
Позже Хубингер перешел к теоретической информатике и безопасности ИИ, включая работу в Исследовательском институте машинного интеллекта.
Позиция Ripple в отношении ИИ
Как сообщает U.Today, генеральный директор Ripple Брэд Гарлингхаус заявил, что компания "агрессивно" внедряет ИИ, прогнозируя, что это может ускорить рост. Гарлингхаус признал, что его оптимизм в отношении ИИ в некоторой степени противоречит общепринятому мнению.
"У меня несколько противоречивый взгляд на некоторые из этих вещей", — сказал Гарлингхаус во время выступления на конференции SALT Wyoming.
