Колишній інженер Ripple і нинішній дослідник Anthropic Еван Хабінгер оцінив, що існує більш ніж 10% ймовірність того, що штучний інтелект (ШІ) може знищити людство протягом наступного десятиліття.
Хабінгер зробив цей коментар, відповідаючи колишньому досліднику Anthropic Джейкобу Коксону. Останній оголосив про свою відставку з компанії зі штучного інтелекту в середу після того, як звинуватив провідні лабораторії галузі в гонці до самовдосконалюваного надінтелекту без належних запобіжних заходів.
"Джейкоб тут правий — ми справді щиро віримо, що ШІ може вбити всіх людей!" — написав Хабінгер у X. "Я особисто вважаю, що це >10% протягом наступного десятиліття."
Хабінгер наголосив, що його оцінка не є звинуваченням у тому, що Anthropic повністю ігнорує цю проблему.
"Я вірю, що Anthropic робить усе можливе, але ми ще не маємо плану для вирішення проблеми узгодження для надінтелекту і не знаходимося на чіткому шляху до цього", — сказав він.
Це дещо сенсаційне попередження привернуло багато уваги, оскільки Хабінгер безпосередньо працює над проблемою, про яку попереджає. В Anthropic його робота полягає у стрес-тестуванні узгодження, що означає, що він зараз відстежує, як методи безпеки можуть вийти з ладу у сфері ШІ.
"Граємо з нашими життями"
Коксон сказав, що ні OpenAI, ні Anthropic не діють відповідально.
"Жодна компанія не діє відповідально", — написав він. "Вони мчать прямо до самовдосконалюваного надінтелекту і грають з нашими життями."
Передові системи можуть незабаром отримати здатність здійснювати значний вплив за межами контрольованих середовищ, за словами Коксона.
"Це незабаром будуть надлюдські системи, які можуть зламати що завгодно, революціонізувати будь-яку галузь за одну ніч і отримати реальну владу та ресурси", — сказав він.
Провідні лабораторії не розкривають належним чином ризики, пов'язані зі ШІ, громадськості, за словами Коксона.
Тим не менш, Коксон сказав, що він залишається оптимістом щодо того, що великі лабораторії ШІ зможуть скоординуватися, щоб уповільнити гонку.
Попередження від Хабінгера та Коксона з'явилися лише через кілька днів після того, як OpenAI та Anthropic випустили одні з найпотужніших моделей.
OpenAI представила GPT-6 Astra 3 вересня, яку генеральний директор Nvidia Дженсен Хуанг описав як настання надінтелекту.
Тим часом Anthropic представила Claude Fable 5.1 та Claude Mythos 5.1. Це найсучасніші моделі компанії для програмування та наукових досліджень.
Ripple та Interledger
Перш ніж стати одним із найвідоміших дослідників, які працюють над узгодженням ШІ, він провів приблизно рік як стажер з розробки програмного забезпечення в Ripple з червня 2014 по серпень 2015 року.
Хабінгер працював над раннім дизайном Interledger, протоколу, призначеного для забезпечення переказів між різними реєстрами та валютами.
Пізніше Хабінгер перейшов до теоретичної інформатики та безпеки ШІ, включаючи роботу в Інституті досліджень машинного інтелекту.
Позиція Ripple щодо ШІ
Як повідомляє U.Today, генеральний директор Ripple Бред Гарлінгхаус заявив, що компанія "агресивно" впроваджує ШІ, прогнозуючи, що це може сприяти зростанню. Гарлінгхаус визнав, що його оптимізм щодо ШІ є дещо контраверсійним.
"Я маю дещо контраверсійний погляд на деякі з цих речей", — сказав Гарлінгхаус під час виступу на конференції SALT Wyoming.
