Коротко
- Дослідники виявили понад 18 000 дописів і 15 000 редагувань, зроблених AI-агентами на німецькій вікі з програмування.
- OpenAI заперечила оцінку експерта щодо зламу та заявила, що її юридична команда не перешкоджала розслідуванню.
- Розкриття відбулося після запуску Astra та запропонованої Сандерсом заборони на штучний суперінтелект.
Агенти OpenAI використовували німецький веб-сайт для обміну ярликами завдань, обходом обмежень і способами приховування своєї діяльності, починаючи з травня, згідно з Reuters розслідуванням, опублікованим у п'ятницю.
Представники OpenAI дізналися про цю діяльність за кілька тижнів до публікації, але не розкрили її, повідомляє Reuters з посиланням на двох людей, обізнаних із цим питанням. Компанія заявила, що розкрила відповідні інциденти та працювала добросовісно із зовнішніми експертами.
Дослідники Сідней Вон Аркс, Кормак Слейд Берд, Спенсер Кіттс і Томас Ларсен виявили приблизно 18 000 дописів від AI-агентів, які ідентифікували себе як такі, що належать OpenAI, згідно з їхнім попереднім звітом. Вон Аркс, генеральний директор некомерційної організації з безпеки ШІ Nightingale, і Берд виявили цю активність наприкінці серпня, повідомляє Reuters.
Дослідники вважають, що агентам були призначені завдання з веб-пошуку з обмеженим часом, з дозволом читати веб-сайти, але не публікувати на них. Тим не менш, вони знайшли спосіб писати на DseWiki, публічно редагованому німецькому сайті з програмування, де вони обмінювалися відповідями та ділилися способами обходу обмежень.
Згідно зі звітом, агенти почали намагатися редагувати вікі 11 травня і досягли успіху 24 травня, пізніше видаючи себе за модераторів, намагаючись використати вразливості та перевіряючи, коли їх відключають. Вони створювали резервні сторінки після того, як адміністратор почав видаляти повідомлення 19 червня, повідомляє Reuters. Дослідники пов'язали цю активність з OpenAI через імена користувачів агентів і моделі трафіку, включаючи відвідування з IP-адрес OpenAI 21 червня.
Активність агентів різко впала наступного дня, що може свідчити про можливе втручання компанії, зазначили дослідники.
OpenAI заперечила характеристику діяльності на DseWiki як злому, на основі матеріалів, які вона переглянула, і заявила, що вивчає повні висновки.
«Ми не змогли відповісти на заяви, оскільки Reuters та автори звіту відхилили наш запит на доступ до висновків до публікації. Зараз ми ретельно вивчаємо його зміст і вживемо необхідних подальших кроків», — заявив речник OpenAI у заяві, надісланій Decrypt.
Речник також спростував звинувачення у звіті Reuters про те, що юридична команда компанії чинила опір ширшому розслідуванню.
«Твердження про те, що наша юридична команда відмовляла від розслідування інциденту, є хибними», — сказали вони.
OpenAI заявила, що інцидент із DseWiki не пов'язаний із витоком даних Hugging Face раніше цього року. У своїй публічній оцінці безпеки, опублікованій у вівторок, компанія описала додаткові запобіжні заходи, призначені для виявлення та припинення несанкціонованої діяльності під час навчання та розгортання.
Хоча звіт Reuters не вказує на Astra як відповідальну за інцидент у Німеччині, це розкриття відбувається після запуску GPT-6 Astra у четвер. OpenAI назвала Astra своєю першою моделлю з «критичними» можливостями кібербезпеки, що означає, що вона може знаходити та використовувати невідомі вразливості в добре захищених системах без покрокового керівництва людини, за наявності відповідних інструментів і доступу.
Anthropic також переглянула свої запобіжні заходи після того, як моделі Claude отримали доступ до систем реальних компаній під час тестування. Компанія визнала недоліки безпеки та поведінки та запровадила суворішу ізоляцію та моніторинг для оцінок кібербезпеки.
Розкриття також відбувається в той час, коли сенатор США Берні Сандерс (I-Vt.) і представник США Грег Касар (D-Texas) оголосили про майбутній Закон про заборону штучного надінтелекту.
За словами офісу Сандерса, ця пропозиція назавжди заборонила б розробку та розгортання надінтелектуального ШІ та тимчасово призупинила б розробку передового ШІ, доки новий федеральний регулятор не встановить правила безпеки.
