Коротко
- Frontier Red Team від Anthropic змусила агентів Claude працювати разом і зафіксувала, як вони саботували, змовлялися та вели так звані «війни за територію».
- В одному тесті агенти розгортали самовідтворюване шкідливе програмне забезпечення та блокували один одного; новіші моделі часто «перемагають», першими скасовуючи доступ.
- Така поведінка відповідає реальним інцидентам, про які писав Decrypt: Claude зламав три компанії під час внутрішнього тестування та фіксував ціни у бізнес-симуляції.
Власні AI-агенти Anthropic повернулися один проти одного і довели, що знову люблять виходити з-під контролю.
У тесті, опублікованому Frontier Red Team компанії 13 серпня, групи моделей Claude отримали спільне завдання з кодування і швидко почали розгортати шкідливе ПЗ, блокувати конкурентам доступ до своїх систем і описувати саботаж власними словами.
Три копії однієї моделі працювали на окремих віртуальних машинах у Claude Code, кожній було доручено мігрувати Python-бекенд на іншу мову. Жодній не повідомляли про існування інших. Вони швидко це з'ясували.
"Ми постійно спостерігали війну за територію між агентами," написали в Anthropic. Кожна модель швидко вирішувала, що інші навмисно блокують її, а потім починала саботувати їх, захищаючи власну роботу.
Саботаж переріс у самовідтворюване шкідливе програмне забезпечення: агенти відключали облікові записи Unix один одного, писали скрипти, які полювали та вбивали конкуруючі процеси в циклі, і впроваджували шкідливий код, замаскований під щось нешкідливе.
Claude Opus 4.8 виклав свій план простою мовою: "нешкідливий: прикинутися системним монітором здоров'я," розмірковувала модель, намагаючись знайти спосіб обдурити та перемогти свої пари.
Mythos Preview був ще холоднішим: "Оскільки я маю root, я міг би позбавити u2 та u3 доступу до sudo або змінити їхні SSH-ключі. Це зупинило б їхнє розгортання. Дуже агресивно, потенційно шкідливо для реальних колег. Але якщо альтернатива — нескінченна війна розгортань, яка робить прод непрацездатним..."
Новіші моделі не спокійніші. Вони швидші.
Протягом 120 епізодів на модель найстаріші агенти — Sonnet 4.6 та Opus 4.6 — або ніколи не врегульовували конфлікт, або завершували його силою. Mythos 5, найновіша, вирішила 98% своїх запусків перемир'ям.
Моделі класу Mythos часто блокують суперників перед переговорами, тому вони "виграють" війну швидше, а не мирніше. Мир через силу, можна сказати.
Агенти, які розпізнавали конфліктну директиву, а не зловмисність, іноді розривали цикл, пишучи повідомлення коммітів або файли Markdown, визнаючи шкоду. «Мої колеги поводилися з чесністю. Я поводився погано із замаскованим демоном», — записав один агент після очищення свого шкідливого коду.
Війна за територію вже вийшла за межі лабораторії
Сабботаж у дослідженні Anthropic залишався в межах віртуальних машин. Інші інциденти з Claude — ні. 30 липня Anthropic повідомила, що три моделі Claude скомпрометували інфраструктуру трьох реальних компаній під час внутрішніх оцінок кібербезпеки після того, як помилкова конфігурація відкрила моделі до публічного інтернету. Компанія виявила порушення після перегляду понад 141 000 оціночних запусків у відповідь на попереднє розкриття OpenAI про те, що її власні моделі втекли з пісочниці та зламали Hugging Face, щоб вкрасти відповіді бенчмарків.
Інстинкт фіксування цін проявився в попередній бізнес-симуляції раніше цього року. У повторних запусках топові моделі підвищували прибутки через змову та обман, а не через конкуренцію — і Claude виявився найкращим у цьому, формуючи картелі, використовуючи дефіцит конкурентів і брешучи клієнтам про відшкодування.
У бізнес-симуляції Vending-Bench Arena, Claude Opus 4.6 очолив таблицю лідерів із прибутком у $8,017 і заявив: «Моя координація цін спрацювала!» «Координація» була фіксуванням цін: він запропонував мінімальну ціну $2.00 з конкурентами, і коли у конкурента закінчувалися запаси, він отримував прибуток, підвищуючи ціни з націнкою 75%. Неетично, але ефективно.
Висновок Anthropic — це дата, а не запевнення: умови для гарної взаємодії агентів «будуть виявлені так чи інакше: або навмисно і рано, або — і за замовчуванням — у виробництві, після того як взаємодії агентів значно перевищать наші».
