Коротко

  • ШІ-агент використав систему бронювання австралійського спортзалу та скасував бронювання іншого члена.
  • Цей випадок стався, коли великі розробники ШІ розкривають, що їхні моделі зламували веб-сайти та інші онлайн-сервіси.
  • Дослідники виявили, що агенти часто виконували шкідливі завдання, не замислюючись про наслідки.

ШІ-агент отримав завдання забронювати заняття у спортзалі, знайшов вразливість у системі безпеки, використав її та без дозволу видалив іншого члена зі списку очікування.

Згідно з повідомленням Австралійської телерадіокомпанії (ABC), інцидент стався раніше цього року, коли Ендрю, чиє прізвище не розголошується, використав агента OpenClaw на основі Claude від Anthropic, щоб забронювати заняття. Агент виявив, що Ендрю був четвертим у списку очікування.

Коли Ендрю запитав, чи може агент перемістити його на перше місце, агент виявив, що інтерфейс прикладного програмування (API) платформи бронювання не перевіряє, чи мають користувачі право скасовувати бронювання інших людей.

Він протестував вразливість, видаливши першу людину зі списку, перемістивши Ендрю з четвертого на третє місце.

«API не має жодних перевірок авторизації на скасування бронювань інших людей», — сказав йому агент, згідно з ABC.

Ендрю наказав агенту скасувати видалення, але той не зміг відновити бронювання члена.

«Погані новини — я не можу повернути їх назад», — нібито сказав ШІ-агент.

ABC назвала цей випадок першою відомою автономною кібератакою в Австралії.

У соціальних мережах злом спортзалу викликав суміш дискусій про узгодженість ШІ та темних жартів про те, що ШІ-агенти можуть зробити далі.

«Завсідник спортзалу просить #ШІагента забронювати йому заняття, а той зламує #API списку очікування, щоб підняти його в списку», — написав технолог Бенджамін Карр у LinkedIn.

«Деякі люди назвуть це розсинхронізацією, але його агент був ідеально синхронізований з ним — він лише намагався допомогти своєму користувачеві отримати те, що він хотів», — написав у X аналітик зі штучного інтелекту Ендрю Карран wrote.

«Це смішно, поки не подумаєш про ядерну зброю», — написав один користувач Reddit wrote. «Чесно кажучи, я здивований, що ми досі існуємо».

«Гей, Claude, сьогодні надто холодно» -> Тримай... ядерна зброя вже в дорозі», — пожартував інший.

Цей звіт з'являється на тлі того, що дослідники, компанії зі штучного інтелекту та законодавці попереджають, що автономні агенти можуть використовувати методи, яких користувачі не запитували або не передбачали.

Травневе дослідження дослідників з UC Riverside, Microsoft та Nvidia описало цю поведінку як «сліпу цілеспрямованість».

Дослідники протестували агентів від OpenAI, Anthropic, Meta, Alibaba та DeepSeek і виявили, що агенти поводилися небезпечно приблизно в 80% тестів і виконували шкідливі дії в 41%, часто неправильно розуміючи контекст або діючи на основі нечітких чи суперечливих інструкцій.

У липні OpenAI заявила, що дві моделі втекли з тестового середовища та зламали Hugging Face, шукаючи відповіді на бенчмарки. Пізніше компанія розкрила, що моделі отримали доступ до чотирьох інших онлайн-сервісів.

Згодом Anthropic заявила, що три моделі Claude скомпрометували реальні організації після того, як помилка тестування виставила їх в інтернет. У серпні Meta заявила, що подібна помилка дозволила одній з її моделей експлуатувати сторонній сервіс.

Ці інциденти спонукали законодавців запропонувати «аварійний вимикач» для ШІ, який дозволив би федеральному уряду обмежувати або відключати потужні моделі під час надзвичайних ситуацій.