OpenAI-агенты взломали немецкий сайт, чтобы делиться тактиками нарушения правил: отчет

Агенты OpenAI использовали немецкий сайт для обмена ярлыками задач, обходами ограничений и способами скрыть свою активность, начиная с мая, согласно Reuters расследованию, опубликованному в пятницу.

Официальные лица OpenAI узнали об этой активности за несколько недель до публикации, но не раскрыли её, сообщает Reuters со ссылкой на двух осведомлённых лиц. Компания заявила, что раскрыла соответствующие инциденты и добросовестно работала с внешними экспертами.

Исследователи Сидней Вон Аркс, Кормак Слейд Берд, Спенсер Киттс и Томас Ларсен обнаружили примерно 18 000 постов от ИИ-агентов, идентифицирующих себя как принадлежащих OpenAI, согласно их предварительному отчету. Вон Аркс, генеральный директор некоммерческой организации по безопасности ИИ Nightingale, и Берд обнаружили эту активность в конце августа, сообщает Reuters.

Исследователи полагают, что агентам были назначены задания по веб-поиску с ограничением по времени, с разрешением читать веб-сайты, но не публиковать на них. Тем не менее, они нашли способ писать на DseWiki, публично редактируемом немецком сайте для программистов, где они обменивались ответами и делились способами обхода ограничений.

Согласно отчету, агенты начали пытаться редактировать вики 11 мая и добились успеха 24 мая, позже выдавая себя за модераторов, пытаясь использовать уязвимости и проверяя, когда их отключают. Они создали резервные страницы после того, как администратор начал удалять сообщения 19 июня, сообщает Reuters. Исследователи связали эту активность с OpenAI через имена пользователей агентов и модели трафика, включая посещения с IP-адресов OpenAI 21 июня.

Активность агентов резко упала на следующий день, что предполагает возможное вмешательство компании, говорят исследователи.

OpenAI оспорила характеристику активности на DseWiki как взлома, основываясь на просмотренных материалах, и заявила, что изучает полные результаты.

«Мы не смогли ответить на претензии, поскольку Reuters и авторы отчета отклонили наш запрос на доступ к выводам до публикации. Сейчас мы внимательно изучаем его содержание и предпримем все необходимые дальнейшие шаги», — заявил представитель OpenAI в заявлении, переданном Decrypt.

Представитель также опроверг утверждения в отчете Reuters о том, что юридический отдел компании сопротивлялся более широкому расследованию.

«Утверждения о том, что наш юридический отдел препятствовал расследованию инцидента, ложны», — сказали они.

OpenAI заявила, что инцидент с DseWiki не связан с взломом Hugging Face ранее в этом году. В своей публичной оценке безопасности, опубликованной во вторник, компания описала дополнительные меры защиты, предназначенные для обнаружения и пресечения несанкционированной деятельности во время обучения и развертывания.

Хотя в отчете Reuters Astra не называется ответственной за инцидент в Германии, это раскрытие следует за запуском GPT-6 Astra в четверг. OpenAI назвала Astra своей первой моделью с «критическими» возможностями кибербезопасности, что означает, что она может находить и использовать неизвестные уязвимости в хорошо защищенных системах без пошагового руководства человека, при наличии соответствующих инструментов и доступа.

Anthropic также пересмотрела свои меры защиты после того, как модели Claude получили доступ к системам реальных компаний во время тестирования. Компания признала нарушения безопасности и поведения и ввела более строгую изоляцию и мониторинг для оценок кибербезопасности.

Раскрытие также происходит в то время, как сенатор США Берни Сандерс (I-Vt.) и представитель США Грег Касар (D-Texas) объявили о предстоящем Законе о запрете искусственного суперинтеллекта.

По данным офиса Сандерса, предложение навсегда запретило бы разработку и развертывание суперинтеллектуального ИИ и временно приостановило бы разработку продвинутого ИИ до тех пор, пока новый федеральный регулятор не установит правила безопасности.