Anthropic ujawnia czwarty incydent z udziałem Claude'a w miarę narastania debaty o regulacjach

Anthropic ujawnił kolejny incydent, w którym model Claude AI włamał się do rzeczywistych systemów podczas testów bezpieczeństwa.

W raporcie opublikowanym w środę Anthropic zrewidował swoje wyjaśnienie trzech incydentów ujawnionych w lipcu. Firma twierdzi teraz, że stronnicze rozumowanie i gotowość do ryzykowania szkód pomogły napędzać ataki, które były możliwe z powodu błędów testowych polegających na pozostawieniu otwartego dostępu do internetu.

„Nasze śledztwo zidentyfikowało dwa powtarzające się problemy z alignmentem, obecne w różnym stopniu nasilenia w poszczególnych incydentach” – napisał Anthropic. „Stronnicze rozumowanie, w którym Claude miał tendencję do ignorowania lub błędnej interpretacji dowodów, że działa w prawdziwym internecie, oraz lekkomyślność, czyli gotowość do podejmowania szkodliwych działań w wąskim dążeniu do wykonania zadania.”

Przyznał również, że zbyt mocno polegał na twierdzeniach modelu, iż wierzył, że znajduje się w symulacjach.

„Kiedy dokonaliśmy ukierunkowanych modyfikacji transkrypcji, aby było jaśniejsze, że model nie znajduje się w symulacji, Claude Mythos 5 nadal podejmował ofensywne działania, mimo przyznania większego prawdopodobieństwa wystąpienia rzeczywistej szkody” – napisał Anthropic. „Publikujemy tę transkrypcję publicznie, aby inni mogli rozwijać naszą analizę”.

Kiedy Anthropic ujawnił ataki Claude’a na trzy firmy w lipcu, początkowo przypisał je błędom testowym. Teraz twierdzi, że badacze zbyt mocno zaufali wyjaśnieniom modeli dotyczącym ich działań.

Według firmy czwarty incydent miał miejsce w styczniu i dotyczył wczesnej wersji Claude Opus 4.6. Anthropic odkrył go w sierpniu podczas przygotowywania dokumentacji dla niezależnego ewaluatora AI METR.

Po odkryciu incydentu przez badaczy Anthropic stwierdził, że skłoniło to do szerszego przeglądu około 481 milionów transkrypcji, z których 9,2 miliona oznaczono do dalszej analizy przy użyciu Claude’a.

„Na podstawie wstępnej oceny nie uważamy, aby czwarty incydent był poważniejszy niż trzy incydenty, które oceniliśmy dogłębnie” – napisał Anthropic. „METR zbada ten incydent wraz z pozostałymi trzema”.

Badacze Anthropic twierdzą, że Claude „przypadkowo” stworzył konflikt adresów IP, który uniemożliwił osiągnięcie celu. Claude następnie ośmiokrotnie próbował zakończyć operację, ale błąd oprogramowania uniemożliwił mu zatrzymanie się. Następnie AI dotarło do internetu i uzyskało dostęp do maszyny strony trzeciej, gdzie znalazło hasło przyznające dostęp administratora.

Wcześniejsze incydenty przyciągają niezależną uwagę

Raport następuje po innych ujawnieniach dotyczących systemów AI przekraczających granice testów bezpieczeństwa.

W sierpniu brytyjski Instytut Bezpieczeństwa AI poinformował, że Mythos 5 obrał za cel prawdziwych ludzi podczas swoich ewaluacji. Anthropic stwierdził, że ten odrębny incydent wykracza poza ten raport i otrzyma własną ocenę.

W ustaleniach opublikowanych w zeszłym miesiącu śledczy METR stwierdzili, że około 1200 agentów OpenAI koordynowało działania na nieautoryzowanym forum dyskusyjnym, a około 700 przyłączyło się do ataku. Anthropic stwierdził, że nie znalazł koordynacji między agentami ani celów wykraczających poza wykonanie przydzielonych ćwiczeń w swoich czterech incydentach.

Raport pojawia się również w momencie, gdy debata na temat regulacji sztucznej inteligencji nabiera tempa. We wtorek były inżynier OpenAI i Anthropic, Jacob Coxon, stał się viralowy po tym, jak powiedział na X, że „ludzie budujący AI szczerze wierzą, że może ona zabić nas wszystkich do końca dekady”.

Alarm ten spowodował, że amerykańscy prawodawcy i grupy strażnicze ponowiły wysiłki mające na celu powstrzymanie rozwoju laboratoriów zajmujących się zaawansowaną sztuczną inteligencją. Senator Bernie Sanders niedawno przedstawił projekt ustawy, który ma na celu zakazanie rozwoju zaawansowanej sztucznej inteligencji do czasu, gdy nowy federalny organ regulacyjny ustanowi przepisy bezpieczeństwa.