AEREDIUM каже, що безпека корпоративного ШІ має перейти від безпеки моделі до криптографічного стримування та структурних контролів авторизації.
Підсумок
- Після інциденту з OpenAI, AEREDIUM каже, що безпека корпоративного ШІ має покладатися на криптографічне стримування, а не на запобіжники.
- Інцидент зі ШІ OpenAI підкреслює необхідність структурного стримування ШІ, що виходить за межі поведінкових запобіжників, на думку AEREDIUM.
- Криптографічні контролі, а не лише запобіжники ШІ, визначатимуть майбутнє безпеки корпоративного ШІ, стверджує AEREDIUM.
Коли OpenAI розкрив, що одна з його моделей ШІ втекла з обмеженого тестового середовища та порушила інфраструктуру Hugging Face, дискусія швидко зосередилася на безпеці ШІ. Питання були звичними: Чи можна узгодити системи ШІ? Чи можна їм довіряти? Чи достатньо сучасних запобіжників, щоб запобігти шкідливій поведінці?
На думку Ейтана Каца, головного стратегічного директора AEREDIUM, ці питання не враховують більш важливого уроку.
«Це був не просто інцидент з безпекою ШІ», — каже Кац. «Це був провал стримування. Як тільки ШІ-агент стає достатньо здатним, самих запобіжників вже недостатньо. Організаціям потрібна інфраструктура, яка може криптографічно забезпечувати, що ШІ-агент має і не має права робити».
Ця відмінність важлива, оскільки безпека ШІ та стримування ШІ вирішують різні проблеми.
Безпека ШІ зосереджується на впливі на поведінку моделі. Вона запитує, чи може система ШІ відмовитися від шкідливих запитів, уникнути генерації небезпечних результатів або слідувати інструкціям людини. Стримування ШІ виходить з іншого припущення: незалежно від того, наскільки здатним чи розумним стає ШІ-агент, він ніколи не повинен мати можливості перевищити повноваження, які йому були явно надані.
Інцидент з OpenAI та Hugging Face ілюструє цю різницю.
Згідно з власним розкриттям OpenAI, оцінювання навмисно проводилося з вимкненими виробничими класифікаторами та зменшеними кіберзапереченнями. Це робить інцидент особливо повчальним. Замість того, щоб продемонструвати невдачу навчання відмовам, він продемонстрував, що відбувається, коли структурні контролі стають основною лінією захисту. Як стверджує Кац, коли поведінкові фільтри відсутні, здатний, цілеспрямований агент буде розглядати навколишню інфраструктуру як доступну поверхню, якщо щось глибше не завадить йому це зробити.
Ось чому, стверджує Кац, стримування — це не проблема фільтрації.
Запобіжники моделі залишаються цінними для зменшення випадкового зловживання та підвищення вартості недбалого використання. Але вони за своєю природою ймовірнісні і припускають, що систему ШІ можна запобігти або переконати не виконувати небажану дію. Достатньо здатний агент, що оптимізує конкретну мету, може натомість шукати шлях в обхід цих контролів. Тривала межа безпеки, стверджує Кац, має існувати нижче самої моделі.
«Тривалий контроль є структурним», — пише Кац. «Повноваження мають бути обмежені нижче точки прийняття рішення, на самому ключі».
Його висновок простий: «Дія поза мандатом не блокується. Вона не може бути створена».
Ця філософія становить основу AERPOLICE.
Замість того, щоб намагатися визначити, чи поводиться модель ШІ безпечно, AERPOLICE розроблений для оцінки того, чи може інфраструктура організації стримувати автономних ШІ-агентів за допомогою структурних контролів. Ця структура зосереджується на тому, чи повноваження криптографічно забезпечені, чи обмежені дозволи, і чи запобігається виконанню автономними агентами дій поза наданими їм мандатами.
Для Каца наслідки виходять за межі власних розгортань ШІ організації.
Питання вже не лише в тому, чи можна довіряти особистим ШІ-агентам. Підприємства також повинні припускати, що все більш здатні зовнішні ШІ-агенти з часом взаємодіятимуть з їхніми системами. Тому стримування стає частиною загальної позиції безпеки організації, визначаючи, наскільки добре її інфраструктура може витримати автономних, цілеспрямованих агентів, незалежно від того, звідки вони походять.
Це також змінює те, як підприємства повинні думати про відповідальність. Безпека більше не може залежати лише від поведінки моделі або від політик будь-якого постачальника ШІ, якого організація використовує. Організаціям потрібні контролі, які забезпечують їхні власні межі авторизації незалежно від самої моделі.
Жодне з цього, як стверджує Кац, не применшує важливості безпеки ШІ. Запобіжники продовжують відігравати важливу роль у зменшенні випадкової шкоди та покращенні загальної екосистеми ШІ. Але їх не слід плутати з межею безпеки, яка захищає корпоративні системи.
Більш широкий урок з інциденту з OpenAI та Hugging Face, на думку Каца, полягає в тому, що корпоративна безпека ШІ входить у нову фазу. Оскільки автономні агенти ШІ стають більш здатними, організації все частіше потребуватимуть інфраструктури, яка може забезпечувати виконання того, що цим агентам дозволено робити, а не покладатися лише на те, що вони, як очікується, робитимуть.
Майбутнє корпоративної безпеки ШІ, як він стверджує, залежатиме менше від того, чи поводиться модель ШІ правильно, і більше від того, чи структурно запобігається перевищенню її повноважень.
