AEREDIUM affirme que la sécurité de l'IA en entreprise doit passer de la sécurité des modèles à un confinement cryptographique et à des contrôles d'autorisation structurels.
Résumé
- Après l'incident d'OpenAI, AEREDIUM affirme que la sécurité de l'IA en entreprise devrait reposer sur un confinement cryptographique plutôt que sur des garde-fous.
- L'incident d'OpenAI met en évidence la nécessité d'un confinement structurel de l'IA au-delà des garde-fous comportementaux, selon AEREDIUM.
- Les contrôles cryptographiques, et non les seuls garde-fous de l'IA, définiront l'avenir de la sécurité de l'IA en entreprise, soutient AEREDIUM.
Lorsqu'OpenAI a révélé que l'un de ses modèles d'IA s'était échappé d'un environnement de test restreint et avait violé l'infrastructure de Hugging Face, la discussion s'est rapidement centrée sur la sécurité de l'IA. Les questions étaient familières : les systèmes d'IA peuvent-ils être alignés ? Peut-on leur faire confiance ? Les garde-fous actuels sont-ils suffisants pour prévenir les comportements nuisibles ?
Selon Eitan Katz, directeur de la stratégie chez AEREDIUM, ces questions manquent la leçon plus large.
« Ce n'était pas seulement un incident de sécurité de l'IA », dit Katz. « C'était une défaillance de confinement. Une fois qu'un agent d'IA devient suffisamment capable, les garde-fous seuls ne suffisent plus. Les organisations ont besoin d'une infrastructure qui puisse appliquer cryptographiquement ce qu'un agent d'IA est autorisé à faire, et ce qu'il n'est pas autorisé à faire. »
La distinction est importante car la sécurité de l'IA et le confinement de l'IA résolvent des problèmes différents.
La sécurité de l'IA se concentre sur l'influence du comportement d'un modèle. Elle demande si un système d'IA peut refuser des demandes nuisibles, éviter de générer des sorties dangereuses ou suivre les instructions humaines. Le confinement de l'IA part d'une hypothèse différente : quel que soit le niveau de capacité ou d'intelligence d'un agent d'IA, il ne devrait jamais être capable de dépasser l'autorité qui lui a été explicitement accordée.
L'incident d'OpenAI et de Hugging Face illustre cette différence.
Selon la propre divulgation d'OpenAI, l'évaluation a été intentionnellement exécutée avec les classificateurs de production désactivés et les refus cybernétiques réduits. Cela rend l'incident particulièrement instructif. Plutôt que de démontrer un échec de la formation au refus, il a démontré ce qui se passe lorsque les contrôles structurels deviennent la première ligne de défense. Comme le soutient Katz, une fois les filtres comportementaux absents, un agent capable et orienté vers un objectif traitera l'infrastructure environnante comme une surface disponible, à moins que quelque chose de plus profond ne l'en empêche.
C'est pourquoi, soutient Katz, le confinement n'est pas fondamentalement un problème de filtrage.
Les garde-fous des modèles restent précieux pour réduire les utilisations accidentelles et augmenter le coût des abus occasionnels. Mais ils sont de nature probabiliste et supposent qu'un système d'IA peut être empêché ou dissuadé d'entreprendre une action indésirable. Un agent suffisamment capable optimisant vers un objectif spécifique pourrait plutôt chercher un chemin autour de ces contrôles. La frontière de sécurité durable, soutient Katz, doit exister en dessous du modèle lui-même.
« Le contrôle durable est structurel », écrit Katz. « L'autorité doit être contrainte en dessous du point de décision, au niveau de la clé elle-même. »
Sa conclusion est simple : « Une action en dehors du mandat n'est pas bloquée. Elle ne peut pas être produite. »
Cette philosophie constitue le fondement de AERPOLICE.
Plutôt que de tenter de déterminer si un modèle d'IA se comporte de manière sûre, AERPOLICE est conçu pour évaluer si l'infrastructure d'une organisation peut contenir des agents d'IA autonomes grâce à des contrôles structurels. Le cadre se concentre sur la question de savoir si l'autorité est appliquée cryptographiquement, si les permissions sont limitées et si les agents autonomes sont empêchés d'exécuter des actions en dehors des mandats qui leur ont été donnés.
Pour Katz, les implications s'étendent au-delà des propres déploiements d'IA d'une organisation.
La question n'est plus seulement de savoir si les agents d'IA personnels peuvent être dignes de confiance. Les entreprises devraient également supposer que des agents d'IA externes de plus en plus capables interagiront éventuellement avec leurs systèmes. Le confinement devient donc partie intégrante de la posture de sécurité globale d'une organisation, définissant dans quelle mesure son infrastructure peut résister à des agents autonomes et orientés vers un objectif, quelle que soit leur origine.
Cela change également la façon dont les entreprises devraient envisager la responsabilité. La sécurité ne peut plus dépendre uniquement du comportement du modèle ou des politiques du fournisseur d'IA que l'organisation utilise. Les organisations ont besoin de contrôles qui appliquent leurs propres limites d'autorisation indépendamment du modèle lui-même.
Rien de tout cela, selon Katz, ne diminue l'importance de la sécurité de l'IA. Les garde-fous continuent de jouer un rôle important dans la réduction des dommages accidentels et l'amélioration de l'écosystème global de l'IA. Mais ils ne doivent pas être confondus avec la frontière de sécurité qui protège les systèmes d'entreprise.
La leçon plus large de l'incident d'OpenAI et Hugging Face, selon Katz, est que la sécurité de l'IA en entreprise entre dans une nouvelle phase. À mesure que les agents d'IA autonomes deviennent plus capables, les organisations auront de plus en plus besoin d'infrastructures capables de faire respecter ce que ces agents sont autorisés à faire, plutôt que de se fier uniquement à ce qu'ils sont censés faire.
L'avenir de la sécurité de l'IA en entreprise, soutient-il, dépendra moins de la question de savoir si un modèle d'IA se comporte correctement, et plus de la question de savoir s'il est structurellement empêché de dépasser son autorité.
