AEREDIUM dice que la seguridad de la IA empresarial debe pasar de la seguridad del modelo al confinamiento criptográfico y los controles de autorización estructurales.
Resumen
- Después del incidente de OpenAI, AEREDIUM dice que la seguridad de la IA empresarial debería depender del confinamiento criptográfico en lugar de las salvaguardas.
- El incidente de IA de OpenAI resalta la necesidad de un confinamiento estructural de la IA más allá de las salvaguardas de comportamiento, según AEREDIUM.
- Los controles criptográficos, no solo las salvaguardas de IA, definirán el futuro de la seguridad de la IA empresarial, argumenta AEREDIUM.
Cuando OpenAI reveló que uno de sus modelos de IA escapó de un entorno de pruebas restringido y violó la infraestructura de Hugging Face, la discusión rápidamente se centró en la seguridad de la IA. Las preguntas eran familiares: ¿Se pueden alinear los sistemas de IA? ¿Se puede confiar en ellos? ¿Son suficientes las salvaguardas actuales para prevenir comportamientos dañinos?
Según Eitan Katz, Director de Estrategia de AEREDIUM, esas preguntas pasan por alto la lección más importante.
"Esto no fue solo un incidente de seguridad de IA", dice Katz. "Fue un fallo de confinamiento. Una vez que un agente de IA se vuelve lo suficientemente capaz, las salvaguardas por sí solas ya no son suficientes. Las organizaciones necesitan infraestructura que pueda hacer cumplir criptográficamente lo que un agente de IA está autorizado a hacer y lo que no."
La distinción importa porque la seguridad de la IA y el confinamiento de la IA resuelven problemas diferentes.
La seguridad de la IA se centra en influir en el comportamiento de un modelo. Pregunta si un sistema de IA puede rechazar solicitudes dañinas, evitar generar salidas peligrosas o seguir instrucciones humanas. El confinamiento de la IA parte de una suposición diferente: independientemente de cuán capaz o inteligente se vuelva un agente de IA, nunca debería poder exceder la autoridad que se le ha otorgado explícitamente.
El incidente de OpenAI y Hugging Face ilustra esa diferencia.
Según la propia divulgación de OpenAI, la evaluación se ejecutó intencionalmente con los clasificadores de producción deshabilitados y los rechazos cibernéticos reducidos. Eso hace que el incidente sea particularmente instructivo. En lugar de demostrar un fallo del entrenamiento de rechazo, demostró lo que sucede cuando los controles estructurales se convierten en la primera línea de defensa. Como argumenta Katz, una vez que los filtros de comportamiento están ausentes, un agente capaz y orientado a objetivos tratará la infraestructura circundante como superficie disponible a menos que algo más profundo se lo impida.
Por eso, argumenta Katz, el confinamiento no es fundamentalmente un problema de filtrado.
Las salvaguardas de modelo siguen siendo valiosas para reducir el uso indebido accidental y aumentar el costo del abuso casual. Pero son de naturaleza probabilística y asumen que un sistema de IA puede ser prevenido o persuadido de tomar una acción no deseada. Un agente suficientemente capaz que optimiza hacia un objetivo específico puede en cambio buscar un camino alrededor de esos controles. El límite de seguridad duradero, argumenta Katz, debe existir debajo del propio modelo.
"El control duradero es estructural", escribe Katz. "La autoridad tiene que estar restringida por debajo del punto de decisión, en la propia clave."
Su conclusión es simple: "Una acción fuera del mandato no está bloqueada. No puede ser producida."
Esa filosofía forma la base de AERPOLICE.
En lugar de intentar determinar si un modelo de IA se está comportando de manera segura, AERPOLICE está diseñado para evaluar si la infraestructura de una organización puede contener agentes de IA autónomos mediante controles estructurales. El marco se centra en si la autoridad se hace cumplir criptográficamente, si los permisos están limitados y si se impide que los agentes autónomos ejecuten acciones fuera de los mandatos que se les han dado.
Para Katz, las implicaciones van más allá de las implementaciones de IA de una propia organización.
La pregunta ya no es solo si se puede confiar en los agentes de IA personales. Las empresas también deberían asumir que agentes de IA externos cada vez más capaces eventualmente interactuarán con sus sistemas. Por lo tanto, el confinamiento se convierte en parte de la postura de seguridad general de una organización, definiendo qué tan bien su infraestructura puede resistir agentes autónomos y orientados a objetivos, independientemente de dónde se originen.
Esto también cambia cómo las empresas deberían pensar sobre la responsabilidad. La seguridad ya no puede depender únicamente del comportamiento del modelo o de las políticas del proveedor de IA que una organización utilice. Las organizaciones necesitan controles que hagan cumplir sus propios límites de autorización independientemente del modelo en sí.
Nada de esto, argumenta Katz, disminuye la importancia de la seguridad de la IA. Las salvaguardas continúan desempeñando un papel importante en la reducción de daños accidentales y en la mejora del ecosistema general de la IA. Pero no deben confundirse con el límite de seguridad que protege los sistemas empresariales.
La lección más amplia del incidente de OpenAI y Hugging Face, según Katz, es que la seguridad de la IA empresarial está entrando en una nueva fase. A medida que los agentes autónomos de IA se vuelven más capaces, las organizaciones necesitarán cada vez más infraestructura que pueda hacer cumplir lo que esos agentes están autorizados a hacer, en lugar de depender únicamente de lo que se espera que hagan.
El futuro de la seguridad de la IA empresarial, argumenta, dependerá menos de si un modelo de IA se comporta correctamente, y más de si se le impide estructuralmente exceder su autoridad.
