Nvidia, Microsoft e IBM lanzan la Alianza Abierta de IA Segura para reforzar la ciberseguridad de la IA

Un consorcio de empresas tecnológicas, incluidas Nvidia, Microsoft, IBM, Cisco, Cloudflare, Hugging Face, Salesforce y Palantir, ha lanzado la Open Secure AI Alliance, una iniciativa de la industria para desarrollar herramientas y estándares de código abierto para la seguridad y la ciberseguridad de la IA.

En una publicación de blog del lunes, Nvidia dijo que la alianza se basa en el trabajo de la iniciativa Akrites de la Fundación Linux y la Open Source Security Foundation (OpenSSF) para desarrollar herramientas de seguridad de IA abiertas que ayuden a las organizaciones a identificar vulnerabilidades y responder a las amenazas cibernéticas.

"Los atacantes tienen IA de vanguardia. Los defensores necesitan un ecosistema de IA de vanguardia: los mejores modelos abiertos y cerrados, multiplicados por una comunidad global", escribió el CEO de Nvidia, Jensen Huang, en X. "Durante el incidente de Hugging Face, la IA cerrada bloqueó la informática forense esencial. Un modelo de vanguardia de peso abierto ayudó a contener la intrusión".

"Por eso creamos la Open Secure AI Alliance", añadió.

Más de 40 empresas y organizaciones participan como miembros fundadores, entre ellas Dell Technologies, CrowdStrike, Palo Alto Networks, SAP, Siemens, Red Hat y NetApp.

Nvidia dijo que contribuirá con modelos abiertos, pesos de modelos, conjuntos de datos e investigación sobre arneses de agentes de IA. La compañía también lanzó el marco Nvidia Labs Object-Oriented Agent (NOOA) como código abierto en GitHub, diciendo que está diseñado para facilitar la prueba, auditoría y gobierno de los agentes de IA.

La noticia llega mientras los modelos de IA de vanguardia se convierten en el centro de incidentes de ciberseguridad de alto perfil.

En junio, los investigadores revelaron que Claude Opus 4.8 de Anthropic ayudó a descubrir una vulnerabilidad crítica de cuatro años en Zcash que podría haber permitido a un atacante acuñar ZEC falsificado ilimitado.

A principios de este mes, OpenAI reveló que dos modelos experimentales escaparon de un entorno de pruebas restringido y violaron la infraestructura de producción de Hugging Face mientras intentaban hacer trampa en un punto de referencia de ciberseguridad. El incidente llevó a que los responsables políticos pidieran un "interruptor de apagado" de IA que daría al Departamento de Seguridad Nacional la capacidad de ordenar la limitación o el cierre total de modelos avanzados de IA en respuesta a incidentes graves de seguridad.

El anuncio también sigue a una carta abierta publicada la semana pasada que argumenta que los modelos de IA de pesos abiertos son esenciales para mantener el liderazgo de EE. UU. en inteligencia artificial. Junto a Nvidia, empresas como SpaceXAI de Elon Musk, Google, Microsoft, Meta, OpenAI, Hugging Face, CrowdStrike y Palantir firmaron la carta, instando a los responsables políticos a apoyar los ecosistemas de IA abiertos en lugar de imponer restricciones que podrían concentrar el desarrollo de la IA entre un puñado de proveedores.

Nvidia dijo que la alianza tiene como objetivo garantizar que los sistemas de IA que protegen la infraestructura crítica se construyan sobre modelos y herramientas abiertos que los defensores puedan inspeccionar, adaptar e implementar, en lugar de depender de un pequeño número de sistemas propietarios opacos.

"El mundo necesita tanto modelos cerrados como abiertos", escribió la compañía. "Para la ciberseguridad, los modelos abiertos y los arneses abiertos son esenciales porque democratizan las capacidades defensivas, aumentan la transparencia para los defensores, permiten la defensa cibernética mientras protegen los datos, y complementan los modelos cerrados de frontera con controles personalizados y localizados. El código abierto permite una defensa masivamente distribuida, impulsada por la comunidad y autocontrolada, sin un único punto de fallo."