El CCN establece una metodología para evaluar la seguridad de los productos de IA
- Ciberseguridad AAPP
La guía CCN-STIC-2011 incorpora un marco específico para identificar y verificar vulnerabilidades propias de los sistemas de IA, incluidas la manipulación de instrucciones, la extracción de modelos y la exposición de información protegida.
El Centro Criptológico Nacional (CCN), dependiente del Centro Nacional de Inteligencia (CNI), ha publicado la guía CCN-STIC-2011, Metodología de Evaluación de Seguridad de Productos – Inteligencia Artificial (ESP-IA). El documento incluye dos anexos: una plantilla de Declaración de Seguridad y otra para elaborar el Informe Técnico de Evaluación.
Esta metodología responde a la necesidad de analizar riesgos específicos de los productos basados en inteligencia artificial que no quedan cubiertos por los procedimientos tradicionales de evaluación de seguridad. Su enfoque contempla vulnerabilidades relacionadas con el aprendizaje de los sistemas, la interpretación de instrucciones, la gestión de información almacenada y la ejecución de acciones.
Amenazas específicas y principios de seguridad
La guía identifica diferentes amenazas asociadas al funcionamiento de los sistemas de inteligencia artificial. Entre ellas figuran la evasión de decisiones, la inyección de instrucciones, el envenenamiento de datos, la extracción del modelo, la filtración de información protegida y el agotamiento de recursos.
También aborda los riesgos derivados del uso indebido de herramientas y de la ejecución de acciones por parte de sistemas agénticos, capaces de interactuar con otros servicios y realizar operaciones de forma autónoma.
Para reducir estos riesgos, la metodología incorpora dos principios fundamentales. El primero establece la necesidad de mantener supervisión humana antes de ejecutar acciones críticas o irreversibles. El segundo exige disponer de mecanismos de trazabilidad que permitan reconstruir y analizar posteriormente las actuaciones del sistema de IA.
Una evaluación adaptada a las características de cada producto
El procedimiento de evaluación se ajusta a la arquitectura y las funcionalidades de cada producto. El fabricante debe describir el diseño del sistema y completar un cuestionario sobre sus capacidades de inteligencia artificial. A partir de esta información, una matriz de aplicabilidad determina cuáles de los 27 requisitos de seguridad establecidos en la metodología resultan exigibles.
La verificación corresponde a un laboratorio acreditado y autorizado por el CCN, que comprueba el cumplimiento de cada requisito aplicable y realiza pruebas de penetración complementarias.
Estas pruebas toman como referencia la OWASP AI Testing Guide y las técnicas de ataque más recientes, con el propósito de identificar posibles debilidades en los componentes y funcionalidades de inteligencia artificial.
La metodología proporciona así un marco de evaluación específico para los productos de IA, con criterios que permiten examinar sus riesgos técnicos, verificar las medidas de protección y reforzar la seguridad de su utilización.
