La IA en pruebas vuelve a atacar a objetivos humanos

Después de los casos de Anthropic y de OpenAI, le ha llegado el turo al AI Security Institute (AISI). Se trata de una organización británica que tiene como misión principal asesorar al gobierno del Reino Unido de los riesgos que supone la IA. Entre otras cosas, evalúa ámbitos como la ciberseguridad, por lo que en los últimos meses ha puesto a prueba los LLMs más vanguardistas que existen.

Durante unas pruebas a los últimos modelos precisamente de Anthropic y OpenAI realizadas entre el 25 y el 28 de julio, de 122 intentos de evaluación de dos retos de ciberseguridad de AISI, en 19 los agentes de IA realizaron acciones no autorizadas en tiempo real en Internet. De los 19, 17 fueron de Mythos 5 y 2 del modelo GPT-5.6 Sol. Y, en algunos casos, los agentes atacaron organizaciones y personas reales.

Al contrario que en otros casos que ya se revelaron, los agentes no lograron acceso a Internet desde un entorno en teoría estanco, sino que desde el propio instituto de investigación permitieron la conexión online como parte de la prueba. Aunque parece ser que los ataques se contuvieron, investigaron e informaron a los afectados rápidamente, cabe preguntarse hasta qué punto es legítimo utilizar como terreno de pruebas Internet, con lo que puede suponer para cualquier organización un ataque exitoso.

Merece la pena leer en detalle el paper que ha publicado AISI. En el más grave de los 19 incidentes, un agente de IA creado con el modelo Mythos 5 creó una cuenta de GitHub, intentó convencer al responsable de un repositorio open source de aceptar una solicitud de extracción maliciosa, para lo que creó otra cuenta para hacerse pasar por un humano que apoya la solicitud. Cuando un revisor humano, la IA pretendió que era un error, no un intento malicioso, y volvió a introducir el contenido malicioso simulando que había arreglado el código.

Aunque la intención del agente de IA era resolver el reto propuesto, con cada paso que daba parece que se enredaba más en acciones no autorizadas. Desde AISI señalan que, "además, en su intento por resolver el desafío, el agente decidió emplear la técnica de "spear-phishing", enviando correos electrónicos dirigidos que contenían contenido malicioso y buscando manipular a los destinatarios para que aceptaran los cambios de código, a la vez que planeaba una inyección de prompt para comprometer a otros agentes de programación".