“La explicabilidad no es obstáculo para una IA eficaz. De hecho, es esencial”, Vanessa Candela, Celonis

¿Cómo ha impactado la AI Act europea en el desarrollo de soluciones basadas en IA desde su entrada en vigor en agosto de 2024?

El cambio más visible es que el desarrollo de la IA ha dejado de ser un proceso puramente técnico. Desde agosto de 2024, aspectos como la clasificación de riesgos, la documentación técnica, la gobernanza de datos y la supervisión humana se han convertido en requisitos de ingeniería, en lugar de ser cuestiones que el equipo legal revisa al final del proceso. Con multas que alcanzan varios millones de dólares, ese cambio de enfoque se produjo rápidamente.

El cambio menos visible es de carácter organizativo, y creo que es el más importante. El desarrollo de la IA requiere ahora un diálogo constante entre los equipos de ingeniería, jurídico, de seguridad de la información, de privacidad de datos y de ética. No se puede clasificar el riesgo de un sistema, ni explicar su comportamiento, desde una sola de esas perspectivas.

Sin embargo, lo que la Ley ha puesto realmente de manifiesto es la necesidad de que las organizaciones tengan una mayor visibilidad sobre lo que realmente hace su IA. En la encuesta de PwC sobre IA responsable de 2025, solo la mitad de los participantes consideraba que su organización era eficaz a la hora de realizar un seguimiento e inventario de sus casos de uso de la IA. No se puede gobernar lo que no se ve y cada vez se permitirá menos desplegarlo.

Los proveedores que entendieron la Ley como un elemento a tener en cuenta desde el diseño han podido gestionar estos dos últimos años de forma más sencilla. Aquellos que la trataron como un mero ejercicio de documentación, se están adaptando ahora a posteriori, lo cual resulta considerablemente más caro.

 

¿Cómo van a afectar a la industria las nuevas obligaciones impuestas por esta Ley desde agosto de 2026? ¿Cómo está afectando a los proyectos de inteligencia artificial que llevan años en marcha en España?

Bruselas ha concedido este año al sector un margen adicional para cumplir con las obligaciones más exigentes. Pero yo no lo interpretaría como una pausa, y el mercado tampoco lo está haciendo. Para el sector, el efecto práctico de ese aplazamiento no es un alivio, sino una ampliación de la brecha existente.  Los proveedores que han integrado la gobernanza en sus sistemas durante los últimos dos años están preparados independientemente de la fecha límite, y los equipos de compras ya están solicitando pruebas de esa preparación, mucho antes de 2027, porque los compradores corporativos no esperan a que llegue una fecha límite legal para empezar a reducir los riesgos de una adquisición. Los proveedores que consideren este margen adicional como una razón para esperar pasarán el año 2027 a contrarreloj para ponerse al día, justo en el momento en que sus competidores estén vendiendo esa madurez como una ventaja.

En el caso de los proyectos de larga duración, especialmente en España, donde muchas organizaciones llevan años utilizando la IA en producción, el verdadero reto consiste en adaptar la gobernanza a sistemas diseñados antes de que estos requisitos existieran: reconstruir qué datos se utilizaron para entrenar un modelo, para qué se utiliza realmente y quién es responsable de sus resultados. Este proceso es más lento y difícil que haberlo incorporado desde el principio, y esperar hasta 2027 no lo hará más sencillo. Mi recomendación es no considerar este tiempo adicional como una prórroga para posponer decisiones. Debe entenderse como una ventana de preparación, y es más corta de lo que parece.

 

Ante el choque regulatorio ente la Cloud Act de EE.UU. y la AI Act de Europa en materia de soberanía del dato, ¿esperan que aumente la demanda de soluciones de IA basadas en nubes soberanas europeas?

La demanda está aumentando, y espero que siga así. Pero la tensión entre estas normativas no gira en torno a dónde se alojan los datos: la Ley CLOUD permite a las autoridades estadounidenses obligar a cualquier empresa sujeta a la jurisdicción de EE. UU. a facilitar los datos que controla, independientemente de dónde se encuentren, y ese alcance se extiende a los subencargados del tratamiento y al ecosistema de la nube en general, no solo al proveedor principal. Por eso, yo replantearía lo que realmente preocupa a los clientes, porque la “nube soberana” se ha convertido en una etiqueta que oculta el fondo de la cuestión.

En las conversaciones que mantengo con los clientes, hablamos de la soberanía como una cuestión de diseño más que de ubicación. Lo que quieren determinar es dónde se procesan sus datos, quién tiene la capacidad técnica para acceder a ellos y si eso puede demostrarse ante un regulador, un auditor o sus propios clientes. Detrás de todo ello se encuentra la autonomía: si las decisiones sobre sus propias operaciones siguen siendo suyas o si, de forma silenciosa, las ha tomado por ellos la arquitectura que han adquirido. Un proceso que no se puede ver, que no se puede explicar y que no se puede llevar consigo no es soberano, independientemente de la bandera que ondee sobre el centro de datos. La arquitectura, los compromisos contractuales y la transparencia abordan todo ello.

Por eso hemos incorporado la posibilidad de elegir en el producto. Los clientes eligen la región de alojamiento, y las funciones de IA y los modelos subyacentes se ejecutan en esa misma región. Los clientes que deseen un mayor control pueden optar por modelos de implementación en nube privada o en infraestructura propia. Las funciones de IA son opcionales y pueden desactivarse en cualquier momento. Además, no permitimos que los datos de los clientes introducidos en nuestra plataforma se utilicen para entrenar o mejorar ningún modelo de IA generativa de terceros sin el consentimiento expreso por escrito de dicho cliente. Cada una de estas decisiones la hemos dejado deliberadamente en manos del cliente, en lugar de tomarla en su nombre.

También mantenemos garantías legales y procedimentales para el propio escenario de acceso transfronterizo: las cláusulas contractuales tipo conformes con el RGPD y el recurso al Marco de Protección de Datos UE-EE. UU. protegen los datos de los clientes —tanto empresariales como personales— frente a solicitudes ilegales o excesivamente amplias. Si alguna vez se recibe una solicitud, nuestra práctica habitual es impugnarla, colaborar con el cliente siempre que sea posible para que pueda solicitar una orden de protección y reducir al mínimo cualquier divulgación exigida por la ley. Los compromisos de cifrado y de retención cero de datos por parte de nuestros proveedores de IA añaden una capa técnica adicional.

La cuestión más profunda es que la mayoría de los procesos empresariales siguen atrapados en distintos sistemas, cada uno de los cuales contiene un fragmento de información, pero ninguno de los cuales puede abarcar el conjunto; y una organización en esa situación tiene muy poca autonomía con la que negociar, independientemente de dónde decida alojar sus datos. Liberar esos procesos es lo que cambia esa situación, y la Ley de Datos ha convertido ahora el cambio de proveedor y la portabilidad en una expectativa básica, en lugar de una concesión. Por eso, lo que recomendaría a los compradores es preguntar a cualquier proveedor, independientemente de dónde esté establecido, no es “¿dónde tienen su sede?”, sino “¿qué visibilidad tengo?, ¿qué capacidad de decisión me dais?, ¿qué hacen si llega una solicitud de este tipo? y ¿qué ocurre con mis datos si decido marcharme?”.

 

¿Cómo creen en Celonis que la obligación de aportar más explicabilidad y transparencia a la IA afectará a la competitividad de los fabricantes de software y proveedores de cloud europeos?

Me siento optimista ante esta perspectiva, con una salvedad. Soy optimista porque la explicabilidad no es un obstáculo para una IA eficaz. De hecho, es esencial. Los sistemas y agentes de IA solo tienen valor en la medida en que sean auditables. Esto ya era así en el ámbito comercial mucho antes de que lo fuera en el jurídico. Los compradores corporativos ahora exigen resultados trazables y una documentación clara de los modelos, independientemente de la ubicación del proveedor, porque así se lo exigen sus propios reguladores y consejos de administración. A los proveedores europeos se les exige crear algo hacia lo que el mercado ya está convergiendo de todos modos. Ser pionero suele ser una ventaja, y prefiero explicar un sistema que he diseñado para que sea explicable que tener que realizar ingeniería inversa para dar cuenta de uno que no lo es.

Sin embargo, los costes de cumplimiento no se reparten de manera uniforme. Un gran proveedor puede absorberlos más fácilmente que una startup de cincuenta personas. El Omnibus aborda esta disparidad permitiendo a las empresas más pequeñas proporcionar documentación simplificada, y ese reconocimiento era necesario. En definitiva, el riesgo para la competitividad no radica en la transparencia en sí misma, sino en una interpretación fragmentada e impredecible por parte de los Estados miembros -lo cual es una cuestión de aplicación y cumplimiento coherentes-.

 

A finales del año que viene entran en vigor restricciones adicionales para entornos de IA de alto riesgo. ¿Cómo creen en Celonis que esto afectará la demanda de soluciones on-premise frente a la IA basada en cloud?

Yo cuestionaría el planteamiento de la pregunta. La clasificación de alto riesgo depende del caso de uso, no del modelo de alojamiento. El hecho de ejecutar un sistema de selección de personal en tu propio centro de datos no hace que deje de ser de alto riesgo: sigues estando obligado a aplicar la misma gestión de riesgos, gobernanza de datos, registro de actividades, supervisión humana y monitorización posterior a la puesta en mercado. El despliegue on-premise traslada la obligación en lugar de reducirla y, en algunos aspectos, dificulta el cumplimiento normativo, ya que eres tú quien debe crear y mantener las pruebas y la capacidad de supervisión.

Por lo tanto, no espero un retorno generalizado al modelo on-premise, sino una tendencia hacia arquitecturas que puedan demostrar la gobernanza: alojamiento regional, registros de auditoría claros, transparencia de los modelos y claridad contractual sobre el uso de los datos. Lo que diferenciará a los proveedores será la capacidad de rastrear una decisión de principio a fin. Cuando un agente actúa a través de varios sistemas, responder a la pregunta “¿por qué ha ocurrido esto?” requiere tener visibilidad de toda la cadena de ejecución, y eso no tiene nada que ver con si la carga de trabajo se encuentra en su infraestructura o en la nuestra.

 

¿Cómo abordan en Celonis el cumplimiento con la Ley europea de IA?

Contamos con un marco de gobernanza de la IA elaborado de acuerdo tanto con el Marco de Gestión de Riesgos de la IA del NIST como con la Ley de IA de la UE, partiendo de la idea de que una empresa que opera a nivel global no debería aplicar dos niveles distintos de diligencia.

En la práctica, esto implica una Política Global de IA aplicable a todos los empleados; un comité específico de IA formado por partes interesadas de los ámbitos jurídico, de seguridad de la información, de privacidad de datos y de ética que se reúne periódicamente para orientar nuestro enfoque y evaluar nuevas funcionalidades; una Evaluación de IA Responsable que se lleva a cabo antes de implementar cualquier iniciativa de IA; un repositorio central que recoge nuestras iniciativas de IA, proveedores y modelos de lenguaje para que puedan supervisarse de forma continua; y procesos formales de gestión de riesgos y seguimiento normativo.

Todo ello se basa en nuestro modelo FASTER: imparcialidad, responsabilidad, seguridad, transparencia, conciencia medioambiental y respeto por nuestras obligaciones normativas. Y para que quede claro: las funciones de IA de nuestra plataforma son opcionales y el cliente puede desactivarlas en cualquier momento.