Entre eficiencia y ética: el nuevo rol de TI en la integración de agentes de IA

“Hay muchos empleos que se verán afectados por la IA y muchos desaparecerán, pero el trabajo humano seguirá siendo necesario para gobernarla y también tendrá su nicho para el refinamiento final”
Francesc Suero, global CIO, Audax 

Alejandro Martos, Regional Sales director de Workday, explica que “no se trata solo de tener un agente de IA en una organización, sino de que ese agente pueda interactuar con otros agentes. El ‘governance’ ya no aplica únicamente a tu organización, sino también a esos agentes, y eso es más complejo. Si no cuentas con las herramientas adecuadas y no dedicas atención a este ámbito, corres el riesgo de perder trazabilidad y control. Si tienes un agente, necesitas saber qué hace, cuándo y cómo. Y si se comunica con otros, también deben operar bajo supervisión y dentro de unos límites claros, sin perder el control de lo que está pasando. En Workday, nuestra vocación es que la plataforma, además de gestionar a las personas, gestione también a los agentes: permitiendo entender qué agentes existen, darlos de alta, activarlos, comprender su impacto y, sobre todo, que operen siempre en el contexto de negocio apropiado y bajo un marco de gobierno y de IA responsable”.

Los grandes desafíos que planteó GenAI se mantiene, pero elevados a la enésima potencia. Empezando por la capa de datos sobre la que se sustenta toda la construcción de la inteligencia artificial. Quizá a un “simple” asistente se le pueda permitir que alucine de vez en cuando o que no siempre de con la respuesta adecuada, pero una IA que pueda operar de forma autónoma tiene que actuar con la máxima precisión posible. Y, por tanto, los datos en los que basa sus decisiones deben tener una calidad acorde a su responsabilidad.

“La IA puede llegar a ser el ‘jefe’, tomando decisiones de producción, porque tiene acceso a toda la información disponible en tiempo real”
Sergi Tello , CISO & Global IT director, EMDEP TestBoards

Cuestión de datos y organización

Para Francisco Toro Fernández, head of IT en Abertis Mobility Services, “la IA ha pasado de ser una herramienta con la que jugar, por así decir, a ser algo que realmente se va a adaptar a nuestra operación, que es el punto hacia el que estamos yendo... Pero hay una parte fundamental, que es el governance, tanto de la IA como de los propios datos de partida. Hablamos mucho de inteligencia artificial, pero una IA con fuentes de datos no optimizadas puede generar muchos problemas. Hay dos tipos de governance que creo que van de la mano. Primero, un buen dato, que esté estructurado, limpio, preparado. Y luego la inteligencia artificial que pones por encima de ello. Pero como le des a la IA una serie de documentos de cualquier manera y si pretendes que, sin saber nada, te de un resultado, el sistema no va a funcionar. Los resultados no estarán consolidados, ni estarán bien montado, ni serán reales”.

Isabel Parada, head of Data en Pronovias, considera que “es imprescindible subirse al carro de la IA. Si no proporcionamos a los usuarios y a la organización herramientas para poder explotar mejor la IA, el usuario lo va a hacer por su cuenta. Hay que favorecer la implantación ordenada de la IA o puede haber un descontrol que genere una fuga tremenda de información. Y, para que funcione, hay que fortalecer el gobierno del dato. Tenemos que aprovechar la ola de la normativa para mejorar el gobierno de los datos. Aunque se quiera dar prioridad a este ámbito, los costes pueden frenar su desarrollo. Pero cuando ya empezamos a hablar de legislación y existe un compliance que debemos cumplir, se impulsa el buen gobierno. Hay que aprovechar ese momento y convertirlo en nuestro aliado. Esto nos va a ayudar a conseguir presupuesto para seguir mejorando la gestión de los datos".

“Si no dedicas tiempo a gobernar esa información desde la parte tecnológica y desde la capa de datos, olvídate de tener una IA en cualquier empresa”
Isabel Parada, head of Data, Pronovias 

Tanto la IA como los datos no son una cuestión puramente tecnológica. Tampoco puramente de procesos. Sus cambios tienen tanto calado que se trata de cultura corporativa, en la que se ve involucrado todo lo demás. Un verdadero desafío para la gestión del cambio, diferente además para cada compañía. La manera de establecer la organización y el gobierno de la IA depende del grado de aceptación de la fuerza laboral humana, del punto de madurez tecnológica o del trabajo previo realizado con los datos, entre otros factores.

Elena Boned de la Guardia, directora de Innovación y Nuevos Negocios en Rheavendors Apliven, subraya que “desde innovación intentamos ayudar a que la compañía entienda que la IA no viene a sustituir el trabajo de las personas, sino a facilitarlo, mejorarlo y hacerlo más eficiente. Nos permite ganar en calidad del dato, optimizar procesos, liberar tiempo de tareas de menor valor añadido y abrir nuevas oportunidades para que los equipos puedan aportar desde un lugar más estratégico. Nuestro rol consiste en canalizar iniciativas, conectar áreas, acelerar proyectos y ayudar a que las ideas se conviertan en realidades implantables. Para ello, es fundamental que estas iniciativas estén alineadas con la estrategia de la compañía y cuenten con el respaldo del Comité de Dirección, el apoyo de figuras somo el CTO, el CIO, el CFO, y sobre todo, del CEO. Este punto es determinante para que los equipos no perciban la IA como una amenaza, sino como una herramienta que les ayuda a trabajar mejor y a generar más valor. Una vez se decide qué proceso se va a abordar, es clave contar con un sponsor claro dentro de la organización. En función del proyecto, pueden estar implicadas áreas muy diferentes (tecnología, operaciones, finanzas, comercial, marketing o recursos humanos), pero siempre debe existir un liderazgo transversal que acompañe el cambio”.

“Hay que abrazar la IA: como empresa, tenemos la oportunidad de hacerlo más rápido y ágil que la competencia y ganar ventaja competitiva”
Elena Boned de la Guardia, directora de Innovación, Rheavendors Apliven

Francesc Suero Marquès, Global CIO en Audax, revela que, “cuando hablamos de governance, para mí se trata de control total. No puede haber herramientas de IA totalmente descontroladas en la organización. En el momento en que el ámbito pase de ser personal a ser departamental o corporativo, es el área de TI el que lo controla. Los agentes importantes, los casos de uso importantes, se lideran todos desde el área de TI. Ponemos las directrices de lo que se puede utilizar, cuál es la ciberseguridad que lleva, la infraestructura, si va en la nube o no, etcétera... Para mí es la única manera de controlarlo y que no se desmadre. En definitiva debemos tratarlo como cualquier otra iniciativa tecnológica y por ello creo que estamos obligados a liderar la implementación de la inteligencia artificial desde TI. Es importante tener ese marco donde se controle todo".

 

El desafío normativo de la inteligencia artificial

A todos estos factores se suma un elemento más, de gran relevancia en el caso de la inteligencia artificial: la cuestión normativa. Si a nivel social hay planteada una discusión ética en torno a la inteligencia artificial, en los entornos corporativos esa ética está unida a la legalidad vigente. A las cuestiones básicas, relativas al tipo de datos que se manejan y los niveles de seguridad y protección que deben tener, se suma el marco legal que señala la Ley de Inteligencia Artificial.

“En nuestro sector han de primar la calidad y el rigor jurídico. Entendemos la IA como una gran oportunidad, pero el abogado siempre ha de supervisar los resultados para evitar riesgos, como que pueda inventarse sentencias o leyes”
Carlos Luna de la Fuente, director de IT, RocaJunyent 

Para Alfonso de Arteaga, experto del sector salud, “la nueva inteligencia artificial supone una gran oportunidad, pero hay que tener en cuenta el terreno en el que nos movemos. Sería estupendo tener la capacidad de ir mucho más rápido en el despliegue de la IA, pero si estamos tratando con información sensible, que tenga que ver con el sector financiero, el asegurador o el de la salud, necesitas tener un marco que esté regulado, no todo vale. Hay que tener en cuenta y evitar los posibles sesgos. En el sector salud tenemos una fuerte regulación, un contexto de un negocio completamente regulado. Aunque no tengamos la capacidad de ir mucho más rápido en la implementación de la IA, con grandes corporaciones y en sectores muy concretos hay que extremar la prudencia”.

Por su parte, Sergi Tello Bertomeu, CISO & Global IT director en EMDEP TestBoards, considera que "hay que tratar los agentes de IA como si fueran un empleado más. Si tienes al responsable de una persona, entonces tienes un jefe que tiene que auditar que la inteligencia artificial esté haciendo bien las cosas. Además, esa IA también tiene unos niveles de acceso. Antes en IT dabas un acceso a los empleados; incluso si le dabas permisos de administrador, no usaba su acceso al dato porque ni sabía que lo tenía. Pero la IA sí utiliza los accesos que tenga. Tienes que estar seguro de qué dato le pones; si no, no puedes empezar con ella. Estamos viendo, por ejemplo, cómo evitar que aprenda datos sensibles de los currículums. Hay gente que pone datos muy sensibles en los currículums y no se pueden usar. Tienes que evitar que la IA tome decisiones basándose en el sexo o la religión. Aunque el dato para ti es irrelevante, si la IA lo tiene, es un problema a nivel legal y de compliance... Hay que cumplir un marco ético que es lógico, no me parece mal que la IA no tenga una ideología".

“El sector salud tiene un contexto de negocio completamente regulado, por lo que hay que ser muy prudentes a la hora de avanzar con la IA”
Alfonso de Arteaga, experto sector sanitario

Por último, Carlos Luna de la Fuente, director de IT en RocaJunyent, explica que, “al menos en nuestro sector, la inteligencia artificial ya no es una ventaja competitiva, sino algo que es imprescindible tener. No puedes pensar en mantenerte en el sector si no estás utilizando esa tecnología. Utilizamos plataformas Legaltech especializadas en cuestiones jurídicas y también algunos desarrollos propios. Ahora bien, hay todo un proceso de formación para los perfiles más juniors, todo un proceso de desarrollo, de pensamiento crítico, de criterio jurídico, etcétera, que si lo delegas en una IA no lo vas a desarrollar jamás. Lo que en ningún caso se hace es que el junior, con este tipo de herramientas automáticamente pase a hacer un trabajo de senior. En nuestro caso, además, la supervisión humana es fundamental. No puede darse que salga un contrato o una demanda sin que haya ningún tipo de supervisión"..

“La IA es un empleado digital que complementa a las personas: aporta valor, automatiza tareas y ayuda a generar ventaja competitiva”
Alejandro Martos, director regional de Grandes Cuentas, Workday 

Un ejemplo muy interesante como colofón de una mesa redonda apasionante. Un contexto en el que la inteligencia artificial ya se da por sentada, considerada un elemento más del tablero de juego. Pero también un contexto en el que se mantiene bajo control su impacto. Se ha identificado su fuente de valor y se está implementando con éxito, sin olvidar el factor humano que, a la larga, seguirá siendo fundamental para el desarrollo futuro del negocio.