Red Hat expone su visión sobre el futuro de la IA agéntica en el Red Hat Summit

Red Hat ha centrado esta edición de su gran congreso anual en la inteligencia artificial agéntica, la soberanía digital y la virtualización. Durante el primer día del evento, Stephen Watt, Distinguished Engineer & Vice President, Office of the CTO de Red Hat, ha hablado sobre la paradoja agéntica y el papel de la IA híbrida como respuesta a los retos de coste, rendimiento y control que plantea la adopción de agentes de IA.

El experto destaca cómo la industria tecnológica está integrando rápidamente los agentes de IA en el software empresarial para transformar los procesos, pero alerta sobre el desafío que plantean los modelos de consumo de IA que hacen estos agentes, bajo la fórmula as-a-Service. Esto, en su opinión, “apunta a desencadenar una versión de la paradoja de la nube aplicada a la IA: la paradoja agéntica”.

 

La paradoja agéntica

Stephen Watt explica que esta consiste en que, a medida que se escala la adopción de esta tecnología para agilizar los procesos de negocio mediante modelos de vanguardia potentes, la estrategia se vuelve insostenible. Considera que “los costes por tokens erosionan los márgenes de beneficio, la latencia impredecible puede degradar el rendimiento y el envío de datos sensibles a API públicas puede vulnerar la confidencialidad, la soberanía y los requisitos normativos”. Por ello, considera que “las empresas deben ir más allá del simple consumo y avanzar hacia una estrategia arquitectónica híbrida que priorice la capacidad de elección”.

 

Un modelo insostenible

El experto afirma que ya se están viendo claras señales de lo insostenible que resulta aplicar un modelo de consumo como servicio, y que “hay empresas que agotan todo su presupuesto de gasto en la nube en tokens a mitad del segundo trimestre”. En su opinión, nos estamos acercando a un punto crítico y hacen falta nuevos enfoques para la inferencia de modelos que permitan a las organizaciones “recuperar el control sobre el coste, el rendimiento y los datos”.

Considera que estamos dejando atrás la época en la que simplemente se usan los modelos, y que “ahora debemos diseñar los sistemas que los sustentan”. Cree probable que la adopción siga un patrón híbrido, en el que “parte del consumo de tokens utilizará un modelo gestionado, mientras que otra parte se ejecutará de forma autogestionada en la nube pública o en centros de datos empresariales”.

 

El papel del Open Source en el ámbito de la IA

En palabras de Stephen Watt, gran parte del trabajo que realizan los grupos de Investigación y Tecnologías Emergentes de Red Hat “se centra en la relación entre las capas de inteligencia e infraestructura, y da lugar a proyectos innovadores de la comunidad open source, como una base reforzada y basada en imágenes, desarrollada recientemente para agentes de IA”. Opina que “el open source aporta la estabilidad que requieren los entornos de producción” para las cargas de trabajo de IA, gracias a que las tratan con el mismo rigor que el software empresarial tradicional. Y, en su opinión, “este cambio arquitectónico permite a las organizaciones pasar de una visión centrada en el modelo a un enfoque centrado en el sistema”, donde “el valor reside en la fiabilidad de todo el stack, no en la API de un único proveedor”.

 

Recuperar el control en cualquier infraestructura

Ante la necesidad de reducir los costes de inferencia en una implementación preexistente de agentes, Stephen Watt opina que el camino inicial para recuperar el equilibrio financiero y establecer un medio de control y consistencia híbridos, “suele pasar por un proxy o router de inferencia”, lo que requiere cambios arquitectónicos mínimos. Esto, además, permite a las organizaciones “cambiar entre proveedores de servicio o modelos autogestionados que ofrezcan un mejor valor”.

Señala que este es el motivo que llevó a Red Hat a crear proyectos como vLLM Semantic Router y llm-d, pensados para explorar nuevas ideas en torno a la inteligencia artificial. Comenta que “esta investigación y desarrollo pioneros son los bloques de construcción que, con el tiempo, dan forma a las plataformas de Red Hat”. Y que “proyectos como vLLM Semantic Router aportan el enrutamiento inteligente y eficiente necesario para navegar por un panorama multimodal”.

 

Hacia un modelo híbrido

Según la visión de Red Hat, el siguiente paso para las empresas es explorar soluciones autogestionadas, basadas en “las últimas propuestas de modelos de pesos abiertos servidas por una plataforma de inferencia de alto rendimiento como vLLM y alojados en su propia infraestructura”. Esto plantea un gran desafío, por tener que sustituir los procesos de negocio impulsados por agentes, que se consumen como servicio, por modelos abiertos. Y cree que las empresas también necesitan reproducir el patrón as-a-Service para pasar de ser consumidoras de tokens a proveedoras de IA, lo que implica asumir nuevos compromisos y afrontar la dificultad de hacer esta transición sin perder eficacia en los procesos.

En este sentido, Watt destaca que cada empresa dispone de datos únicos y los modelos entrenados con datos públicos no pueden tener el contexto necesario ni el entrenamiento específico que se requiere. Pero cree que “los modelos de pesos abiertos que se ejecutan localmente pueden combinarse con estas fuentes de datos privadas para mejorar de forma segura la precisión y las capacidades de los agentes”.

Apunta a que, aunque algunos modelos de pesos abiertos pueden implementarse directamente, “otros requieren trabajo para cerrar la brecha de rendimiento mediante fine-tuning, distillation y reinforcement learning”, pero pronostica que, a medida que el reinforcement learning entre en el mercado, se ganará precisión en los modelos y cargas de IA agéntica. Esto abrirá las puertas a la adopción de arquitecturas híbridas que combinarán modelos autogestionados, para las cargas de trabajo principales, con otros que se consumirán a través de una interfaz gestionada por terceros.

En palabras de Stephen Watt, este es el camino que propone Red Hat, como especialista en soluciones híbridas y, dice, “del mismo modo que ofrecimos una plataforma híbrida para el consumo de nube con Red Hat Enterprise Linux y Red Hat OpenShift, Red Hat AI Enterprise ofrece una plataforma híbrida para despliegues de agentes e inferencia, independientemente del modelo que utilices o de dónde esté alojado”. Por ello, cree que esto “demuestra que la elección llega de la mano del open source. El futuro de la IA es híbrido, y las plataformas para construirlo ya están aquí, en Red Hat”.