Fastly mejora el rendimiento de la inteligencia artificial con un Acelerador de IA

Recomendados.... Hacia la mejor estrategia de datos: gestión, analítica e IA. Encuentro ITDM Group Acceder Combate las amenazas desconocidas con tecnologías Cisco (20 junio, 11.00 h) Webinar Diez cuestiones para redefinir las estrategias de Experiencia de Cliente en 2024 Leer

Fastly ha anunciado el lanzamiento de Fastly AI Accelerator, una solución de IA diseñada para crear una mejor experiencia para los desarrolladores al ayudar a mejorar el rendimiento y reducir los costes a través del uso de prompts similares para aplicaciones de grandes modelos de lenguaje (LLM).

Basado en la plataforma edge cloud de Fastly, y aprovechando su tecnología de almacenamiento en caché, AI Accelerator utiliza una pasarela de API especializada para mejorar drásticamente el rendimiento de las aplicaciones que utilizan LLM populares, comenzando con ChatGPT y ampliando la compatibilidad para incluir modelos adicionales.

Al utilizar Fastly AI Accelerator, los desarrolladores solo tienen que actualizar su aplicación para utilizar un nuevo punto final de API, lo que normalmente solo requiere cambiar una única línea de código. Fastly AI Accelerator implementará de forma transparente el almacenamiento en caché semántico para las API compatibles con OpenAI. Este enfoque va más allá del almacenamiento en caché tradicional, ya que Fastly AI Accelerator es capaz de comprender el contexto de las solicitudes y consultas, y enviará una respuesta similar si dos o más solicitudes son parecidas.

Las aplicaciones de IA más populares pueden procesar cientos de miles de llamadas o preguntas API al día. Es probable que muchas de las preguntas de los usuarios sean muy similares y que ya se hayan formulado antes. Sin el almacenamiento semántico en caché, cada llamada al LLM requiere volver al proveedor para obtener la información, lo que aumenta los costes y la latencia. Sin embargo, el almacenamiento en caché semántico de Fastly, AI Accelerator, proporciona una respuesta almacenada en caché para consultas repetidas directamente desde la plataforma edge de alto rendimiento de Fastly, en lugar de volver al proveedor de IA, lo que ayuda a ofrecer una mejor experiencia al mejorar el rendimiento al tiempo que reduce los costes.

"En Fastly, siempre estamos escuchando a los desarrolladores, para entender tanto lo que les entusiasma como cuáles son sus mayores puntos de dolor", ha explicado Anil Dash, vicepresidente de Experiencia del Desarrollador de Fastly. "Fastly AI Accelerator da a los desarrolladores exactamente lo que quieren, haciendo que la experiencia de sus LLM favoritos sea mucho más rápida y eficiente, para que puedan centrarse en lo que hace que su app o sitio sea único, y lo que mantiene a sus usuarios felices."