Fastly ayuda a llevar la IA generativa a su máximo rendimiento con Fastly AI Accelerator

Fastly ha anunciado la disponibilidad general de Fastly AI Accelerator. Esta solución de almacenamiento en caché semántico ha sido diseñada para abordar los desafíos críticos de rendimiento y costes a los que se enfrentan los desarrolladores con aplicaciones de IA generativa basadas en modelos de lenguaje de gran tamaño (LLM), ofreciendo tiempos de respuesta hasta 9 veces más rápidos de media.

Para aprovechar sus capacidades de caché inteligente y semántico, los desarrolladores solo tienen que actualizar su aplicación con un nuevo endpoint de API, lo que generalmente requiere cambiar una única línea de código. Con esta sencilla implementación, en lugar de realizar una llamada al proveedor de IA para cada solicitud individual, Fastly AI Accelerator utiliza la plataforma Fastly Edge Cloud para proporcionar respuestas en caché a las consultas repetidas. Este enfoque mejora el rendimiento, reduce los costes y, en última instancia, ofrece una experiencia superior para los desarrolladores.

"La IA está ayudando a los desarrolladores a crear nuevas experiencias, pero con demasiada frecuencia a costa del rendimiento para los usuarios finales. Hoy en día, muchas plataformas de IA hacen esperar a los usuarios", afirma Kip Compton, dDirector de Producto de Fastly. "Con Fastly AI Accelerator, ya estamos logrando tiempos de respuesta hasta 9 veces más rápidos, y esto es solo el principio. Queremos que todos se unan a nosotros en la misión de hacer que la IA sea más rápida y eficiente".

Inicialmente lanzado en fase beta con soporte para OpenAI ChatGPT, Fastly AI Accelerator ahora también está disponible con Microsoft Azure AI Foundry.