Microsoft impulsa el desarrollo de aplicaciones de IA generativa más seguras y fiables

Microsoft ha anunciado nuevas herramientas en Azure AI Studio diseñadas para ayudar a los desarrolladores de aplicaciones de inteligencia artificial generativa a superar los retos de calidad y seguridad de la IA. Estas son las nuevas incorporaciones al porfolio de soluciones de Microsoft Azure AI:

--Prompt Shields. Para combatir los ataques de inyección de prompts, tanto los directos, conocidos como jailbreaks, como los indirectos, Microsoft ha introducido Prompt Shields para detectar entradas sospechosas en tiempo real y bloquearlas antes de que lleguen al modelo base. Este enfoque proactivo salvaguarda la integridad de los grandes sistemas de modelos de lenguaje (LLM) y las interacciones de los usuarios.

--Groundedness detection. Identificar las alucinaciones es crucial para mejorar la calidad y la fiabilidad de los sistemas de IA generativa. Microsoft ha anunciado la próxima disponibilidad de Groundedness detection, una nueva función diseñada para identificar las alucinaciones basadas en texto (casos en que un modelo genera con confianza resultados que no coinciden con el sentido común o carecen de datos de base), detectando "material no fundamentado" en el texto para mejorar la calidad de los resultados de LLM.

--Un mensaje de sistema de seguridad eficaz para dirigir aplicaciones. Además de añadir sistemas de seguridad como Azure AI Content Safety, para ayudar a crear mensajes de sistema eficaces, Microsoft ha anunciado que pronto estarán disponibles plantillas de mensajes de sistema de seguridad directamente en los playgrounds Azure AI Studio y Azure OpenAI Service de forma predeterminada. Desarrolladas para mitigar la generación de contenido dañino y el uso indebido, estas plantillas pueden ayudar a los desarrolladores a empezar a crear aplicaciones de alta calidad en menos tiempo.

--Evaluación de los riesgos y la seguridad de las solicitudes de LLM. Hoy en día, muchas organizaciones carecen de los recursos para realizar pruebas de estrés en sus aplicaciones de IA generativa para poder avanzar con confianza desde el prototipo hasta la producción. Para ayudarles, Microsoft ha presentado las evaluaciones automatizadas para nuevas métricas de riesgo y seguridad, disponibles en versión preview, que miden la susceptibilidad de una aplicación a los intentos de jailbreak la producción de contenido violento, sexual, relacionado con autolesiones, injusto y que incite al odio. También ofrecen explicaciones en lenguaje natural de los resultados de la evaluación para ayudar a mitigar los riesgos. Los desarrolladores pueden evaluar una aplicación utilizando su propio conjunto de datos de prueba o simplemente generar un conjunto de datos de prueba de alta calidad, utilizando plantillas de mensajes adversos desarrolladas por Microsoft Research.

--Supervisión de las implementaciones de Azure OpenAI Service. Microsoft presenta la monitorización de riesgos y seguridad en Azure OpenAI Service, que ayuda a los desarrolladores a visualizar el volumen, la gravedad y la categoría de las entradas del usuario y las salidas del modelo que fueron bloqueadas por sus filtros de contenido y listas de bloqueo de Azure OpenAI Service a lo largo del tiempo. Además de la supervisión y las perspectivas a nivel de contenido, se incluyen informes para detectar posibles abusos a nivel de usuario. Con estas nuevas capacidades de monitorización, las organizaciones pueden comprender mejor las tendencias en las aplicaciones y el comportamiento de los usuarios y aplicar esos conocimientos para ajustar las configuraciones de filtros de contenido, las listas de bloqueo y el diseño general de las aplicaciones.