Microsoft annonce un nouvel outil pour détecter et corriger le contenu hallucinatoire dans les résultats de lIA

Azure AI Content Safety est le service d’IA de Microsoft qui permet de détecter le contenu nuisible généré par l’IA dans les applications, les services et les plateformes. Cet utilitaire fournit des API de texte et d'image, permettant aux développeurs d'identifier le contenu indésirable.

L’API Groundedness dans Azure AI Content Safety est capable d’identifier si la réponse d’un grand modèle de langage est basée sur un document source sélectionné par l’utilisateur. Étant donné que les grands modèles linguistiques actuels peuvent produire des informations inexactes ou fausses (informations illusoires), cette API aide les développeurs à identifier ce contenu dans les données de sortie de l'IA.

Aujourd’hui, Microsoft a annoncé un aperçu du correctif. Par conséquent, les développeurs peuvent désormais détecter et corriger le contenu « illusoire » dans les données de sortie de l’IA en temps réel, garantissant ainsi que les utilisateurs finaux reçoivent toujours un contenu généré par l’IA factuellement exact. Cette fonctionnalité fonctionne comme suit :

• Le développeur de l'application active les capacités d'édition.
• Lorsqu'une donnée non fondée est détectée, une nouvelle demande est envoyée au modèle d'IA pour corriger l'erreur.
• L'algorithme LLM évaluera le score global sur la base de documents faisant autorité.
• Les phrases qui ne sont pas pertinentes pour le document sous-jacent authentifié peuvent être entièrement filtrées.
• Si le contenu est dérivé d'un document de base, le modèle de base réécrira la phrase non fondée pour qu'elle corresponde au document.

Parallèlement à la fonctionnalité d’édition, Microsoft a également annoncé un aperçu public de Hybrid Azure AI Content Safety (AACS). Cette fonctionnalité permet aux développeurs de mettre en œuvre des mécanismes de sécurité du contenu dans le cloud et sur l'appareil. Le SDK intégré d'AACS permet des contrôles de sécurité du contenu en temps réel directement sur l'appareil, même sans connexion Internet.

Enfin, Microsoft a annoncé un aperçu de Protected Materials Detection for Code qui peut être utilisé avec des applications d'IA génératrices de code pour détecter si LLM génère du code protégé. Cette fonctionnalité était auparavant disponible uniquement via Azure OpenAI Service. Microsoft met désormais à la disposition des clients la détection de matériaux protégés pour le code, qui peut être utilisée conjointement avec d’autres modèles d’IA générateurs de code.