Microsoft lance un nouveau service de modération basé sur l’IA, conçu pour favoriser des environnements et des communautés en ligne plus sûrs.
Baptisée Azure AI Content Safety, la nouvelle offre, disponible via la plateforme de produits Azure AI, propose une gamme de modèles d’IA formés pour détecter les contenus « inappropriés » dans les images et les textes. Les modèles – qui peuvent comprendre des textes en anglais, espagnol, allemand, français, japonais, portugais, italien et chinois – attribuent un score de gravité aux contenus signalés, indiquant aux modérateurs les contenus qui nécessitent une action.
« Microsoft travaille depuis plus de deux ans sur des solutions pour répondre au défi que représente l’apparition de contenus préjudiciables dans les communautés en ligne. Nous avons constaté que les systèmes existants ne prenaient pas efficacement en compte le contexte ou n’étaient pas capables de fonctionner dans plusieurs langues », a déclaré le porte-parole de Microsoft par courrier électronique. « Les nouveaux modèles (d’IA) sont capables de comprendre le contenu et le contexte culturel beaucoup mieux. Ils sont multilingues dès le départ[…]et fournissent des explications claires et compréhensibles, permettant aux utilisateurs de comprendre pourquoi un contenu a été signalé ou supprimé. »
Lors d’une démonstration à la conférence annuelle Build de Microsoft, Sarah Bird, responsable de l’IA chez Microsoft, a expliqué qu’Azure AI Content Safety est une version produite du système de sécurité qui alimente le chatbot de Microsoft dans Bing et Copilot, le service de génération de code alimenté par l’IA de GitHub.
« Nous le lançons maintenant comme un produit que les clients tiers peuvent utiliser », a déclaré M. Bird dans un communiqué.
On peut supposer que la technologie derrière Azure AI Content Safety s’est améliorée depuis son lancement pour Bing Chat au début du mois de février. Bing Chat a déraillé lors de son premier lancement en avant-première ; nous avons découvert que le chatbot diffusait des informations erronées sur les vaccins et qu’il écrivait un article haineux du point de vue d’Adolf Hitler. D’autres journalistes l’ont vu proférer des menaces et même leur faire honte pour l’avoir réprimandé.
Autre coup dur pour Microsoft, l’entreprise a licencié il y a quelques mois l’équipe chargée de l’éthique et de la société au sein de sa grande organisation chargée de l’IA. Microsoft n’a donc plus d’équipe dédiée pour s’assurer que les principes de l’IA sont étroitement liés à la conception des produits.
Si l’on fait abstraction de tout cela, Azure AI Content Safety – qui protège contre les contenus biaisés, sexistes, racistes, haineux, violents et autodestructeurs, selon Microsoft – est intégré à Azure OpenAI Service, le produit de Microsoft entièrement géré et axé sur l’entreprise, destiné à donner aux entreprises un accès aux technologies d’OpenAI avec des fonctions de gouvernance et de conformité supplémentaires. Mais Azure AI Content Safety peut également être appliqué à des systèmes non IA, tels que les communautés en ligne et les plateformes de jeux.
Le prix commence à 1,50 $ pour 1 000 images et 0,75 $ pour 1 000 enregistrements de texte.
Azure AI Content Safety est similaire à d’autres services de détection de toxicité alimentés par l’IA, notamment Perspective, géré par l’équipe technologique de lutte contre les abus de Google, et Jigsaw, et succède à l’outil Content Moderator de Microsoft. (On ne sait pas s’il est issu de l’acquisition par Microsoft de Two Hat, un fournisseur de contenu de modération, en 2021). Ces services, comme Azure AI Content Safety, offrent une note de zéro à 100 sur la similitude des nouveaux commentaires et images avec d’autres précédemment identifiés comme toxiques.
Mais il y a des raisons d’être sceptique à leur égard. Au-delà des premiers déboires de Bing Chat et des licenciements mal ciblés de Microsoft, des études ont montré que la technologie de détection de la toxicité par l’IA a encore du mal à surmonter les difficultés, notamment les préjugés à l’encontre de sous-ensembles spécifiques d’utilisateurs.
Il y a plusieurs années, une équipe de Penn State a constaté que les messages sur les médias sociaux concernant les personnes handicapées pouvaient être signalés comme plus négatifs ou toxiques par les modèles de détection du sentiment public et de la toxicité couramment utilisés. Dans une autre étude, les chercheurs ont montré que les anciennes versions de Perspective ne pouvaient souvent pas reconnaître les discours haineux qui utilisaient des insultes « récupérées » comme « queer » et des variations orthographiques telles que des caractères manquants.
Le problème s’étend au-delà des détecteurs de toxicité en tant que service. Cette semaine, un rapport du New York Times a révélé que huit ans après une controverse concernant des Noirs étiquetés à tort comme des gorilles par un logiciel d’analyse d’images, les géants de la technologie craignent toujours de répéter l’erreur.
Ces échecs s’expliquent en partie par le fait que les annotateurs – les personnes chargées d’ajouter des étiquettes aux ensembles de données d’entraînement qui servent d’exemples aux modèles – apportent leurs propres préjugés. Par exemple, il y a souvent des différences dans les annotations entre les étiqueteurs qui s’identifient comme Afro-Américains et membres de la communauté LGBTQ+ et les annotateurs qui ne s’identifient pas à l’un de ces deux groupes.
Pour résoudre certains de ces problèmes, Microsoft permet aux filtres d’Azure AI Content Safety d’être affinés en fonction du contexte. Bird explique :
Par exemple, la phrase « courir sur la colline et attaquer » utilisée dans un jeu serait considérée comme un niveau de violence moyen et bloquée si le système de jeu était configuré pour bloquer les contenus de gravité moyenne. Un ajustement pour accepter les niveaux de violence moyens permettrait au modèle de tolérer la phrase.
« Nous disposons d’une équipe d’experts en linguistique et en équité qui a travaillé à la définition des directives en tenant compte de la culture, de la langue et du contexte », a ajouté un porte-parole de Microsoft. « Nous avons ensuite entraîné les modèles d’IA à refléter ces directives… L’IA commettra toujours quelques erreurs, (cependant), donc pour les applications qui exigent que les erreurs soient presque inexistantes, nous recommandons d’utiliser un humain dans la boucle pour vérifier les résultats. »
L’un des premiers utilisateurs d’Azure AI Content Safety est Koo, une plateforme de blogs basée à Bangalore, en Inde, dont les utilisateurs parlent plus de 20 langues. Microsoft dit s’être associé à Koo pour relever les défis de la modération, comme l’analyse des mèmes et l’apprentissage des nuances familières dans les langues autres que l’anglais.
Nous n’avons pas eu l’occasion de tester Azure AI Content Safety avant son lancement, et Microsoft n’a pas répondu aux questions concernant ses méthodes d’annotation ou d’atténuation des préjugés. Mais soyez assurés que nous suivrons de près les performances d’Azure AI Content Safety dans la nature.
