Il ne faut pas grand-chose pour que GenAI débite des fausses vérités et des contre-vérités.
La semaine dernière en a fourni un exemple, avec les chatbots de Microsoft et de Google qui ont déclaré le vainqueur du Super Bowl avant même que le match ne commence. Les vrais problèmes commencent cependant lorsque les hallucinations de la GenAI deviennent néfastes – en approuvant la torture, en renforçant les stéréotypes ethniques et raciaux et en écrivant de manière convaincante sur les théories du complot.
Un nombre croissant de fournisseurs, des opérateurs historiques comme Nvidia et Salesforce aux startups comme CalypsoAI, proposent des produits qu’ils prétendent capables d’atténuer le contenu indésirable et toxique de la GenAI. Mais il s’agit de boîtes noires ; à moins de tester chaque produit indépendamment, il est impossible de savoir comment ces produits de lutte contre les hallucinations se comparent entre eux – et s’ils tiennent réellement leurs promesses.
Shreya Rajpal a vu là un problème majeur et a fondé une entreprise, Guardrails AI, pour tenter de le résoudre.
« La plupart des organisations (…) sont confrontées aux mêmes problèmes liés au déploiement responsable d’applications d’IA et s’efforcent de trouver la solution la meilleure et la plus efficace « , a déclaré Shreya Rajpal à TechCrunch lors d’une interview par e-mail. « Ils finissent souvent par réinventer la roue en termes de gestion de l’ensemble des risques qui sont importants pour eux. »
À l’instar de Rajpal, les enquêtes suggèrent que la complexité – et par extension le risque – est l’un des principaux obstacles à l’adoption de la GenAI par les organisations.
Un récent sondage de Cnvrg.io, filiale d’Intel, a révélé que la conformité et la confidentialité, la fiabilité, le coût élevé de la mise en œuvre et le manque de compétences techniques étaient des préoccupations partagées par environ un quart des entreprises qui mettent en œuvre des applications GenAI. Dans une autre enquête de Riskonnect, un fournisseur de logiciels de gestion des risques, plus de la moitié des dirigeants ont déclaré qu’ils craignaient que les employés prennent des décisions sur la base d’informations inexactes provenant d’outils GenAI.
Rajpal, qui a précédemment travaillé pour la startup de conduite autonome Drive.ai et, après l’acquisition de Drive.ai par Apple, dans le groupe des projets spéciaux d’Apple, a cofondé Guardrails avec Diego Oppenheimer, Safeer Mohiuddin et Zayd Simjee. Oppenheimer a précédemment dirigé Algorithmia, une plateforme d’opérations d’apprentissage automatique, tandis que Mohiuddin et Simjee ont occupé des postes de direction technique et d’ingénierie chez AWS.
D’une certaine manière, ce que propose Guardrails n’est pas si différent de ce qui existe déjà sur le marché. La plateforme de la startup agit comme une enveloppe autour des modèles GenAI, en particulier les modèles de génération de texte open source et propriétaires (par exemple GPT-4 d’OpenAI), pour rendre ces modèles ostensiblement plus dignes de confiance, plus fiables et plus sûrs.
Crédits d’image : Garde-fous AI
Mais Guardrails se distingue par son modèle commercial open source – la base de code de la plateforme est disponible sur GitHub, libre d’utilisation – et par son approche crowdsourcée.
Par l’intermédiaire d’une place de marché appelée Guardrails Hub, Guardrails permet aux développeurs de soumettre des composants modulaires appelés « validateurs » qui sondent les modèles GenAI pour certaines mesures de comportement, de conformité et de performance. Les validateurs peuvent être déployés, réaffectés et réutilisés par d’autres développeurs et par les clients de Guardrails, servant ainsi d’éléments de base pour des solutions personnalisées de modération de modèles GenAI.
« Avec le Hub, notre objectif est de créer un forum ouvert pour partager les connaissances et trouver la manière la plus efficace d’adopter l’IA, mais aussi de construire un ensemble de garde-fous réutilisables que toute organisation peut adopter », a déclaré Rajpal.
Les validateurs du Guardrails Hub vont de simples vérifications basées sur des règles à des algorithmes permettant de détecter et d’atténuer les problèmes dans les modèles. Il en existe actuellement une cinquantaine, allant des détecteurs d’hallucinations et de violations de politiques aux filtres pour les informations propriétaires et les codes non sécurisés.
« La plupart des entreprises procèdent à des vérifications générales et uniformes pour détecter les blasphèmes, les informations personnelles identifiables, etc. « Cependant, il n’existe pas de définition unique et universelle de ce qui constitue une utilisation acceptable pour une organisation et une équipe spécifiques. Il y a des risques spécifiques à l’organisation qui doivent être suivis – par exemple, les politiques de communication sont différentes d’une organisation à l’autre. Avec le Hub, nous permettons aux gens d’utiliser les solutions que nous fournissons telles quelles, ou de les utiliser pour obtenir une solution de départ solide qu’ils peuvent ensuite personnaliser en fonction de leurs besoins particuliers. »
L’idée d’un centre pour les garde-corps des modèles est intrigante. Mais le sceptique en moi se demande si les développeurs prendront la peine de contribuer à une plateforme – naissante de surcroît – sans la promesse d’une certaine forme de compensation.
Rajpal est optimiste et pense qu’ils le feront, ne serait-ce que pour la reconnaissance – et pour aider de manière désintéressée l’industrie à construire une GenAI « plus sûre ».
« Le Hub permet aux développeurs de voir les types de risques auxquels d’autres entreprises sont confrontées et les garde-fous qu’elles mettent en place pour résoudre et atténuer ces risques », a-t-elle ajouté. « Les validateurs sont une implémentation open source de ces garde-fous que les organisations peuvent appliquer à leurs cas d’utilisation.
Guardrails AI, qui ne facture encore aucun service ou logiciel, a récemment levé 7,5 millions de dollars lors d’un tour de table de démarrage mené par Zetta Venture Partners avec la participation de Factory, Pear VC, Bloomberg Beta, GitHub Fund et d’autres experts, dont le célèbre spécialiste de l’IA Ian Goodfellow. Selon M. Rajpal, les fonds récoltés serviront à agrandir l’équipe de Guardrails, composée de six personnes, et à financer d’autres projets open source.
« Nous parlons à de nombreuses personnes – entreprises, petites startups et développeurs individuels – qui ne parviennent pas à livrer des applications GenAI en raison du manque d’assurance et d’atténuation des risques nécessaires », poursuit-elle. « Il s’agit d’un nouveau problème qui n’a jamais existé à cette échelle, en raison de l’avènement du ChatGPT et des modèles de fondation partout. Nous voulons être les premiers à résoudre ce problème. »