Liz O’Sullivan s’est donné pour mission de rendre l’IA « un peu plus sûre », selon ses propres termes.
Membre du Comité consultatif national sur l’IA, qui rédige des recommandations à l’intention de la Maison-Blanche et du Congrès sur la manière de favoriser l’adoption de l’IA tout en réglementant ses risques, Liz O’Sullivan a passé 12 ans du côté commercial des startups d’IA à superviser l’étiquetage des données et les opérations, ainsi que la réussite des clients. En 2019, elle a pris un poste au Surveillance Technology Oversight Project, organisant des campagnes pour protéger les libertés civiles des New-Yorkais, et a cofondé Arthur AI, une startup qui s’associe à la société civile et au monde universitaire pour faire la lumière sur la « boîte noire » de l’IA.
Aujourd’hui, Mme O’Sullivan se prépare à son prochain acte avec Vera, une startup qui crée une boîte à outils permettant aux entreprises d’établir des « politiques d’utilisation acceptable » pour l’IA générative – le type de modèles d’IA qui génèrent du texte, des images, de la musique et plus encore – et d’appliquer ces politiques à des modèles open source et personnalisés.
Vera a clôturé aujourd’hui un tour de financement de 2,7 millions de dollars mené par Differential Venture Partners avec la participation d’Essence VC, Everywhere VC, Betaworks, Greycroft et ATP Ventures. Portant le total des fonds levés par Vera à 3,3 millions de dollars, cette nouvelle somme servira à agrandir l’équipe de cinq personnes de Vera, à faire de la recherche et du développement et à étendre les déploiements dans les entreprises, explique M. O’Sullivan.
« Vera a été fondée parce que nous avons vu, de première main, le pouvoir de l’IA pour résoudre des problèmes réels, tout comme nous avons vu les façons sauvages et farfelues dont elle peut causer des dommages aux entreprises, au public et au monde », a déclaré O’Sullivan à TechCrunch lors d’une interview par courriel. « Nous devons guider cette technologie de manière responsable dans le monde, et alors que les entreprises se précipitent pour définir leurs stratégies d’IA générative, nous entrons dans une ère où il est essentiel que nous allions au-delà des principes de l’IA et que nous passions à la pratique. Vera est une équipe qui peut réellement aider.
O’Sullivan a cofondé Vera en 2021 avec Justin Norman, anciennement chercheur chez Cisco, scientifique en chef du laboratoire de recherche en IA de Cloudera et vice-président de la science des données chez Yelp. En septembre, M. Norman a été nommé membre du conseil scientifique et technologique du ministère de la marine, qui fournit des avis et des conseils à la marine américaine sur les questions et les politiques relatives aux fonctions scientifiques, techniques et connexes,
La plateforme de Vera tente d’identifier les risques dans les entrées des modèles – par exemple, une invite telle que « écrire une lettre de motivation pour un poste d’ingénieur logiciel » à un modèle de génération de texte – et de bloquer, d’expurger ou de transformer autrement les demandes qui pourraient contenir des éléments tels que des informations personnellement identifiables, des identifiants de sécurité, de la propriété intellectuelle et des attaques par injection de texte. (Les attaques par injection d’invites, essentiellement des invites malveillantes soigneusement formulées, sont souvent utilisées pour « tromper » les modèles afin qu’ils contournent les filtres de sécurité).
Selon M. O’Sullivan, Vera impose également des contraintes sur ce que les modèles peuvent « dire » en réponse aux messages-guides, ce qui permet aux entreprises de mieux contrôler le comportement de leurs modèles en production.
Comment Vera y parvient-il ? En utilisant ce que M. O’Sullivan décrit comme des « modèles de langage et de vision propriétaires » qui s’interposent entre les utilisateurs et les modèles internes ou tiers (par exemple, le GPT-4 d’OpenAI) et détectent les contenus problématiques. Selon M. O’Sullivan, Vera peut bloquer les invites ou les réponses « inappropriées » d’un modèle, quelle que soit leur forme, qu’il s’agisse d’un texte, d’un code, d’une image ou d’une vidéo.
« Notre approche technologique approfondie de l’application des politiques va au-delà des formes passives de documentation et de listes de contrôle pour s’attaquer aux points directs où ces risques se produisent », a déclaré M. O’Sullivan. « Notre solution (…) empêche les réponses les plus risquées qui peuvent inclure des éléments criminels ou encourager les utilisateurs à s’automutiler ».
Les entreprises rencontrent certainement des difficultés – principalement liées à la conformité – lorsqu’elles adoptent des modèles d’IA générative à leurs fins. Ces derniers mois, de grandes entreprises comme Apple, Walmart et Verizon ont interdit à leurs employés d’utiliser des outils tels que ChatGPT d’OpenAI.
Les modèles offensants sont évidemment mauvais pour la publicité. Aucune marque ne souhaite que le modèle de génération de texte qui alimente son chatbot de service à la clientèle, par exemple, débite des épithètes raciales ou donne des conseils d’autodestruction.
Mais ce journaliste se demande si l’approche de Vera est aussi fiable que le suggère M. O’Sullivan.
Aucun modèle n’est parfait – pas même celui de Vera – et il a été démontré à maintes reprises que les modèles de modération de contenu sont sujets à toute une série de biais. Certains modèles d’IA formés pour détecter la toxicité d’un texte considèrent que les phrases en anglais vernaculaire afro-américain, la grammaire informelle utilisée par certains Noirs américains, sont disproportionnellement « toxiques ». Par ailleurs, certains algorithmes de vision artificielle qualifient les thermomètres détenus par les Noirs d' »armes à feu », tandis que les thermomètres détenus par les sujets à la peau claire sont qualifiés d' »appareils électroniques ».
Pour être juste envers O’Sullivan, elle ne prétend pas que les modèles de Vera sont à l’épreuve des balles, mais seulement qu’ils peuvent éliminer les pires comportements des modèles d’IA générative. Il peut y avoir une part de vérité dans cette affirmation (en fonction du modèle, du moins) et de la mesure dans laquelle Vera a itéré et affiné ses propres modèles.
« Le cycle actuel de l’engouement pour l’IA occulte les risques très sérieux et très présents qui affectent les humains vivant aujourd’hui », a déclaré M. O’Sullivan. « L’IA est un outil puissant et, comme tout outil puissant, elle doit être activement contrôlée afin que ses avantages l’emportent sur ses risques, et c’est la raison d’être de Vera.
Les défauts éventuels de Vera mis à part, l’entreprise a de la concurrence sur le marché naissant des technologies de modération des modèles.
À l’instar de Vera, NeMo Guardrails de Nvidia et Einstein Trust Layer de Salesforce tentent d’empêcher les modèles de génération de texte de conserver ou de régurgiter des données sensibles, telles que les bons de commande et les numéros de téléphone des clients. Microsoft propose un service d’IA pour modérer le contenu des textes et des images, y compris celui des modèles. Ailleurs, des startups comme HiddenLayer, DynamoFL et Protect AI créent des outils pour défendre les modèles d’IA générative contre les attaques d’ingénierie rapide.
Pour autant que je puisse en juger, la proposition de valeur de Vera est qu’elle s’attaque à toute une série de menaces liées à l’IA générative en même temps – ou qu’elle promet de le faire à tout le moins. En supposant que la technologie fonctionne comme annoncé, cela ne manquera pas d’intéresser les entreprises à la recherche d’un guichet unique pour la modération des contenus et la lutte contre les attaques des modèles d’IA.
En effet, O’Sullivan affirme que Vera a déjà une poignée de clients. La liste d’attente pour d’autres clients s’ouvre aujourd’hui.
« Les directeurs techniques, les RSSI et les DSI du monde entier s’efforcent de trouver l’équilibre idéal entre la productivité améliorée par l’IA et les risques que ces modèles présentent », a déclaré M. O’Sullivan. « Vera débloque les capacités d’IA générative avec l’application de politiques qui peuvent être transférées non seulement aux modèles d’aujourd’hui, mais aussi aux modèles futurs sans le verrouillage du fournisseur qui se produit lorsque vous choisissez un seul modèle ou une approche unique de l’IA générative. »