Il y a beaucoup de choses qui peuvent mal tourner avec la GenAI – en particulier la GenAI de tierce partie. Elle invente des choses. Elle est biaisée et toxique. Et elle peut enfreindre les règles du droit d’auteur. Selon une étude récente du MIT Sloan Management Review et du Boston Consulting Group, les outils d’IA de tiers sont responsables de plus de 55 % des échecs liés à l’IA dans les organisations.
Il n’est donc pas surprenant que certaines entreprises hésitent encore à adopter cette technologie.
Et si la GenAI était assortie d’une garantie ?
C’est l’idée que Karthik Ramakrishnan, entrepreneur et ingénieur électricien, a eue il y a plusieurs années alors qu’il travaillait chez Deloitte en tant que cadre supérieur. Il avait cofondé deux entreprises « AI-first », Gallop Labs et Blu Trumpet, et avait fini par se rendre compte que la confiance – et la possibilité de quantifier les risques – freinait l’adoption de l’IA.
« À l’heure actuelle, presque toutes les entreprises cherchent à mettre en œuvre l’IA pour accroître leur efficacité et rester en phase avec le marché », a déclaré Ramakrishnan à TechCrunch lors d’une interview par e-mail. « Pour ce faire, beaucoup se tournent vers des fournisseurs tiers et mettent en œuvre leurs modèles d’IA sans avoir une compréhension complète de la qualité des produits… L’IA progresse à un rythme si rapide que les risques et les préjudices évoluent constamment. »
M. Ramakrishnan s’est donc associé à Dan Adamson, expert en algorithmes de recherche et fondateur de deux start-ups, pour créer Armilla AI, qui offre des garanties sur les modèles d’IA aux entreprises clientes.
Vous vous demandez peut-être comment Armilla peut faire cela, étant donné que la plupart des modèles sont des boîtes noires ou qu’ils sont protégés par des licences, des abonnements et des API. Je me suis posé la même question. La réponse de M. Ramakrishnan est qu’il faut procéder à une analyse comparative et adopter une approche prudente en matière d’acquisition de clients.
Armilla prend un modèle – qu’il soit open source ou propriétaire – et effectue des évaluations pour « vérifier sa qualité », en s’appuyant sur le paysage réglementaire mondial de l’IA. L’entreprise teste des éléments tels que les hallucinations, les préjugés raciaux et sexistes et l’équité, la robustesse générale et la sécurité à travers un éventail d’applications théoriques et de cas d’utilisation, en s’appuyant sur sa technologie d’évaluation interne.
Crédits d’image : Armilla
Si le modèle passe la rampe, Armilla l’accompagne de sa garantie, qui rembourse à l’acheteur du modèle tous les frais qu’il a payés pour l’utiliser.
« Ce que nous offrons réellement aux entreprises, c’est la confiance dans la technologie qu’elles achètent auprès de fournisseurs d’IA tiers », a déclaré M. Ramakrishnan. « Les entreprises peuvent s’adresser à nous et nous demander d’évaluer les fournisseurs qu’elles envisagent d’utiliser. À l’instar des tests de pénétration qu’elles effectuent pour les nouvelles technologies, nous effectuons des tests de pénétration pour l’IA. »
J’ai d’ailleurs demandé à Ramakrishnan s’il existait des modèles Armilla n’aurait pas pour des raisons éthiques – par exemple un algorithme de reconnaissance faciale provenant d’un fournisseur connu pour ses relations commerciales avec des acteurs douteux. Il a ajouté : « Nous ne voulons pas tester les algorithmes de reconnaissance faciale pour des raisons éthiques :
« Il serait non seulement contraire à notre éthique, mais aussi à notre modèle d’entreprise, qui repose sur la confiance, de produire des évaluations et des rapports qui donnent une fausse confiance dans des modèles d’IA qui sont problématiques pour un client et pour la société. D’un point de vue juridique, nous n’accepterons pas de clients pour des modèles qui sont interdits par l’UE, qui ont été interdits, ce qui est le cas de certains systèmes de reconnaissance faciale et de catégorisation biométrique, par exemple – mais les applications qui tombent dans la catégorie « risque plus élevé » telle que définie par la loi européenne sur l’IA, oui. »
Le concept de garantie et de couverture de l’IA n’est pas nouveau, ce qui a franchement surpris l’auteur de ces lignes. L’année dernière, Munich Re a lancé un produit d’assurance, aiSure, conçu pour protéger contre les pertes dues à des modèles d’IA potentiellement peu fiables, en soumettant les modèles à des tests de référence similaires à ceux d’Armilla. En dehors des garanties, un nombre croissant de fournisseurs, dont OpenAI, Microsoft et AWS, offrent des protections contre les violations de droits d’auteur qui pourraient résulter du déploiement de leurs outils d’IA.
Mais Ramakrishnan affirme que l’approche d’Armilla est unique.
« Notre évaluation touche un large éventail de domaines, y compris les KPI, les processus, la performance, la qualité des données et les critères qualitatifs et quantitatifs, et nous le faisons à une fraction du coût et du temps », a-t-il ajouté. « Nous évaluons les modèles d’IA sur la base des exigences énoncées dans la législation, comme la loi sur l’IA de l’UE ou la loi sur les biais d’embauche liés à l’IA à NYC – NYC Local Law 144 – et d’autres réglementations étatiques, comme la réglementation proposée par le Colorado sur les tests quantitatifs de l’IA ou la circulaire de l’assurance de New York sur l’utilisation de l’IA dans la souscription ou la tarification. Nous sommes également prêts à mener les évaluations requises par d’autres réglementations émergentes au fur et à mesure de leur entrée en vigueur, comme la loi canadienne sur l’IA et les données. »
Armilla, qui a lancé une couverture fin 2023, soutenue par les transporteurs Swiss Re, Greenlight Re et Chaucer, affirme avoir une dizaine de clients, dont une entreprise de soins de santé qui applique GenAI pour traiter les dossiers médicaux. Ramakrishnan me dit que la base de clients d’Armilla a augmenté de 2 fois par mois depuis le quatrième trimestre 2023.
« Nous servons deux publics principaux : les entreprises et les vendeurs d’IA tiers », a déclaré Ramakrishnan. « Les entreprises utilisent notre garantie pour protéger les fournisseurs d’IA tiers qu’elles achètent. Les fournisseurs tiers utilisent notre garantie comme un sceau d’approbation de la fiabilité de leur produit, ce qui contribue à raccourcir leurs cycles de vente. »
Les garanties pour l’IA sont intuitivement logiques. Mais une partie de moi se demande si Armilla sera en mesure de suivre l’évolution rapide des politiques en matière d’IA (par exemple, la loi de la ville de New York sur la partialité des algorithmes d’embauche, la loi de l’UE sur l’IA, etc.
Ramakrishnan a balayé cette inquiétude d’un revers de main.
« La réglementation se développe rapidement dans de nombreuses juridictions indépendantes », a-t-il déclaré, « et il sera essentiel de comprendre les nuances de la législation dans le monde entier. Il n’y a pas de norme unique que nous pourrions appliquer à l’échelle mondiale, et nous devons donc tout regrouper. C’est un défi, mais cela a l’avantage de nous créer un ‘fossé' ».
Armilla – basée à Toronto et employant 13 personnes – a récemment levé 4,5 millions de dollars dans le cadre d’un tour de table de démarrage mené par Mistral (à ne pas confondre avec la startup d’IA du même nom) avec la participation de Greycroft, Differential Venture Capital, Mozilla Ventures, Betaworks Ventures, MS&AD Ventures, 630 Ventures, Morgan Creek Digital, Y Combinator, Greenlight Re et Chaucer. Portant le total des fonds levés à 7 millions de dollars, M. Ramakrishnan a déclaré que ces fonds seront consacrés à l’extension de l’offre de garantie existante d’Armilla ainsi qu’à l’introduction de nouveaux produits.
« L’assurance jouera le rôle le plus important dans la gestion des risques liés à l’IA, et Armilla est à l’avant-garde du développement de produits d’assurance qui permettront aux entreprises de déployer des solutions d’IA en toute sécurité », a déclaré Ramakrishnan.