Les entreprises sont de plus en plus curieuses de l’IA et de la manière dont elle peut être utilisée pour augmenter (potentiellement) la productivité. Mais elles se méfient également des risques. Dans une récente enquête de Workday, les entreprises citent l’actualité et la fiabilité des données sous-jacentes, les biais potentiels, la sécurité et la confidentialité comme les principaux obstacles à la mise en œuvre de l’IA.
Pressentant une opportunité commerciale, Scott Clark, qui a précédemment cofondé la plateforme de formation et d’expérimentation de l’IA SigOpt (rachetée par Intel en 2020), a entrepris de construire ce qu’il décrit comme « un logiciel qui rend l’IA sûre, fiable et sécurisée ». Clark a lancé une entreprise, Distributional, pour faire décoller la version initiale de ce logiciel, dans le but de mettre à l’échelle et de normaliser les tests pour différents cas d’utilisation de l’IA.
« Distributional construit la plateforme d’entreprise moderne pour les tests et l’évaluation de l’IA », a déclaré Clark à TechCrunch lors d’une interview par e-mail. « À mesure que la puissance des applications d’IA augmente, le risque de préjudice augmente également. Notre plateforme est conçue pour permettre aux équipes de produits d’IA d’identifier, de comprendre et de traiter de manière proactive et continue les risques liés à l’IA avant qu’ils ne nuisent à leurs clients en production. »
M. Clark a eu l’idée de lancer Distribution après avoir été confronté à des problèmes d’IA liés à la technologie chez Intel après l’acquisition de SigOpt. Alors qu’il supervisait une équipe en tant que vice-président et directeur général de l’IA et du calcul haute performance chez Intel, il s’est rendu compte qu’il était pratiquement impossible de s’assurer que des tests d’IA de haute qualité avaient lieu à une cadence régulière.
« Les leçons que j’ai tirées de cette convergence d’expériences ont mis en évidence la nécessité de tester et d’évaluer l’IA », poursuit M. Clark. « Qu’il s’agisse d’hallucinations, d’instabilité, d’imprécision, d’intégration ou de dizaines d’autres défis potentiels, les équipes ont souvent du mal à identifier, à comprendre et à traiter les risques liés à l’IA par le biais de tests. Pour tester correctement l’IA, il faut une compréhension approfondie et distributive, ce qui est un problème difficile à résoudre. »
Le produit principal de Distributional vise à détecter et à diagnostiquer les « dommages » de l’IA à partir de grands modèles de langage (comme le ChatGPT d’OpenAI) et d’autres types de modèles d’IA, en essayant de déterminer de manière semi-automatique quels modèles tester, comment les tester et où les tester. Le logiciel offre aux organisations une vue « complète » des risques liés à l’IA, selon M. Clark, dans un environnement de pré-production qui s’apparente à un bac à sable.
« La plupart des équipes choisissent d’assumer le risque lié au comportement du modèle et acceptent que les modèles aient des problèmes. explique M. Clark. « Certaines peuvent essayer de faire des tests manuels ad hoc pour trouver ces problèmes, ce qui demande beaucoup de ressources, est désorganisé et intrinsèquement incomplet. D’autres peuvent essayer de détecter passivement ces problèmes avec des outils de surveillance passive après que l’IA est en production … (C’est pourquoi) notre plateforme comprend un cadre de test extensible pour tester et analyser en permanence la stabilité et la robustesse, un tableau de bord de test configurable pour visualiser et comprendre les résultats des tests, et une suite de test intelligente pour concevoir, hiérarchiser et générer la bonne combinaison de tests. »
M. Clark est resté vague sur les détails du fonctionnement de tout cela – et sur les grandes lignes de la plate-forme de Distributional en l’occurrence. Pour sa défense, il a déclaré qu’il était encore très tôt et que Distributional était encore en train de concevoir le produit en collaboration avec des entreprises partenaires.
Étant donné que Distributional est en phase de pré-revenu et de pré-lancement et qu’il n’y a pas encore de clients payants, comment peut-il espérer concurrencer les plateformes de test et d’évaluation de l’IA déjà présentes sur le marché ? Il y en a beaucoup après tout, y compris Kolena, Prolific, Giskard et Patronus – dont beaucoup sont bien financées. Et comme si la concurrence n’était pas assez intense, des géants de la technologie comme Google Cloud, AWS et Azure proposent également des outils d’évaluation de modèles.
M. Clark estime que Distributional se différencie par l’orientation entreprise de son logiciel. « Dès le premier jour, nous construisons un logiciel capable de répondre aux exigences de confidentialité des données, d’évolutivité et de complexité des grandes entreprises dans des secteurs non réglementés ou très réglementés », a-t-il déclaré. « Les types d’entreprises avec lesquelles nous concevons notre produit ont des exigences qui vont au-delà des offres existantes sur le marché, qui tendent à être des outils axés sur les développeurs individuels. »
Si tout se passe comme prévu, Distributional commencera à générer des revenus dans le courant de l’année prochaine, une fois que sa plate-forme sera disponible et que quelques-uns de ses partenaires concepteurs seront devenus des clients payants. Distributional a annoncé aujourd’hui la clôture d’un tour de table de 11 millions de dollars dirigé par Martin Casado d’Andreessen Horowitz, avec la participation d’Operator Stack, de Point72 Ventures et d’investisseurs providentiels de SV Angel.
« Nous espérons inaugurer un cycle vertueux pour nos clients », a déclaré M. Clark. « Grâce à de meilleurs tests, les équipes auront davantage confiance dans le déploiement de l’IA dans leurs applications. Au fur et à mesure qu’elles déploieront l’IA, elles verront son impact croître de manière exponentielle. Et au fur et à mesure qu’elles verront cet impact augmenter, elles l’appliqueront à des problèmes plus complexes et plus significatifs, ce qui nécessitera encore plus de tests pour s’assurer qu’elle est sûre, fiable et sécurisée.