Kolena, une startup qui crée des outils pour tester, étalonner et valider les performances des modèles d’IA, a annoncé aujourd’hui qu’elle avait levé 15 millions de dollars lors d’un tour de table mené par Lobby Capital avec la participation de SignalFire et Bloomberg Beta.
Cette nouvelle somme porte le total des fonds levés par Kolena à 21 millions de dollars, et servira à développer l’équipe de recherche de l’entreprise, à établir des partenariats avec des organismes de réglementation et à étendre les efforts de vente et de marketing de Kolena, a déclaré Mohamed Elgendy, cofondateur et PDG, à TechCrunch lors d’une interview par e-mail.
« Les cas d’utilisation de l’IA sont énormes, mais l’IA manque de confiance de la part des constructeurs et du public », a déclaré Elgendy. « Cette technologie doit être déployée de manière à améliorer les expériences numériques, et non à les détériorer. Le génie ne reviendra pas dans la bouteille, mais en tant qu’industrie, nous pouvons nous assurer que nous faisons les bons souhaits. »
M. Elgendy a lancé Kolena en 2021 avec Andrew Shi et Gordon Hart, avec lesquels il a travaillé pendant environ six ans dans des divisions d’IA au sein d’entreprises telles qu’Amazon, Palantir, Rakuten et Synapse. Avec Kolena, le trio a cherché à construire un « cadre de qualité de modèle » qui offre des tests unitaires et des tests de bout en bout pour les modèles dans un ensemble personnalisable et adapté à l’entreprise.
« Avant tout, nous voulions fournir un nouveau cadre pour la qualité des modèles, et pas seulement un outil qui simplifie les approches actuelles », a déclaré M. Elgendy. « Kolena permet d’exécuter en continu des tests unitaires ou au niveau du scénario. Il permet également de tester de bout en bout l’ensemble du produit d’IA et d’apprentissage automatique, et pas seulement des sous-composants. »
À cette fin, Kolena peut fournir des informations permettant d’identifier les lacunes dans la couverture des données de test des modèles d’IA, explique Elgendy. Et la plateforme intègre des fonctions de gestion des risques qui aident à suivre les risques associés au déploiement d’un système d’IA donné (ou de plusieurs systèmes, selon le cas). En utilisant l’interface utilisateur de Kolena, les utilisateurs peuvent créer des cas de test pour évaluer la performance d’un modèle et voir les raisons potentielles de la sous-performance d’un modèle tout en comparant sa performance à celle de divers autres modèles.
Avec Kolena, les équipes peuvent gérer et exécuter des tests pour des scénarios spécifiques auxquels le produit d’IA devra faire face, plutôt que d’appliquer une mesure « globale » comme un score de précision, qui peut masquer les détails de la performance d’un modèle », a déclaré Elgendy. « Par exemple, un modèle dont la précision de détection des voitures est de 95 % n’est pas nécessairement meilleur qu’un modèle dont la précision est de 89 %. Chacun a ses propres forces et faiblesses – par exemple, détecter des voitures dans des conditions météorologiques ou des niveaux d’occultation variables, repérer l’orientation d’une voiture, etc.
Si Kolena fonctionne comme annoncé, il pourrait en effet être utile aux scientifiques des données qui passent beaucoup de temps à construire des modèles pour alimenter les applications d’IA.
Crédits d’image : Kolena
Selon une enquête, les ingénieurs en IA déclarent ne consacrer que 20 % de leur temps à l’analyse et au développement de modèles, le reste étant consacré à l’obtention et au nettoyage des données utilisées pour les entraîner. Un autre rapport révèle qu’en raison des difficultés rencontrées pour développer des modèles précis et performants, seuls 54 % des modèles passent finalement du stade de projet pilote à celui de la production.
Mais d’autres acteurs construisent des outils pour tester, contrôler et valider les modèles. Outre les acteurs historiques tels qu’Amazon, Google et Microsoft, de nombreuses start-ups pilotent de nouvelles approches pour mesurer la précision des modèles avant – et après – leur mise en production.
Prolific a récemment levé 32 millions de dollars pour sa plateforme de formation et de test de stress des modèles d’IA en utilisant un réseau de testeurs financé par la foule. Robust Intelligence et Deepchecks, quant à eux, créent leurs propres ensembles d’outils pour les entreprises afin d’empêcher les modèles d’IA d’échouer – et de les valider en permanence. Enfin, Bobidi récompense les développeurs qui testent les modèles d’IA des entreprises.
Mais M. Elgendy affirme que la plateforme de Kolena est l’une des rares à permettre aux clients de prendre le « contrôle total » des types de données, de la logique d’évaluation et des autres composants qui constituent le test d’un modèle d’IA. Il souligne également l’approche de Kolena en matière de protection de la vie privée, qui élimine la nécessité pour les clients de télécharger leurs données ou leurs modèles sur la plateforme ; Kolena ne stocke que les résultats des tests de modèles pour des analyses comparatives ultérieures, qui peuvent être supprimées sur demande.
« Minimiser le risque d’un système d’IA et d’apprentissage automatique nécessite des tests rigoureux avant le déploiement, mais les entreprises ne disposent pas d’outils ou de processus solides autour de la validation des modèles », a déclaré Elgendy. Les tests de modèles ad hoc sont la norme aujourd’hui, et malheureusement, il en va de même pour les preuves de concepts d’apprentissage automatique qui échouent. Kolena se concentre sur l’évaluation complète et approfondie des modèles. Nous donnons aux responsables de l’apprentissage automatique, aux chefs de produit et aux dirigeants une visibilité inégalée sur la couverture des tests d’un modèle et sur les exigences fonctionnelles spécifiques au produit, ce qui leur permet d’influer efficacement sur la qualité du produit dès le départ. »
Kolena, qui a son siège à San Francisco et emploie 28 personnes à temps plein, n’a pas voulu communiquer le nombre de clients avec lesquels elle travaille actuellement. Mais Elgendy a déclaré que la société adopte une « approche sélective » pour s’associer à des entreprises « critiques » pour le moment, et prévoit de déployer des ensembles d’équipes pour les organisations de taille moyenne et les startups d’IA en phase de démarrage au deuxième trimestre 2024.