Weights & Biases, l’une des plateformes de développement d’IA et d’apprentissage automatique les plus prolifiques, a obtenu une nouvelle tranche de financement de la part de l’ancien PDG de GitHub, Nat Friedman, et de l’ancien partenaire de Y Combinator, Daniel Gross.
Friedman et Gross, aux côtés des investisseurs existants Coatue, Insight Partners, Felicis, Bond, BloombergBeta et Sapphire, ont investi 50 millions de dollars dans Weights & ; Biases lors d’un tour de table stratégique qui valorise l’entreprise à 1,25 milliard de dollars. Cet investissement, qui porte à 250 millions de dollars le total des fonds levés par la startup, intervient alors que Weights & ; Biases se prépare à lancer Prompts, un nouveau produit conçu pour aider les utilisateurs à contrôler et à évaluer les performances des grands modèles de langage (LLM), à l’instar du GPT-4 d’OpenAI.
L’investissement de 50 millions de dollars est bien inférieur à la précédente levée de fonds de Weights & ; Biases, sa série C, qui s’élevait à environ 135 millions de dollars. Mais Lavanya Shukla, vice-présidente de la croissance chez Weights & ; Biases, a qualifié cet investissement d’opportuniste.
« Nous pensons que donner aux employés des outils d’apprentissage automatique devrait être un enjeu pour les directeurs techniques et leurs équipes », a-t-elle déclaré à TechCrunch lors d’une interview par e-mail. « En s’attaquant aux tests, à la sécurité et à la fiabilité, Weights & ; Biases se situe à un point critique du développement d’un modèle d’apprentissage automatique réussi.
Lukas Biewald et Chris Van Pelt ont cofondé Weights & ; Biases en 2017, après avoir passé des années à travailler sur des outils destinés aux ingénieurs en apprentissage automatique et aux scientifiques des données. Les deux hommes avaient précédemment lancé Figure Eight, anciennement connu sous le nom de CrowdFlower, afin de recruter des crowdworkers pour étiqueter des données d’entraînement pour les algorithmes d’apprentissage automatique. (Figure Eight a été rachetée par Appen en 2019 pour 175 millions de dollars).
« Les deux ont identifié un problème plus important : les praticiens de l’apprentissage automatique ne disposaient pas d’un grand système d’enregistrement pour leurs expériences », a déclaré Shukla. « Cette science hautement expérimentale et pourtant cruciale était consignée dans des feuilles de calcul et des captures d’écran dégradées. »
Biewald et Van Pelt ont donc uni leurs forces à celles d’un troisième cofondateur, Shawn Lewis, ancien élève de Google et développeur, pour tenter de résoudre ce problème. Au cours des années suivantes, ils ont mis au point le MVP de Weights & ; Biases : des flux de travail pour soutenir le cycle de vie du développement de l’apprentissage automatique.
Weights & ; Biases appartient à une catégorie de plateformes connues sous le nom de MLOps, ou opérations d’apprentissage automatique, qui permettent aux scientifiques des données de créer de nouveaux modèles d’apprentissage automatique et de les exécuter à travers des flux de travail répétables et automatisés qui les déploient en production. La demande en IA a augmenté, tout comme la demande en plateformes MLOps. Allied Market Research estime que le segment MLOps représentera 23,1 milliards de dollars d’ici 2023.
De nouvelles plateformes MLOps apparaissent régulièrement. Pour n’en citer que quelques-unes, citons Seldon, FedML, Qwak, Galileo, Striveworks, Arize, Comet et Tecton. Sans compter les offres des opérateurs historiques comme Azure, AWS et Google Cloud.
Mais ce qui différencie Weights & ; Biases, c’est son approche des MLOps, affirme Shukla.
Tout d’abord, tous les produits de Weights & ; Biases ont été conçus en collaboration avec des partenaires et des clients afin de s’assurer qu’ils répondent aux besoins de ces derniers, explique Shukla. Deuxièmement, la plateforme met l’accent sur les outils permettant d’interroger les ensembles de données utilisés pour former les modèles, ce qui permet aux clients de vérifier les problèmes qui pourraient survenir, comme les biais et la présence d’informations personnellement identifiables – idéalement avant que ces ensembles de données ne soient mis en production.
Plateforme de surveillance Weights & ; Biases pour les opérations d’apprentissage automatique. Crédits d’image : Poids et biais
« Weights & ; Biases est la principale plateforme d’apprentissage automatique qui aide les développeurs à élaborer plus rapidement de meilleurs modèles », a déclaré M. Shukla. « Nous construisons des outils légers et interopérables qui permettent de suivre rapidement les expériences, de versionner et d’itérer sur les ensembles de données, d’évaluer les performances des modèles, de reproduire les modèles, de visualiser les résultats et de repérer les régressions, et de partager les résultats avec les collègues. Cela permet aux ingénieurs en apprentissage automatique d’itérer rapidement sur leurs pipelines d’apprentissage automatique avec la certitude que leurs ensembles de données et leurs modèles sont suivis et versionnés dans un système d’enregistrement fiable ».
Quels que soient les autres avantages de Weights & ; Biases, le premier arrivé est très certainement l’un d’entre eux.
La solution de la plateforme est intégrée dans plus de 20 000 référentiels open source, affirme Shukla, et Weights & ; Biases a été cité dans des centaines d’articles de recherche universitaire sur l’apprentissage automatique. Il s’agit également de l’ensemble d’outils de prédilection pour les constructeurs de modèles d’IA générative les plus en vue et les mieux financés, notamment OpenAI, Aleph Alpha, Cohere, Anthropic et Hugging Face.
« OpenAI entraîne tous les modèles sur les poids et les biais. Avec des centaines d’employés menant des milliers d’expériences, il est essentiel qu’OpenAI dispose d’un moyen de tester, d’identifier les problèmes et de déboguer rapidement ses modèles », a déclaré M. Shukla. « OpenAI doit également effectuer de nombreux entraînements sur de petits sous-ensembles de ses données. Grâce à Weights & ; Biases, ils ont pu entraîner GPT-4 plus rapidement ».
Au-delà de la cohorte d’IA générative, Weights & ; Biases compte 700 000 utilisateurs – contre 100 000 en 2021 – et plus de 1 000 utilisateurs payants. Son équipe, quant à elle, est passée à plus de 200 personnes, la plupart basées à son siège de San Francisco.
Weights & ; Biases vise à accroître cette base de clients avec Prompts, son nouveau produit auquel il est fait allusion, qui permet aux utilisateurs d’interroger les résultats d’un LLM et d’affiner les LLM eux-mêmes.
« Les LLM peuvent réduire le nombre de personnes nécessaires pour former des modèles, mais ils augmenteront le nombre de personnes dont les entreprises ont besoin pour affiner, interfacer et créer des applications avec ces modèles », a déclaré M. Shukla. « L’objectif de Prompts est également de servir une nouvelle catégorie d’utilisateurs et de changer la façon dont les grands laboratoires construisent des modèles d’apprentissage automatique. En plus des ingénieurs et des spécialistes de la mise au point, les chercheurs et les entreprises qui construisent des modèles internes uniques disposeront de plus d’outils pour améliorer leurs modèles. »
Quant à Weights & ; Biases, il aura une raison de continuer à développer sa suite MLOps.