Le succès des grands modèles de langage tels que GPT a déclenché une frénésie de développeurs désireux de créer des applications basées sur l’IA. Mais la création de services d’IA peut s’avérer délicate, notamment en raison de la pénurie de développeurs qualifiés pour répondre à la demande croissante de nos jours.
C’est là qu’intervient Chaoyu Yang, un des premiers ingénieurs logiciels de la méga-corne Databricks, spécialisée dans les données. Avec ses cofondateurs, il a créé le cadre de développement de l’IA BentoML, qui vient d’annoncer un tour de financement de démarrage.
Dans une interview accordée à TechCrunch, Yang a expliqué que les services d’IA d’aujourd’hui sont souvent construits sur de multiples modèles d’apprentissage automatique, ce qui complique leur gestion et leur fonctionnement. De nombreux programmeurs entrant dans la mêlée viennent d’un milieu de développement d’applications ou de piles complètes, ce qui signifie qu’ils n’ont souvent pas les compétences nécessaires pour construire l’infrastructure d’IA requise, ce qui entraîne un processus de développement prolongé.
Une application d’IA de démonstration comme Visual ChatGPT de Microsoft, une mise à jour du chatbot qui lui permet de produire des réponses à partir de textes et d’images, par exemple, peut prendre au moins trois à six mois avant d’être prête pour la production, a déclaré M. Yang.
Alors que les géants de la technologie comme Microsoft disposent des moyens financiers et du capital humain nécessaires pour former des modèles d’IA et les utiliser dans le monde réel, les petites entreprises, selon M. Yang, collectent « des données précieuses qui peuvent bénéficier considérablement de l’IA » mais « manquent de ressources pour construire l’infrastructure nécessaire au développement ».
BentoML, qui fournit une API de haut niveau qui fait abstraction des détails de l’infrastructure nécessaire à l’exécution de modèles d’IA sur le nuage, appartient à un camp d’outils comme SageMaker qui veut faciliter le développement de services d’IA. Il s’agit d’un soi-disant cadre d’application de l’IA, un ensemble d’outils qui facilitent la création, l’expédition et la mise à l’échelle des applications de l’IA, comme un kit d’outils de construction que l’on utilise pour bâtir une maison.
Plus précisément, BentoML s’adresse aux scientifiques qui forment les modèles d’IA, aux ingénieurs DevOp qui gèrent leur cycle de vie et aux développeurs qui conçoivent les applications à partir des modèles.
Avec BentoML, les développeurs peuvent rendre Visual ChatGPT évolutif et rentable pour une utilisation en production en seulement deux jours, a déclaré Yang. Les utilisateurs ont également utilisé le cadre pour exécuter le générateur d’art Stable Diffusion et les LLM open source sur le nuage.
Yang a comparé son entreprise à Vercel, qui se concentre sur les développeurs frontaux et dont la dernière valorisation a dépassé le milliard de dollars. BentoML a pour objectif d’être le Vercel de l’IA, a-t-il déclaré.
Bien que Yang ait prédit que l’IA finirait par devenir plus apte à la production, il a admis qu’il ne pensait pas que la vague d’applications d’IA arriverait si tôt. Le fondateur s’attend à ce que les développeurs d’applications d’IA représentent plus de 90 % des utilisateurs de la plateforme à l’avenir.
« Si vous me posez la question il y a un an, je dirais que probablement 90 % des entreprises entraîneraient leurs propres modèles, mais les modèles de base qui ont récemment émergé sont si puissants qu’ils peuvent obtenir de bons résultats même avec un ensemble de données qu’ils n’ont jamais vu auparavant », a-t-il déclaré.
« Plutôt que de se concentrer sur l’entraînement des modèles, les développeurs n’ont plus qu’à travailler sur le réglage fin et l’ingénierie des produits, ce qui constitue en soi un goulot d’étranglement en raison de la pénurie de développeurs spécialisés dans l’IA. »
BentoML a été mis en open source en 2019 et a ensuite introduit une version SaaS auto-hébergée pour les clients d’entreprise. Il a acquis des utilisateurs de manière organique grâce à sa communauté open source, qui a quadruplé ses membres pour atteindre plus de 3 000 au cours de l’année écoulée, les géants sud-coréens des réseaux sociaux Line et Naver faisant partie de ses premiers adeptes.
Yang a refusé de divulguer le chiffre d’affaires de l’entreprise.
Les investisseurs prennent note de l’attrait de BentoML dans la communauté des développeurs. La startup a récemment levé 9 millions de dollars lors de son tour de financement de démarrage mené par DCM Ventures, avec la participation de Bow Capital. Le partenaire général de DCM, Hurst Lin, a rejoint le conseil d’administration de BentoML à la suite de ce tour de table.
L’exubérance du marché de l’IA a été une aubaine pour BentoML, mais l’évolution rapide du secteur rend également difficile pour l’équipe de jongler avec les objectifs à court et à long terme, a admis M. Yang.
« Il se peut que vous deviez construire des choses qui suivent la tendance actuelle, mais à long terme, nous voulons bien sûr avoir notre propre fossé. La question est de savoir comment équilibrer notre temps et nos ressources humaines entre les deux. »