La capacité des GPU à effectuer de nombreux calculs en parallèle les rend bien adaptés à l’exécution de l’IA la plus performante d’aujourd’hui. Mais il est de plus en plus difficile de se procurer des GPU, car les entreprises de toutes tailles augmentent leurs investissements dans les produits alimentés par l’IA.
Les cartes d’IA les plus performantes de Nvidia ont été épuisées l’année dernière, et le PDG du fabricant de puces TSMC a laissé entendre que l’offre générale pourrait être limitée jusqu’en 2025. Le problème est si grave qu’il retient l’attention de la Commission fédérale du commerce des États-Unis. L’agence a récemment annoncé qu’elle enquêtait sur plusieurs partenariats entre des startups spécialisées dans l’IA et des géants du cloud tels que Google et AWS, afin de déterminer si les startups pouvaient bénéficier d’un accès privilégié et anticoncurrentiel au calcul des GPU.
Quelle est la solution ? Cela dépend de vos ressources. Les géants de la technologie comme Meta, Google, Amazon et Microsoft achètent tous les GPU qu’ils peuvent et développent leurs propres puces personnalisées. Les entreprises disposant de moins de ressources sont à la merci du marché, mais il n’en sera pas toujours ainsi, estiment John Yue et Michael Yu.
Yue et Yu sont les cofondateurs d’Inference.ai, une plateforme qui fournit une infrastructure en tant que service de calcul GPU dans le nuage par le biais de partenariats avec des centres de données tiers. Inference utilise des algorithmes pour faire correspondre les charges de travail des entreprises avec les ressources GPU, explique M. Yue, dans le but d’éliminer les incertitudes liées au choix et à l’acquisition de l’infrastructure.
« Inference clarifie le paysage matériel confus pour les fondateurs et les développeurs avec les nouvelles puces de Nvidia, Intel, AMD, Groq (et ainsi de suite) – permettant un débit plus élevé, une latence plus faible et un coût plus bas », a déclaré M. Yue. « Nos outils et notre équipe permettent aux décideurs de filtrer une grande partie du bruit et de trouver rapidement ce qui convient le mieux à leur projet. »
Inference fournit essentiellement aux clients une instance de GPU dans le nuage, ainsi que 5 To de stockage d’objets. La société affirme que, grâce à sa technologie de correspondance algorithmique et à ses accords avec les opérateurs de centres de données, elle peut offrir des calculs GPU nettement moins chers et plus disponibles que les principaux fournisseurs de clouds publics.
« Le marché des GPU hébergés est confus et change tous les jours », a déclaré M. Yue. « De plus, nous avons vu les prix varier jusqu’à 1000 % pour la même configuration. Nos outils et notre équipe permettent aux décideurs de filtrer une grande partie du bruit et de trouver rapidement ce qui convient le mieux à leur projet.
TechCrunch n’a pas été en mesure de mettre ces affirmations à l’épreuve. Mais qu’elles soient vraies ou non, Inference a de la concurrence – et beaucoup de concurrence.
Voir : CoreWeave, une opération de minage de crypto-monnaie transformée en fournisseur de GPU, qui devrait enregistrer un chiffre d’affaires d’environ 1,5 milliard de dollars d’ici 2024. Son proche concurrent, Lambda Labs, a obtenu 300 millions de dollars de capital-risque en octobre dernier. Il y a aussi Together – un nuage de GPU – sans oublier des startups comme Run.ai et Exafunction, qui visent à réduire les coûts de développement de l’IA en faisant abstraction du matériel sous-jacent.
Les investisseurs d’Inference semblent penser qu’il y a de la place pour un autre acteur. La startup a récemment bouclé un tour de table de 4 millions de dollars auprès de Cherubic Ventures, Maple VC et Fusion Fund, qui, selon M. Yue, servira à développer l’infrastructure de déploiement d’Inference.
Dans une déclaration envoyée par courriel, Matt Cheng de Cherubic a ajouté :
« Les exigences en matière de capacité de traitement ne cesseront d’augmenter, car l’IA est à la base d’un grand nombre de produits et de systèmes actuels. Nous sommes convaincus que l’équipe d’Inference, grâce à ses connaissances en matière de matériel informatique et d’infrastructure en nuage, a ce qu’il faut pour réussir. Nous avons décidé d’investir parce que les services de calcul et de stockage accélérés sont le moteur de la révolution de l’IA, et que le produit Inference alimentera la prochaine vague de croissance de l’IA. »