Le climat de financement des startups spécialisées dans les puces d’IA, autrefois aussi ensoleillé qu’une journée de la mi-juillet, commence à s’assombrir à mesure que Nvidia affirme sa domination.
Selon un rapport récent, les entreprises américaines de puces n’ont levé que 881 millions de dollars de janvier 2023 à septembre 2023 – contre 1,79 milliard de dollars au cours des trois premiers trimestres de 2022. La société de puces d’IA Mythic s’est retrouvée à court de liquidités en 2022 et a été presque obligée de cesser ses activités, tandis que Graphcore, un rival autrefois bien capitalisé, est aujourd’hui confronté à des pertes croissantes.
Mais une startup semble avoir trouvé le succès dans l’espace ultra-concurrentiel – et de plus en plus encombré – des puces d’IA.
Hailo, cofondée en 2017 par Orr Danon et Avi Baum, précédemment directeur technique pour la connectivité sans fil chez l’entreprise de microprocesseurs Texas Instruments, conçoit des puces spécialisées pour exécuter des charges de travail d’IA sur des appareils de périphérie. Les puces de Hailo exécutent des tâches d’IA avec une utilisation de la mémoire et une consommation d’énergie inférieures à celles d’un processeur classique, ce qui en fait un candidat de choix pour les appareils compacts, hors ligne et alimentés par batterie, tels que les voitures, les caméras intelligentes et la robotique.
« J’ai cofondé Hailo avec la mission de rendre l’IA haute performance disponible à grande échelle en dehors des centres de données », a déclaré Danon à TechCrunch. « Nos processeurs sont utilisés pour des tâches telles que la détection d’objets, la segmentation sémantique et ainsi de suite, ainsi que pour l’amélioration d’images et de vidéos par l’IA. Plus récemment, ils ont été utilisés pour exécuter de grands modèles de langage (LLM) sur des appareils périphériques, notamment des ordinateurs personnels, des unités de contrôle électronique d’infotainment et bien plus encore. »
De nombreuses start-ups spécialisées dans les puces d’IA n’ont pas encore décroché de contrat majeur, sans parler des dizaines ou des centaines de contrats. Mais Hailo compte aujourd’hui plus de 300 clients, selon M. Danon, dans des secteurs tels que l’automobile, la sécurité, la vente au détail, l’automatisation industrielle, les appareils médicaux et la défense.
Pariant sur les perspectives d’avenir de Hailo, une cohorte de bailleurs de fonds comprenant l’homme d’affaires israélien Alfred Akirov, l’importateur automobile Delek Motors et la plateforme de capital-risque OurCrowd ont investi 120 millions de dollars dans Hailo cette semaine, prolongeant ainsi la série C de l’entreprise.
« Nous sommes stratégiquement positionnés pour apporter l’IA aux appareils périphériques de manière à élargir considérablement la portée et l’impact de cette nouvelle technologie remarquable », a déclaré M. Danon.
Vous vous demandez peut-être si une startup comme Hailo vraiment ont-ils une chance face aux géants des puces comme Nvidia et, dans une moindre mesure, Arm, Intel et AMD ? Un expert, Christos Kozyrakis, professeur de génie électrique et d’informatique à Stanford, pense que oui. Il estime que les puces accélératrices comme celles de Hailo deviendront « absolument nécessaires » avec la prolifération de l’IA.
« L’écart d’efficacité énergétique entre les CPU et les accélérateurs est trop important pour être ignoré », a déclaré Kozyrakis à TechCrunch. « Vous utilisez les accélérateurs pour l’efficacité des tâches clés (par exemple, l’IA) et vous avez un ou deux processeurs sur le côté pour la programmabilité.
Kozyrakis fait considère que la longévité représente un défi pour le leadership de Hailo – par exemple, si les architectures de modèles d’IA pour lesquelles ses puces sont conçues tombent en désuétude. L’assistance logicielle pourrait également poser problème, selon M. Kozyrakis, si une masse critique de développeurs n’est pas disposée à apprendre à utiliser l’outillage construit autour des puces de Hailo.
« La plupart des défis concernant les puces personnalisées se situent dans l’écosystème logiciel », a déclaré Kozyrakis. « C’est là que Nvidia, par exemple, a un énorme avantage sur les autres entreprises dans le domaine de l’IA, car elle investit dans les logiciels pour ses architectures depuis plus de 15 ans.
Mais avec 340 millions de dollars en banque et un effectif d’environ 250 personnes, M. Danon est confiant quant à l’avenir de Hailo, du moins à court terme. Il estime que la technologie de la startup répond à de nombreux défis que les entreprises rencontrent avec l’inférence IA basée sur le cloud, en particulier la latence, le coût et l’évolutivité.
« Les modèles d’IA traditionnels reposent sur une infrastructure basée sur le cloud, qui souffre souvent de problèmes de latence et d’autres difficultés », a déclaré M. Danon. « Ils sont incapables de fournir des informations et des alertes en temps réel, et leur dépendance à l’égard des réseaux compromet la fiabilité et l’intégration avec le nuage, ce qui pose des problèmes de confidentialité des données. Hailo relève ces défis en proposant des solutions qui fonctionnent indépendamment du cloud, ce qui leur permet de gérer des quantités beaucoup plus importantes de traitement de l’IA. »
Curieux de connaître le point de vue de Danon, j’ai posé une question sur l’IA générative et sa forte dépendance à l’égard du nuage et des centres de données distants. Hailo considère certainement que le modèle descendant actuel, centré sur le nuage (par exemple le modus operandi d’OpenAI) est une menace existentielle ?
M. Danon a déclaré qu’au contraire, l’IA générative est à l’origine d’une nouvelle demande pour le matériel de Hailo.
« Ces dernières années, nous avons constaté une augmentation de la demande d’applications d’IA de pointe dans la plupart des secteurs, de la sécurité aéroportuaire à l’emballage alimentaire », a-t-il déclaré. « La nouvelle montée en puissance de l’IA générative stimule encore davantage cette demande, car nous voyons des demandes de traitement local des LLM de la part de clients non seulement dans les secteurs de l’informatique et de l’automobile, mais aussi dans l’automatisation industrielle, la sécurité et d’autres secteurs. »
Qu’en est-il de cela ?