Une spin-off du MIT cofondée par Daniela Rus, une sommité de la robotique, a pour objectif de construire des systèmes d’IA à usage général alimentés par un type de modèle d’IA relativement nouveau appelé « réseau neuronal liquide ».
La spin-off, judicieusement nommée Liquid AI, est sortie de la clandestinité ce matin et a annoncé qu’elle avait levé 37,5 millions de dollars – un montant substantiel pour un tour d’amorçage en deux étapes – auprès de sociétés de capital-risque et d’organisations telles que OSS Capital, PagsGroup, Automattic, la société mère de WordPress, Samsung Next, Bold Capital Partners et ISAI Cap Venture, ainsi que d’investisseurs providentiels tels que Tom Preston Werner, cofondateur de GitHub, Tobias Lütke, cofondateur de Shopify, et Bob Young, cofondateur de Red Hat.
Cette tranche valorise Liquid AI à 303 millions de dollars.
Ramin Hasani (PDG), Mathias Lechner (directeur technique) et Alexander Amini (directeur scientifique) rejoignent Rus au sein de l’équipe fondatrice de Liquid AI. Hasani était auparavant le principal chercheur en IA de Vanguard avant de rejoindre le MIT en tant qu’associé postdoctoral et associé de recherche, tandis que Lechner et Amini sont des chercheurs de longue date du MIT, ayant contribué – avec Hasani et Rus – à l’invention des réseaux neuronaux liquides.
Vous vous demandez peut-être ce que sont les réseaux neuronaux liquides ? Mon collègue Brian Heater a beaucoup écrit à ce sujet, et je vous encourage vivement à lire son récent entretien avec Rus sur le sujet. Mais je vais faire de mon mieux pour couvrir les points essentiels.
Un article de recherche intitulé « Liquid Time-constant Networks », publié à la fin de l’année 2020 par Hasani, Rus, Lechner, Amini et d’autres, a mis les réseaux neuronaux liquides sur le devant de la scène après plusieurs années d’hésitations ; les réseaux neuronaux liquides en tant que concept existent depuis 2018.
Crédits d’image : MIT CSAIL
« L’idée a été inventée à l’origine à l’Université technologique de Vienne, en Autriche, dans le laboratoire du professeur Radu Grosu, où j’ai obtenu mon doctorat et Mathias Lechner sa maîtrise », a déclaré Hasani à TechCrunch lors d’une interview par courrier électronique. « Le travail a ensuite été affiné et mis à l’échelle dans le laboratoire de Rus au MIT CSAIL, où Amini et Rus ont rejoint Mathias et moi. »
Les réseaux neuronaux liquides sont constitués de « neurones » régis par des équations qui prédisent le comportement de chaque neurone au fil du temps, comme la plupart des autres architectures de modèles modernes. Le caractère « liquide » de l’expression « réseaux neuronaux liquides » fait référence à la flexibilité de l’architecture ; inspirés par les « cerveaux » des vers ronds, les réseaux neuronaux liquides sont non seulement beaucoup plus petits que les modèles d’IA traditionnels, mais ils nécessitent également beaucoup moins de puissance de calcul pour être exécutés.
Je pense qu’il est utile de comparer un réseau neuronal liquide à un modèle d’IA génératif typique.
GPT-3, le prédécesseur du modèle de génération de texte et d’analyse d’images GPT-4 d’OpenAI, contient environ 175 milliards de paramètres et ~50 000 neurones – les « paramètres » étant les parties du modèle apprises à partir des données d’entraînement qui définissent essentiellement les compétences du modèle sur un problème (dans le cas de GPT-3, la génération de texte). En revanche, un réseau neuronal liquide formé pour une tâche telle que la navigation d’un drone dans un environnement extérieur peut contenir seulement 20 000 paramètres et moins de 20 neurones.
D’une manière générale, moins de paramètres et de neurones se traduisent par moins de calculs nécessaires pour former et exécuter le modèle, une perspective attrayante à une époque où la capacité de calcul de l’IA est à son maximum. Un réseau neuronal liquide conçu pour conduire une voiture de manière autonome pourrait en théorie fonctionner sur un Raspberry Pi, pour donner un exemple concret.
La petite taille des réseaux neuronaux liquides et leur architecture simple offrent l’avantage supplémentaire de pouvoir être interprétés. C’est une question d’intuition : déterminer la fonction de chaque neurone à l’intérieur d’un réseau neuronal liquide est une tâche plus facile à gérer que de déterminer la fonction des quelque 50 000 neurones du GPT-3 (bien que des efforts raisonnablement fructueux aient été déployés dans ce sens).
Il existe déjà des modèles à quelques paramètres capables de conduire de manière autonome, de générer des textes, etc. Mais les réseaux neuronaux liquides n’ont pas que des avantages.
L’autre caractéristique attrayante – et sans doute plus unique – des réseaux neuronaux liquides est leur capacité à adapter leurs paramètres de « réussite » au fil du temps. Les réseaux prennent en compte des séquences de données, par opposition aux tranches isolées ou aux instantanés que la plupart des modèles traitent, et ajustent l’échange de signaux entre leurs neurones de manière dynamique. Ces qualités permettent aux réseaux neuronaux liquides de faire face aux changements dans leur environnement et dans les circonstances, même s’ils n’ont pas été formés pour anticiper ces changements, comme les conditions météorologiques changeantes dans le contexte de la conduite autonome.
Lors de tests, les réseaux neuronaux liquides ont devancé d’autres algorithmes de pointe dans la prédiction de valeurs futures dans des ensembles de données allant de la chimie atmosphérique à la circulation automobile. Mais ce qui est encore plus impressionnant – du moins pour cet auteur – c’est ce qu’ils ont réalisé dans le domaine de la navigation autonome.
En début d’année, Rus et le reste de l’équipe de Liquid AI ont entraîné un réseau neuronal liquide sur des données collectées par un pilote de drone humain professionnel. Ils ont ensuite déployé l’algorithme sur une flotte de quadrotors, qui ont été soumis à des tests de longue distance, de suivi de cible et autres dans une série d’environnements extérieurs, y compris une forêt et un quartier urbain dense.
Selon l’équipe, le réseau neuronal liquide a battu d’autres modèles entraînés pour la navigation, parvenant à prendre des décisions qui ont conduit les drones vers des cibles dans des espaces précédemment inexplorés, même en présence de bruit et d’autres défis. En outre, le réseau neuronal liquide était le seul modèle capable de s’adapter de manière fiable à des scénarios qu’il n’avait jamais vus, sans aucun ajustement.
La recherche et le sauvetage par drone, la surveillance de la faune et la livraison figurent parmi les applications les plus évidentes des réseaux neuronaux liquides. Mais M. Rus et le reste de l’équipe de Liquid AI affirment que l’architecture est adaptée à l’analyse de tous les phénomènes qui fluctuent dans le temps, y compris les réseaux électriques, les relevés médicaux, les transactions financières et les phénomènes météorologiques violents. Tant qu’il existe un ensemble de données séquentielles, comme une vidéo, les réseaux neuronaux liquides peuvent s’y entraîner.
Qu’est-ce que l’IA liquide la startup espère-t-elle réaliser avec cette nouvelle (et puissante) architecture ? Tout simplement la commercialisation.
« Nous sommes en concurrence avec des entreprises de modèles de fondation qui construisent des GPT », a déclaré M. Hasani, sans citer de noms mais en faisant un geste non subtil vers OpenAI et ses nombreux rivaux (Anthropic, Stability AI, Cohere, AI21 Labs, etc.) dans l’espace de l’IA générative. « Le financement de démarrage nous permettra de construire les meilleurs modèles de fondation liquide de leur catégorie, au-delà des GPT.
On peut supposer que les travaux se poursuivront également sur l’architecture du réseau neuronal liquide. En 2022, le laboratoire de Rus a conçu un moyen d’étendre les réseaux neuronaux liquides bien au-delà de ce qui était autrefois possible sur le plan informatique ; avec un peu de chance, d’autres percées pourraient se profiler à l’horizon.
Au-delà de la conception et de l’entraînement de nouveaux modèles, Liquid AI prévoit de fournir à ses clients une infrastructure d’IA sur site et privée, ainsi qu’une plateforme qui permettra à ces clients de construire leurs propres modèles pour tous les cas d’utilisation qu’ils imaginent – sous réserve des conditions de Liquid AI, bien entendu.
« La responsabilité et la sécurité des grands modèles d’IA sont d’une importance capitale », a ajouté M. Hasani. « Liquid AI propose des modèles d’apprentissage automatique plus efficaces, plus fiables, plus explicables et plus performants pour les applications d’IA génératives et spécifiques à un domaine.
Liquid AI, qui est présente à Palo Alto en plus de Boston, dispose d’une équipe de 12 personnes. M. Hasani prévoit que ce nombre passera à 20 d’ici le début de l’année prochaine.