Shriyash Upadhyay et Etan Ginsberg, chercheurs en IA à l’université de Pennsylvanie, estiment que de nombreuses grandes entreprises d’IA sacrifient la recherche fondamentale au profit du développement de modèles d’IA compétitifs et puissants. Le duo accuse la dynamique du marché : lorsque les entreprises lèvent des fonds importants, la majorité d’entre eux est généralement consacrée aux efforts visant à devancer leurs rivaux plutôt qu’à l’étude des fondamentaux.
« Au cours de nos recherches sur les LLM (à UPenn), nous avons observé ces tendances préoccupantes dans l’industrie de l’IA », ont déclaré Upadhyay et Ginsberg à TechCrunch lors d’une interview par e-mail. « Le défi consiste à rendre la recherche sur l’IA rentable.
Upadhyay et Ginsberg ont pensé que la meilleure façon de s’attaquer à ce problème serait de fonder leur propre entreprise, une entreprise dont les produits bénéficieraient de l’interprétabilité. Ils ont émis l’hypothèse que la mission de l’entreprise s’alignerait naturellement sur l’avancement de la recherche sur l’interprétabilité plutôt que sur la recherche sur les capacités, ce qui permettrait de renforcer la recherche.
Cette société, Martian, est sortie aujourd’hui de la clandestinité avec un financement de 9 millions de dollars provenant d’investisseurs tels que NEA, Prosus Ventures, Carya Venture Partners et General Catalyst. Les fonds sont consacrés au développement de produits, à la recherche sur les opérations internes des modèles et à l’agrandissement de l’équipe de Martian, qui compte 10 employés, indiquent M. Upadhyay et M. Ginsberg.
Le premier produit de Martian est un « routeur de modèles », un outil qui reçoit une invite destinée à un grand modèle de langage (LLM) – par exemple GPT-4 – et l’achemine automatiquement vers le « meilleur » LLM. Par défaut, le routeur de modèles choisit le LLM ayant le meilleur temps de disponibilité, le meilleur ensemble de compétences (par exemple, la résolution de problèmes mathématiques) et le meilleur rapport coût/performance pour l’invite en question.
« La façon dont les entreprises utilisent actuellement les LLM consiste à choisir un seul LLM pour chaque point d’extrémité auquel elles envoient toutes leurs requêtes », expliquent Upadhyay et Ginsberg. « Mais dans le cadre d’une tâche telle que la création d’un site web, différents modèles seront mieux adaptés à une demande spécifique en fonction du contexte spécifié par l’utilisateur (quelle langue, quelles fonctionnalités, combien il est prêt à payer, etc.) … En utilisant une équipe de modèles dans une application, une entreprise peut atteindre une performance supérieure et un coût inférieur à ce qu’un seul LLM pourrait atteindre seul.
Il y a du vrai là-dedans. S’appuyer exclusivement sur un LLM haut de gamme tel que GPT-4 peut être prohibitif pour certaines entreprises, voire pour la plupart d’entre elles. Le PDG de Permutable.ai, une société d’intelligence économique, a récemment révélé que le traitement d’environ 2 millions d’articles par jour à l’aide des modèles haut de gamme d’OpenAI coûtait à la société plus d’un million de dollars par an.
Toutes les tâches ne nécessitent pas la puissance des modèles les plus coûteux, mais il peut être difficile de construire un système qui change intelligemment à la volée. C’est là que Martian – et sa capacité à estimer les performances d’un modèle sans l’exécuter – entre en jeu.
« Martian peut acheminer les demandes vers des modèles moins coûteux dont les performances sont similaires à celles des modèles les plus coûteux, et n’acheminer les modèles coûteux qu’en cas de nécessité », ajoutent-ils. « Le routeur de modèles indexe les nouveaux modèles au fur et à mesure de leur sortie, les incorporant dans les applications sans aucune friction ni travail manuel.
Le routeur de modèles de Martian n’est pas une nouvelle technologie. Au moins une autre entreprise, Credal, propose un outil de changement de modèle automatique. Son essor dépendra donc de la compétitivité des prix de Martian – et de sa capacité à tenir ses promesses dans des scénarios commerciaux à fort enjeu.
Upadhyay et Ginsberg affirment qu’il y a déjà eu un certain engouement, y compris parmi des entreprises « multimilliardaires ».
« Il est extrêmement difficile de mettre au point un routeur modèle vraiment efficace, car il faut comprendre comment ces modèles fonctionnent fondamentalement », expliquent-ils. « C’est la percée dont nous sommes les pionniers.