Les grands modèles de langage (LLM) tels que le GPT-4 d’OpenAI font fureur ces temps-ci, en raison de leur capacité inégalée à analyser et à générer du texte. Mais pour les organisations qui cherchent à exploiter les LLM pour des tâches spécifiques – par exemple, la rédaction de textes publicitaires dans le style d’une marque – leur nature généraliste peut devenir un handicap.
Lorsque les instructions deviennent trop précises, même les meilleurs LLM peinent à être cohérents. L’une des solutions consiste à affiner ou à réduire le champ d’application d’un LLM. Mais c’est souvent un défi d’un point de vue technique, sans parler du coût.
Motivée par la recherche d’une solution plus simple, une équipe de chercheurs de DeepMind, Google, Baidu et Meta a fondé Reka, qui est sortie de la clandestinité aujourd’hui avec 58 millions de dollars. DST Global Partners et Radical Ventures ont mené la tranche avec la participation du partenaire stratégique Snowflake Ventures, aux côtés d’une cohorte d’investisseurs providentiels comprenant l’ancien PDG de GitHub, Nat Friedman.
Basée à San Francisco, Reka est le fruit du travail de Dani Yogatama, Cyprien de Masson, Qi Liu Head et Yi Tay. Alors qu’ils travaillaient sur des systèmes d’IA, notamment AlphaCode et Bard de DeepMind, les quatre cofondateurs affirment avoir réalisé qu’il n’était pas réaliste de s’attendre à ce qu’un grand LLM soit déployé pour tous les cas d’utilisation possibles.
« Nous comprenons le pouvoir de transformation de l’IA et aimerions apporter les avantages de cette technologie au monde de manière responsable », a déclaré Yogatama à TechCrunch lors d’une interview par courrier électronique. « Reka est une société de recherche et de produits qui développe des modèles au profit de l’humanité, des organisations et des entreprises. »
Le premier produit commercial de Reka, Yasa, ne répond pas tout à fait à ces grandes ambitions. Mais il illustre l’approche précoce de la startup. Allant au-delà du texte, Yasa est un « assistant » multimodal formé pour comprendre les images, les vidéos et les données tabulaires en plus des mots et des phrases. Il peut être utilisé pour générer des idées et répondre à des questions de base, explique M. Yogatama, ainsi que pour obtenir des informations à partir des données internes d’une entreprise.
En ce sens, Yasa, qui est en version bêta fermée, n’est pas très différent de modèles tels que GPT-4, qui peut également comprendre du texte et des images. Mais la particularité de Yasa est qu’il peut être facilement personnalisé en fonction de données et d’applications propriétaires.
« Notre technologie permet aux entreprises de bénéficier des progrès des LLM d’une manière qui répond à leurs contraintes de déploiement sans avoir besoin d’une équipe d’ingénieurs experts en IA en interne », a déclaré M. Yogatama.
Yasa n’est qu’un début. Ensuite, Reka prévoit de s’intéresser à l’IA qui peut accepter et générer encore plus de types de données et s’auto-améliorer en permanence, en restant à jour sans avoir besoin de se recycler.
À cette fin, Reka propose également un service d’adaptation des LLM qu’elle a développés à des ensembles de données d’entreprise personnalisés ou exclusifs. Les clients peuvent exécuter les modèles « distillés » sur leur propre infrastructure ou via l’API de Reka, en fonction de l’application et des contraintes du projet.
Il convient de noter que Reka n’est pas la seule startup à rechercher des modèles mieux adaptés aux cas d’utilisation en entreprise. Writer permet aux clients d’affiner les LLM sur leurs propres contenus et guides de style. Contextual AI et LlamaIndex, qui sont récemment sortis de la clandestinité, développent des outils permettant aux entreprises d’ajouter leurs propres données aux LLM existants. Enfin, Cohere forme des LLM en fonction des spécifications des clients.
Pour ne pas être en reste, des acteurs historiques comme OpenAI proposent désormais des outils pour affiner les modèles et les connecter à l’internet et à d’autres sources afin de s’assurer qu’ils restent à jour.
Mais l’argumentaire de Reka a séduit l’un de ses premiers clients (et investisseurs), Snowflake, qui s’est associé à la startup pour permettre à ses clients de déployer Yasa à partir de leurs comptes. Appen, la société d’analyse de données, a également annoncé récemment qu’elle travaillait avec Reka pour créer des applications sur mesure alimentées par des modèles multimodaux pour les entreprises.
Rob Toews, partenaire de Radical Ventures, a répondu à la question de savoir pourquoi il avait investi dans Reka :
« Ce qui rend Reka unique, c’est qu’elle offre à chaque entreprise la puissance et le potentiel d’un LLM sans avoir à supporter de nombreux compromis », a déclaré M. Toews par courriel. « Les modèles Yasa distillés de Reka conservent les données au sein de l’entreprise, ils sont incroyablement efficaces en termes de coûts et d’énergie et ils ne nécessitent pas d’équipes de recherche coûteuses construisant des modèles à partir de zéro. Si chaque entreprise est appelée à devenir une entreprise d' »IA », l’ambition de Reka est de donner à chacune de ces entreprises son propre modèle de base de qualité production.
Yogatama explique que Reka, qui ne génère actuellement aucun revenu, utilisera les fonds qu’elle a reçus jusqu’à présent pour acquérir de la puissance de calcul auprès de Nvidia et constituer une équipe commerciale.