Lorsque OpenAI a connecté ChatGPT à Internet, les capacités du chatbot d’IA ont été décuplées. Aujourd’hui, le moteur de recherche You.com souhaite faire de même avec tous les grands modèles de langage (LLM) existants.
You.com a annoncé aujourd’hui le lancement d’un ensemble d’API visant à donner aux LLM comme le Llama 2 de Meta un accès en temps réel au web ouvert – ou à des tranches plus étroites de celui-ci. À partir de 100 dollars par mois, les API de You.com augmentent les réponses des LLM aux questions des utilisateurs (par exemple, « Quels sont les jours fériés de cette semaine ? ») avec un contexte actualisé sur Internet.
Des clients tels que LlamaIndex, Anthropic et Cohere l’ont déjà intégré à leurs modèles.
« Nous avons reçu de nombreuses demandes pour une API dotée de ces capacités », a déclaré Richard Socher, PDG et fondateur de You.com, lors d’un entretien par e-mail avec TechCrunch. « Lorsque vous posez une question sur un événement récent, comme le score du Super Bowl le jour même, notre API recherchera ces scores sur le Web et vous pourrez ensuite ajouter cette information, à ce moment-là, au LLM, qui pourra alors l’utiliser pour répondre à votre question de manière plus précise.
La plupart des LLM sont formés sur des données statiques accessibles au public, extraites de pages web publiques, de livres électroniques et d’autres sources. Cela suffit pour leur permettre d’effectuer des tâches allant de la rédaction de courriers électroniques à la rédaction de lettres de motivation et d’essais. Un LLM formé sur des informations antérieures à septembre 2021 ne serait évidemment pas au courant des événements qui se sont produits hier.
Les nouvelles API de You.com permettent aux LLM de surmonter cette limitation en créant un index de longs extraits de sites web – un point clé de différenciation par rapport aux API de recherche standard fournies par Bing et Google, qui, selon Socher, ne servent que des extraits très courts « conçus pour inciter quelqu’un à cliquer sur un lien ». Les LLM peuvent exploiter cet index personnalisé lorsqu’ils répondent à des questions, en identifiant l’extrait pertinent et en le résumant pour fournir une réponse actualisée.
« Chaque LLM reçoit une invite – une description de la manière dont il doit se comporter et répondre aux questions », explique M. Socher. « Vous pouvez ajouter votre propre question à la fin de l’invite afin d’avoir une conversation avec un LLM. Grâce à cette API, il est possible de vous peut ajouter un contexte actualisé provenant du web dans l’invite, après que la question a été posée ».
You.com propose trois « saveurs » d’API au lancement : La recherche sur le Web, les actualités et le RAG. La recherche sur le Web permet aux MLD d’accéder à l’index susmentionné de longs extraits, tandis que les actualités – comme leur nom l’indique – fournissent exclusivement des résultats d’actualité. Quant à RAG (qui signifie « retrieval-augmented generation »), il associe les résultats de la recherche sur le web de You.com à un LLM pour générer ce que Socher prétend être des réponses « plus factuelles », bien que le jury ne se prononce évidemment pas sur ce point.
Un LLM ayant accès au web peut être une perspective risquée, quelles que soient les API qu’il utilise. Le web en direct est moins contrôlé qu’un ensemble de données de formation statiques et, par conséquent, moins filtré. Les résultats de recherche peuvent être manipulés et ne sont pas nécessairement représentatifs de l’ensemble du web. Comme la plupart des algorithmes donnent la priorité aux sites web qui utilisent des technologies web modernes telles que le cryptage, la prise en charge des mobiles et le balisage des schémas, les sites web dont le contenu est par ailleurs de qualité se perdent dans la masse.
Socher a admis que l’API de You.com présente des faiblesses, en particulier dans le domaine des questions localisées du type « près de chez moi » (par exemple « Où y a-t-il de bons sushis près de chez moi ? »), car l’API ne connaît pas la localisation des utilisateurs de LLM. Mais des améliorations sont déjà en cours, notamment des mises à niveau qui permettront aux API de You.com de coder et de « produire des réponses beaucoup plus complexes » avec des citations traçables, selon Socher.
« Nous allons bientôt fusionner la recherche d’actualités et la recherche générale sur le web pour faciliter encore plus la tâche des entreprises qui utilisent nos API », ajoute-t-il. « En incorporant notre API dans la solution élaborée par les créateurs, leurs réponses seront plus pertinentes et plus utiles pour leurs utilisateurs finaux… (La solution peut se tourner) vers le web pour vérifier les faits ».
Les nouvelles API amènent cet auteur à se demander si la recherche n’est pas le prochain champ de bataille sur le front de l’IA générative. À mesure que les LLM open source se rapprochent du niveau de certains de leurs homologues à source fermée, la puissance du moteur de recherche soutenant ces LLM à source fermée (Bing dans le cas de ChatGPT, Google dans celui de Bard) devient un argument de vente plus fort – à moins que des API comme celle de You.com ne nivellent effectivement le terrain de jeu.
C’est un grand « si » – aucune API n’est parfaite, et celle de You.com a certainement des défauts autres que ceux mentionnés par Socher. Mais je dirais que la concurrence est toujours une bonne chose.
Les nouvelles API de You.com sont proposées à partir de 100 dollars par mois pour 14 200 appels API, après une période d’essai de 60 jours comprenant 1 000 appels mensuels gratuits. You.com propose également des forfaits sur mesure pour les grandes entreprises, avec des abonnements annuels et des remises.