Kai-Fu Lee, l’informaticien connu en Occident pour son best-seller Les super-pouvoirs de l’IA et en Chine pour ses paris sur les licornes de l’intelligence artificielle, a une nouvelle entreprise – et une grande ambition.
Fin mars, M. Lee a lancé une société appelée 01.AI, dont l’objectif est de mettre au point un modèle de langage étendu pour le marché chinois. Cette entreprise le met en concurrence avec d’autres grands noms de la technologie chinoise, dont le fondateur de Sogou, Wang Xiaochuan, qui ont rapidement rassemblé des talents et du capital-risque pour créer les équivalents chinois d’OpenAI.
« Je pense que la nécessité est la mère de l’innovation, et il y a clairement une énorme nécessité en Chine », a déclaré Lee lors d’une interview avec TechCrunch, expliquant le motif de la création de 01.AI. « Contrairement au reste du monde, la Chine n’a pas accès à OpenAI et à Google parce que ces deux entreprises n’ont pas mis leurs produits à la disposition de la Chine.
La croissance de 01.AI reflète bien le développement rapide du domaine de l’IA générative. Sept mois après sa création, la startup a publié son premier modèle, le modèle open-source Yi-34B. La décision d’introduire un LLM ouvert comme premier produit est une façon de « rendre la pareille » à la société, a déclaré Lee. Pour les personnes qui considèrent le LLaMA comme une « aubaine », « nous avons fourni une alternative convaincante », a-t-il ajouté.
À ce jour, Yi-34B, qui est un modèle de base bilingue (anglais et chinois) formé avec 34 milliards de paramètres, est nettement plus petit que d’autres modèles ouverts tels que Falcon-180B et Meta LlaMa2-70B, est arrivé en tête des modèles LLM pré-entraînés, selon un classement établi par Hugging Face.
« Nous restons convaincus que les grands modèles, lorsqu’ils sont bien entraînés, sur une grande quantité de données de haute qualité, seront toujours plus performants que les modèles sensiblement plus petits de qualité et de technologie comparables, et je pense donc que (Yi-34B) surpasse des modèles beaucoup plus grands, ce qui n’est pas habituel », a déclaré M. Lee. « Nous sommes convaincus qu’en publiant des modèles de 100 à 400 milliards de données au cours de l’année ou de l’année et demie à venir, ces modèles seront nettement plus performants que celui que nous avons annoncé aujourd’hui.
La capacité de la startup à commencer rapidement l’entraînement des modèles est sans aucun doute le résultat d’une levée de fonds en douceur, qui est essentielle pour s’assurer des talents et des processeurs d’IA de premier plan. Tout en refusant de divulguer le montant de la levée de fonds de 01.AI, M. Lee a déclaré que la société était évaluée à 1 milliard de dollars après avoir reçu un financement de Sinovation Ventures, Alibaba Cloud et d’autres investisseurs dont l’identité n’a pas été révélée.
01.AI compte déjà plus de 100 employés, dont plus de la moitié sont des experts en LLM issus de grandes entreprises technologiques multinationales et chinoises. Son vice-président de la technologie, par exemple, est un membre de la première heure du Bard de Google, et son architecte en chef a été un membre fondateur de TensorFlow et a travaillé aux côtés de chercheurs renommés comme Jeff Dean et Samy Bengio à Google Brain. Les figures clés de Yi-34B sont Wenhao Huang, un vétéran de Microsoft Research Asia, et Ethan Dai, qui a occupé des postes de direction dans le domaine de l’IA chez Huawei et Alibaba.
Ayant soutenu plus de dix licornes et créé sept entreprises par l’intermédiaire de Sinovation Ventures, M. Lee est probablement l’un des investisseurs et entrepreneurs les mieux connectés en Chine.
« Cela fait plus de 25 ans que Microsoft Research Asia a été fondé, et tout ce que j’ai fait a consisté à trouver des talents exceptionnels », a déclaré M. Lee, qui a lancé Microsoft Research Asia, le plus grand centre de recherche du géant américain à l’étranger, avant de se rendre en Chine pour y trouver Google. Au fil des ans, Microsoft Research Asia a acquis la réputation de « West Point » pour la formation des entrepreneurs chinois dans le domaine de l’IA.
« Bien sûr, il faut rémunérer les gens de manière équitable et être compétitif sur le plan salarial, mais je pense qu’il faut aussi que les gens croient qu’ils peuvent faire la différence et que l’entreprise peut réussir », a ajouté M. Lee.
Ce n’est un secret pour personne que la création de LLM est une entreprise coûteuse. Pour soutenir ses opérations à forte intensité de trésorerie, 01.AI a prévu une monétisation dès le départ. Même si l’entreprise continuera à ouvrir certains de ses modèles, son objectif est de construire un modèle propriétaire de pointe qui servira de base à une gamme variée de produits commerciaux.
« Nous ne pouvons pas tout mettre en open source », a déclaré M. Lee. « Nous étions tout à fait conscients du fait que ces grands modèles de langage nécessitent beaucoup de calculs et sont donc très coûteux. Lorsque nous lèverons beaucoup d’argent, la majeure partie sera dépensée pour le GPU. Dans ces conditions, nous devions d’abord acquérir autant de GPU que possible, ce que nous avons fait. »
Comme d’autres acteurs du LLM en Chine, 01.AI a proactivement stocké des GPU en prévision des sanctions américaines ; elle a emprunté de l’argent pour acheter des processeurs avant même d’obtenir des fonds. Au cours de l’année écoulée, l’administration Biden a renforcé les restrictions sur l’accès de la Chine aux puces d’IA haut de gamme, ce qui a incité les entreprises chinoises à payer des prix exorbitants pour ces puces. Cette prévoyance a été récompensée : 01.AI dispose aujourd’hui d’un stock suffisant pour au moins pour les 12 à 18 prochains mois.
Outre les maux de tête qu’elles causent aux entreprises chinoises, les sanctions américaines ont servi de catalyseur à l’innovation en les encourageant à optimiser l’utilisation de la puissance de calcul. « Avec une équipe d’infrastructure de très grande qualité, pour 1 000 GPU, nous pourrions en extraire 2 000 », a déclaré M. Lee.
Le chemin de 01.AI vers la monétisation dépend en grande partie de sa capacité à trouver des produits adaptés au marché pour ses modèles d’IA coûteux. Si les scientifiques de haut niveau titulaires d’un LLM sont rares, la Chine ne manque pas de talents en matière de produits.
« La Chine n’est pas en avance sur les États-Unis en matière de LLM, mais il ne fait aucun doute que la Chine peut créer de meilleures applications que les développeurs américains, principalement grâce à l’écosystème phénoménal de l’internet mobile qui a été créé au cours des 12 dernières années environ », a déclaré M. Lee.
Bien que le fondateur n’ait pas donné de détails sur les services en préparation, il a laissé entendre que l’entreprise expérimentait des concepts dans les domaines de la productivité et du social, et qu’il serait « déçu » si 01.AI ne sortait pas une application au cours de l’année civile.
Le but ultime de la startup, selon Lee, est de devenir un écosystème où les développeurs externes peuvent facilement créer des applications. « Le devoir n’est pas seulement de proposer de bons modèles de recherche, mais surtout de faciliter le développement d’applications pour qu’il y ait des applications convaincantes », a-t-il déclaré. « En fin de compte, il s’agit d’un jeu d’écosystème. Il s’agit d’un jeu d’écosystème. L’avenir nous dira si les efforts de Lee en matière d’IA porteront leurs fruits.