L’IA générative – l’IA capable de rédiger des essais, de créer des œuvres d’art et de la musique, et bien plus encore – continue d’attirer l’attention des investisseurs. Selon une source, les startups d’IA générative ont levé 1,7 milliard de dollars au premier trimestre 2023, et 10,68 milliards de dollars supplémentaires ont été annoncés au cours du trimestre mais n’ont pas encore été réalisés.
Il y a beaucoup de concurrence, y compris des acteurs historiques comme OpenAI et Anthropic. Mais malgré cela, les sociétés de capital-risque n’hésitent pas à s’intéresser aux acteurs qui n’ont pas encore fait leurs preuves et aux jeunes pousses.
Par exemple, Together, une startup qui développe une IA générative open source, a annoncé aujourd’hui qu’elle avait levé 20 millions de dollars – une somme plus importante pour un tour de table d’amorçage – menée par Lux Capital avec la participation de Factory, SV Angel, First Round Capital, Long Journey Ventures, Robot Ventures, Definition Capital, Susa Ventures, Cadenza Ventures et SCB 10x. Plusieurs investisseurs providentiels de premier plan ont également participé, notamment Scott Banister, l’un des cofondateurs de PayPal, et Jeff Hammerbacher, un employé fondateur de Cloudera.
Together est le fer de lance du « moment Linux » de l’IA en fournissant un écosystème ouvert pour le calcul et les meilleurs modèles de fondation », a déclaré Brandon Reeves de Lux Capital à TechCrunch par courrier électronique. « L’équipe de Together s’est engagée à créer un écosystème ouvert et dynamique qui permet à tout le monde, des particuliers aux entreprises, de participer. »
Together, lancé en juin 2022, est l’œuvre de Vipul Ved Prakash, Ce Zhang, Chris Re et Percy Liang. Prakash a précédemment fondé la plateforme de recherche sur les médias sociaux Topsy, qui a été rachetée en 2013 par Apple, où il est devenu directeur principal. Zhang est professeur associé d’informatique à l’ETH de Zurich, actuellement en congé sabbatique et menant des recherches sur l’IA « décentralisée ». Quant à Re, il a cofondé plusieurs entreprises, dont SambaNova, qui construit du matériel et des systèmes intégrés pour l’IA. Quant à Liang, professeur d’informatique à Stanford, il dirige le Centre de recherche sur les modèles de fondation (CRFM) de l’université.
Avec Together, Prakash, Zhang, Re et Liang cherchent à créer des modèles et des services d’IA générative open source qui, selon eux, « aident les organisations à incorporer l’IA dans leurs applications de production ». À cette fin, Together construit une plateforme cloud pour l’exécution, l’entraînement et l’ajustement des modèles open source qui, selon les cofondateurs, offrira des calculs évolutifs à des prix « nettement inférieurs » à ceux des fournisseurs dominants (par exemple, Google Cloud, AWS, Azure).
« Nous pensons que les modèles génératifs sont une technologie conséquente pour la société et que les alternatives ouvertes et décentralisées aux systèmes fermés seront essentielles pour permettre les meilleurs résultats pour l’IA et la société », a déclaré Prakash à TechCrunch lors d’une interview par courrier électronique. « Alors que les entreprises définissent leurs stratégies d’IA générative, elles recherchent la confidentialité, la transparence, la personnalisation et la facilité de déploiement. Les offres cloud actuelles, avec des modèles et des données à source fermée, ne répondent pas à leurs exigences. »
Il n’a pas tort – dans la mesure où les opérateurs historiques ressentent la pression, du moins. Un mémo interne de Google divulgué au début du mois laisse entendre que le géant de la recherche – et ses rivaux, d’ailleurs – ne peut pas rivaliser avec les initiatives d’IA à source ouverte sur le long terme. Par ailleurs, OpenAI se préparerait à lancer publiquement son premier modèle d’IA génératrice de texte open source, dans un contexte de prolifération d’alternatives open source.
L’un des premiers projets de Together, RedPajama, vise à promouvoir un ensemble de modèles génératifs open source, y compris des modèles de « chat » sur le modèle du ChatGPT d’OpenAI. Fruit d’une collaboration entre Together et plusieurs groupes, dont l’Institut d’IA MILA Québec, le CRFM et le laboratoire de science des données de l’ETH, DS3Lab, RedPajama a débuté par la publication d’un ensemble de données qui permet aux organisations de pré-entraîner des modèles qui peuvent faire l’objet d’une licence permissive.
Les autres efforts de Together à ce jour comprennent GPT-JT, une fourche du modèle de génération de texte open source GPT-J-6B (publié par le groupe de recherche EleutherAI), et OpenChatKit, une tentative d’équivalent de ChatGPT.
« Aujourd’hui, la formation, la mise au point ou la production de modèles génératifs open source est extrêmement difficile », a déclaré M. Prakash. « Les solutions actuelles exigent que vous disposiez d’une expertise significative en matière d’IA et que vous soyez en mesure de gérer l’infrastructure à grande échelle nécessaire. La plateforme Together prend en charge ces deux défis dès le départ, avec une solution facile à utiliser et accessible. »
Il reste à voir à quel point Together est transparente – la plateforme n’a pas encore été lancée en AG. Et on pourrait dire que ses efforts font un peu double emploi dans le contexte du paysage plus large de l’IA. Le nombre de modèles open source provenant de groupes communautaires et de grands laboratoires augmente pratiquement de jour en jour. Et si tous ne font pas l’objet d’une licence d’utilisation commerciale, plusieurs, comme Dolly 2.0 de Databricks, le sont.
Sur le front de l’infrastructure matérielle de l’IA, outre les grands fournisseurs de nuages publics, des startups comme CoreWeave prétendent offrir des calculs puissants à des prix inférieurs à ceux du marché. Il y a même eu des tentatives de construction de services gratuits alimentés par la communauté pour faire fonctionner des modèles de génération de texte par l’IA. (Together a l’intention de suivre les traces de ces groupes communautaires en construisant une plateforme, provisoirement appelée Together Decentralized Cloud, qui mettra en commun les ressources matérielles, y compris les GPU des volontaires sur Internet).
Qu’apporte donc Together ? Plus de transparence, de contrôle et de respect de la vie privée, affirme Prakash. C’est un argument de vente qui n’est pas très différent de celui de la startup Stability AI, qui canalise le calcul et le capital vers la recherche open source tout en commercialisant – et en vendant des services en plus – les différents produits finis.
« Les entreprises réglementées seront de grands clients de l’open source, car les modèles open source pré-entraînés sur des ensembles de données ouverts permettent aux organisations d’inspecter, de comprendre et d’adapter les modèles à leurs propres applications », a-t-il déclaré. « Nous pensons que les défis de l’IA ne peuvent être relevés que par une communauté mondiale travaillant ensemble. C’est pourquoi nous nous sommes donné pour mission de construire et de gérer un écosystème ouvert et autonome qui produise les meilleurs systèmes d’IA pour l’humanité. »
C’est un objectif ambitieux, c’est certain. Et il est encore tôt pour Together, qui n’a pas voulu dire si elle a des clients pour le moment – et encore moins des revenus. Mais la société va de l’avant, prévoyant d’augmenter la taille de son équipe de 24 employés à environ 40 d’ici la fin de l’année et de consacrer le reste du capital d’amorçage à la recherche et au développement, à l’infrastructure et à la mise au point de produits.
« La solution Together, basée sur des modèles génératifs open source, a été conçue pour comprendre les besoins des grandes organisations et répondre à chacun de ces besoins, afin de fournir aux entreprises une plateforme centrale pour leur stratégie d’IA générative », a déclaré M. Prakash. « Together suscite un intérêt considérable de la part des entreprises qui recherchent une plus grande transparence, un meilleur contrôle et une plus grande confidentialité. »