OpenAI, l’une des startups les mieux financées dans le domaine de l’IA, envisage de fabriquer ses propres puces d’IA.
Selon Reuters, les discussions sur les stratégies relatives aux puces d’IA au sein de l’entreprise sont en cours depuis au moins l’année dernière, alors que la pénurie de puces pour entraîner les modèles d’IA s’aggrave. OpenAI envisagerait un certain nombre de stratégies pour réaliser ses ambitions en matière de puces, y compris l’acquisition d’un fabricant de puces d’IA ou la mise en place d’un effort pour concevoir des puces en interne.
Le PDG d’OpenAI, Sam Altman, a fait de l’acquisition de nouvelles puces d’IA une priorité absolue pour l’entreprise, rapporte Reuters.
Actuellement, OpenAI, comme la plupart de ses concurrents, s’appuie sur le matériel GPU pour développer des modèles tels que ChatGPT, GPT-4 et DALL-E 3. La capacité des GPU à effectuer de nombreux calculs en parallèle les rend bien adaptés à l’entraînement des IA les plus performantes d’aujourd’hui.
Mais le boom de l’IA générative – une aubaine pour les fabricants de GPU comme Nvidia – a mis à rude épreuve la chaîne d’approvisionnement des GPU. Microsoft est confronté à une pénurie de matériel serveur nécessaire à l’exécution de l’IA, si grave qu’elle pourrait entraîner des interruptions de service, a averti l’entreprise dans un rapport sur les résultats de l’été. Les puces d’IA les plus performantes de Nvidia seraient épuisées jusqu’en 2024.
Les GPU sont également essentiels pour l’exécution et le service des modèles d’OpenAI ; l’entreprise s’appuie sur des grappes de GPU dans le nuage pour exécuter les charges de travail des clients. Mais leur coût est très élevé.
Une analyse de Stacy Rasgon, analyste chez Bernstein, a montré que si les requêtes de ChatGPT atteignaient un dixième de l’échelle de Google Search, il faudrait environ 48,1 milliards de dollars de GPU au départ et environ 16 milliards de dollars de puces par an pour les maintenir opérationnelles.
OpenAI ne serait pas la première à chercher à créer ses propres puces d’IA.
Google dispose d’un processeur, le TPU (abréviation de « tensor processing unit »), pour entraîner de grands systèmes d’IA générative tels que PaLM-2 et Imagen. Amazon propose des puces propriétaires aux clients AWS pour l’entraînement (Trainium) et l’inférence (Inferentia). Enfin, Microsoft travaillerait avec AMD pour développer une puce d’IA interne appelée Athena, que OpenAI serait en train de tester.
Il est certain qu’OpenAI est en position de force pour investir massivement dans la recherche et le développement. L’entreprise, qui a levé plus de 11 milliards de dollars en capital-risque, approche du milliard de dollars de recettes annuelles. Et elle envisage une vente d’actions qui pourrait faire grimper sa valeur sur le marché secondaire à 90 milliards de dollars, selon un récent rapport du Wall Street Journal.
Mais le matériel informatique est un secteur qui ne pardonne pas, en particulier les puces d’intelligence artificielle.
L’année dernière, le fabricant de puces d’IA Graphcore, dont l’évaluation aurait été réduite d’un milliard de dollars après l’échec d’un accord avec Microsoft, a déclaré qu’il prévoyait des suppressions d’emplois en raison d’un environnement macroéconomique « extrêmement difficile ». (La situation s’est aggravée au cours des derniers mois, Graphcore ayant fait état d’une baisse de son chiffre d’affaires et d’une augmentation de ses pertes). Dans le même temps, Habana Labs, l’entreprise de puces d’IA appartenant à Intel, a licencié environ 10 % de ses effectifs. Et les efforts de Meta en matière de puces d’IA personnalisées ont été confrontés à des problèmes, ce qui a conduit l’entreprise à mettre au rebut une partie de son matériel expérimental.
Même si OpenAI s’engage à commercialiser une puce personnalisée, un tel effort pourrait prendre des années et coûter des centaines de millions de dollars par an. Il reste à voir si les investisseurs de la startup, dont l’un est Microsoft, ont l’appétit pour un pari aussi risqué.