Meta, bien décidée à rattraper ses rivaux dans le domaine de l’IA générative, consacre des milliards à ses propres efforts en matière d’IA. Une partie de ces milliards est consacrée au recrutement de chercheurs en IA. Mais une part encore plus importante est consacrée au développement de matériel, en particulier de puces permettant d’exécuter et d’entraîner les modèles d’IA de Meta.
Meta a dévoilé aujourd’hui le dernier fruit de ses efforts de développement de puces, un jour après qu’Intel ait annoncé son dernier accélérateur d’IA. Appelé « next-gen » Meta Training and Inference Accelerator (MTIA), le successeur du MTIA v1 de l’année dernière, la puce exécute des modèles, notamment pour le classement et la recommandation d’annonces publicitaires sur les propriétés de Meta (par exemple Facebook).
Par rapport à la MTIA v1, qui a été construite sur un processus de 7nm, la MTIA nouvelle génération est de 5nm. (Dans la fabrication des puces, le terme « processus » désigne la taille du plus petit composant pouvant être intégré à la puce). Le MTIA de nouvelle génération est physiquement plus grand et comporte plus de cœurs de traitement que son prédécesseur. Bien qu’il consomme plus d’énergie (90 W contre 25 W), il dispose également de plus de mémoire interne (128 Mo contre 64 Mo) et fonctionne à une vitesse d’horloge moyenne plus élevée (1,35 GHz contre 800 MHz).
Meta affirme que la nouvelle génération de MTIA est actuellement en service dans 16 régions de ses centres de données et qu’elle offre des performances globales jusqu’à trois fois supérieures à celles de MTIA v1. Si cette affirmation de » trois fois » vous semble un peu vague, vous n’avez pas tort – c’est aussi ce que nous pensions. Mais Meta se contente de préciser que ce chiffre est le fruit des tests de performance de « quatre modèles clés » sur les deux puces.
« Parce que nous contrôlons l’ensemble de la pile, nous pouvons atteindre une plus grande efficacité par rapport aux GPU disponibles dans le commerce », écrit Meta dans un billet de blog partagé avec TechCrunch.
La présentation du matériel de Meta – qui intervient à peine 24 heures après une conférence de presse sur les diverses initiatives d’IA générative en cours de l’entreprise – est inhabituelle pour plusieurs raisons.
Premièrement, Meta révèle dans le billet de blog qu’elle n’utilise pas la nouvelle génération de MTIA pour les charges de travail d’apprentissage de l’IA générative pour le moment, bien que la société affirme qu’elle a « plusieurs programmes en cours » qui explorent cette possibilité. Deuxièmement, Meta admet que la nouvelle génération de MTIA ne remplacera pas les GPU pour l’exécution ou l’entraînement des modèles, mais qu’elle les complétera.
En lisant entre les lignes, Meta avance lentement – peut-être plus lentement qu’elle ne le voudrait.
Les équipes d’IA de Meta sont très certainement sous pression pour réduire les coûts. L’entreprise devrait dépenser environ 18 milliards de dollars d’ici à la fin de 2024 en GPU pour l’entraînement et l’exécution de modèles d’IA générative, et – avec des coûts d’entraînement pour les modèles génératifs de pointe s’élevant à des dizaines de millions de dollars – le matériel interne représente une alternative attrayante.
Et tandis que le matériel de Meta traîne, ses rivaux prennent de l’avance, à la grande consternation des dirigeants de Meta, je le soupçonne.
Cette semaine, Google a mis à la disposition des clients de Google Cloud sa puce personnalisée de cinquième génération pour l’entraînement des modèles d’IA, TPU v5p, et a révélé sa première puce dédiée à l’exécution des modèles, Axion. Amazon dispose de plusieurs familles de puces d’IA personnalisées. L’année dernière, Microsoft s’est lancé dans la bataille avec l’accélérateur Azure Maia AI Accelerator et l’unité centrale Azure Cobalt 100.
Dans son billet de blog, Meta indique qu’il lui a fallu moins de neuf mois pour « passer du premier silicium aux modèles de production » de la nouvelle génération de MTIA, ce qui, pour être juste, est plus court que la fenêtre typique entre les TPU de Google. Mais Meta a beaucoup de retard à rattraper s’il espère atteindre un certain degré d’indépendance vis-à-vis des GPU tiers – et rivaliser avec sa concurrence acharnée.