Malgré leur prix de plus de 30 000 $, les GPU H100 de Nvidia sont très prisés, au point qu’ils sont généralement en rupture de stock. En début d’année, Google Cloud a annoncé le lancement en avant-première privée de ses machines virtuelles A3 GPU équipées de H100, qui combinent les puces Nvidia avec les unités de traitement d’infrastructure (IPU) à 200 Gpbs conçues sur mesure par Google. Aujourd’hui, lors de sa conférence Cloud Next, Google a annoncé que la machine virtuelle A3 serait disponible le mois prochain.
Nous devrons voir si Google Cloud sera en mesure de répondre à la demande pour ces puces, étant donné que leur objectif est d’entraîner et de servir des modèles d’IA génératifs et de grands modèles de langage.
Lorsqu’il a annoncé l’A3 l’année dernière, Google Cloud a déclaré qu’il offrirait jusqu’à 26 exaflops de performance d’IA et, en partie grâce aux IPU personnalisés, jusqu’à 10 fois plus de bande passante réseau par rapport aux machines A2 de la génération précédente.
« L’A3 est vraiment conçu pour entraîner, régler et servir des charges de travail d’IA générative incroyablement exigeantes et évolutives et de grands modèles de langage », a déclaré Mark Lohmeyer, vice-président et directeur général de l’infrastructure informatique et de ML chez Google Cloud, lors d’une conférence de presse précédant l’annonce d’aujourd’hui. « Il tire parti d’un certain nombre d’innovations uniques de Google, y compris les technologies de réseau de Google, telles que leur traitement d’infrastructure et les décharges, qui aident à prendre en charge l’échelle massive et les performances que ces charges de travail nécessitent. »
