Lors de sa conférence GTC, Nvidia a annoncé aujourd’hui Nvidia NIM, une nouvelle plateforme logicielle conçue pour rationaliser le déploiement de modèles d’IA personnalisés et pré-entraînés dans des environnements de production. NIM reprend le travail logiciel effectué par Nvidia autour de l’inférence et de l’optimisation des modèles et le rend facilement accessible en combinant un modèle donné avec un moteur d’inférence optimisé, puis en l’intégrant dans un conteneur, ce qui le rend accessible en tant que microservice.
Selon Nvidia, il faudrait généralement aux développeurs des semaines, voire des mois, pour livrer des conteneurs similaires, et ce, même si l’entreprise dispose de talents internes en matière d’intelligence artificielle. Avec NIM, Nvidia vise clairement à créer un écosystème de conteneurs prêts pour l’IA qui utilisent son matériel comme couche de base avec ces microservices curatés comme couche logicielle de base pour les entreprises qui souhaitent accélérer leur feuille de route en matière d’IA.
NIM prend actuellement en charge les modèles de NVIDIA, A121, Adept, Cohere, Getty Images et Shutterstock, ainsi que les modèles ouverts de Google, Hugging Face, Meta, Microsoft, Mistral AI et Stability AI. Nvidia travaille déjà avec Amazon, Google et Microsoft pour rendre ces microservices NIM disponibles sur SageMaker, Kubernetes Engine et Azure AI, respectivement. Ils seront également intégrés dans des frameworks tels que Deepset, LangChain et LlamaIndex.
Crédits d’image : Nvidia
« Nous pensons que le GPU Nvidia est le meilleur endroit pour exécuter l’inférence de ces modèles (…).), et nous pensons que NVIDIA NIM est le meilleur progiciel, le meilleur runtime, sur lequel les développeurs peuvent s’appuyer pour se concentrer sur les applications d’entreprise – et laisser Nvidia faire le travail pour produire ces modèles de la manière la plus efficace et la plus professionnelle possible, afin qu’ils puissent faire le reste de leur travail « , a déclaré Manuvir Das, responsable de l’informatique d’entreprise chez Nvidia, lors d’une conférence de presse précédant les annonces d’aujourd’hui. »
En ce qui concerne le moteur d’inférence, Nvidia utilisera le serveur d’inférence Triton, TensorRT et TensorRT-LLM. Parmi les microservices de Nvidia disponibles via NIM, citons Riva pour la personnalisation des modèles de parole et de traduction, cuOpt pour les optimisations de routage et le modèle Earth-2 pour les simulations météorologiques et climatiques.
La société prévoit d’ajouter des capacités supplémentaires au fil du temps, y compris, par exemple, la mise à disposition de l’opérateur Nvidia RAG LLM en tant que NIM, ce qui promet de faciliter la création de chatbots d’IA générative qui peuvent extraire des données personnalisées.
Il ne s’agirait pas d’une conférence de développeurs sans quelques annonces de clients et de partenaires. Parmi les utilisateurs actuels de NIM figurent Box, Cloudera, Cohesity, Datastax, Dropbox, etc.
et NetApp.
» Les plateformes d’entreprise établies sont assises sur une mine d’or de données qui peuvent être transformées en copilotes d’IA générative « , a déclaré Jensen Huang, fondateur et CEO de NVIDIA. » Créés avec notre écosystème de partenaires, ces microservices d’IA conteneurisés sont les éléments de base qui permettront aux entreprises de tous les secteurs de devenir des sociétés d’IA. «