À peine une semaine après avoir lancé la dernière itération de ses modèles Gemini, Google a annoncé aujourd’hui le lancement de Gemma, une nouvelle famille de modèles ouverts légers. Commençant par Gemma 2B et Gemma 7B, ces nouveaux modèles ont été « inspirés par Gemini » et sont disponibles pour un usage commercial et de recherche.
Google ne nous a pas fourni de document détaillé sur les performances de ces modèles par rapport à des modèles similaires de Meta et Mistral, par exemple, et s’est contenté d’indiquer qu’ils sont « à la pointe de la technologie ». L’entreprise a toutefois précisé qu’il s’agissait de modèles à décodeur dense uniquement, soit la même architecture que celle utilisée pour ses modèles Gemini (et ses modèles PaLM antérieurs), et que nous verrons les points de référence plus tard dans la journée sur le tableau de classement de Hugging Face.
Pour commencer à utiliser Gemma, les développeurs peuvent accéder à des carnets Colab et Kaggle prêts à l’emploi, ainsi qu’à des intégrations avec Hugging Face, MaxText et NeMo de Nvidia. Une fois pré-entraînés et réglés, ces modèles peuvent être exécutés partout.
Bien que Google souligne qu’il s’agit de modèles ouverts, il convient de noter qu’ils ne sont pas open-source. En effet, lors d’une conférence de presse précédant l’annonce d’aujourd’hui, Janine Banks, de Google, a souligné l’engagement de l’entreprise en faveur de l’open source, mais a également fait remarquer que Google était très attentif à la manière dont il se référait aux modèles Gemma.
« (Les modèles ouverts) sont devenus assez omniprésents dans l’industrie », a déclaré Mme Banks. « Il s’agit souvent de modèles de poids libres, qui permettent aux développeurs et aux chercheurs de personnaliser et d’affiner les modèles, mais dont les conditions d’utilisation – comme la redistribution et la propriété des variantes développées – varient en fonction des conditions d’utilisation spécifiques du modèle. Nous voyons donc une certaine différence entre ce que nous appelons traditionnellement « open source » et nous avons décidé qu’il était plus logique d’appeler nos modèles Gemma « modèles ouverts ».
Cela signifie que les développeurs peuvent utiliser le modèle pour l’inférence et l’affiner à volonté. L’équipe de Google affirme que même si ces tailles de modèles conviennent à de nombreux cas d’utilisation.
« La qualité de la génération s’est considérablement améliorée au cours de l’année dernière », a déclaré Tris Warkentin, directeur de la gestion des produits de Google DeepMind. « Des choses qui auraient été auparavant du ressort de modèles extrêmement grands sont désormais possibles avec des modèles plus petits à la pointe de la technologie. Cela ouvre la voie à de toutes nouvelles façons de développer des applications d’IA qui nous enthousiasment, y compris la possibilité d’exécuter l’inférence et de faire du tuning sur le bureau ou l’ordinateur portable de votre développeur local avec votre GPU RTX ou sur un hôte unique dans GCP avec les TPU Cloud, également ».
Il en va de même pour les modèles ouverts des concurrents de Google dans ce domaine. Nous devrons donc voir comment les modèles Gemma se comportent dans des scénarios réels.
Outre les nouveaux modèles, Google publie également une nouvelle boîte à outils d’IA générative responsable afin de fournir « des conseils et des outils essentiels pour créer des applications d’IA plus sûres avec Gemma », ainsi qu’un outil de débogage.