Si vous vouliez rehausser le profil de votre grande entreprise technologique et que vous disposiez de 10 millions de dollars, comment les dépenseriez-vous ? Dans une publicité pour le Super Bowl ? Un parrainage de la F1 ?
Vous pourrait le consacrer à la formation d’un modèle d’IA génératif. Bien qu’il ne s’agisse pas de marketing au sens traditionnel du terme, les modèles génératifs attirent l’attention et permettent de plus en plus d’accéder aux produits et services de base des vendeurs.
Voir DBRX de Databricks, un nouveau modèle d’IA générative annoncé aujourd’hui, qui s’apparente à la série GPT d’OpenAI et à Gemini de Google. Disponible sur GitHub et sur la plateforme de développement de l’IA Hugging Face pour la recherche ainsi que pour un usage commercial, les versions de base (DBRX Base) et de réglage fin (DBRX Instruct) de DBRX peuvent être exécutées et réglées sur des données publiques, personnalisées ou autrement propriétaires.
« DBRX a été formé pour être utile et fournir des informations sur une grande variété de sujets », a déclaré Naveen Rao, vice-président de l’IA générative chez Databricks, lors d’une interview avec TechCrunch. « DBRX a été optimisé et réglé pour l’utilisation de la langue anglaise, mais il est capable de converser et de traduire dans une grande variété de langues, telles que le français, l’espagnol et l’allemand. »
Databricks décrit DBRX comme étant « open source », dans la même veine que les modèles « open source » tels que le Llama 2 de Meta et les modèles de la startup d’IA Mistral. (La question de savoir si ces modèles répondent vraiment à la définition de l’open source fait l’objet d’un débat animé).
Databricks affirme avoir consacré environ 10 millions de dollars et deux mois à la formation de DBRX, qui, selon un communiqué de presse, « surpasse tous les modèles open source existants sur des critères de référence standard ».
Mais – et c’est là que le bât blesse – il est exceptionnellement difficile d’utiliser DBRX à moins d’être un client de Databricks.
En effet, pour faire fonctionner DBRX dans la configuration standard, vous avez besoin d’un serveur ou d’un PC équipé d’au moins quatre GPU Nvidia H100 (ou toute autre configuration de GPU permettant d’obtenir environ 320 Go de mémoire). Un seul H100 coûte des milliers de dollars, voire plus. Pour l’entreprise moyenne, c’est peut-être de l’argent de poche, mais pour de nombreux développeurs et entrepreneurs individuels, c’est hors de portée.
Il est possible d’exécuter le modèle sur un nuage tiers, mais les exigences matérielles restent assez élevées – par exemple, il n’existe qu’un seul type d’instance sur le nuage Google qui incorpore les puces H100. D’autres clouds peuvent coûter moins cher, mais d’une manière générale, l’exécution de modèles aussi gigantesques n’est pas bon marché aujourd’hui.
Et il y a des petits caractères. Databricks indique que les entreprises comptant plus de 700 millions d’utilisateurs actifs devront faire face à « certaines restrictions » comparables à celles de Meta pour Llama 2, et que tous les utilisateurs devront accepter des conditions garantissant qu’ils utilisent DBRX de manière « responsable ». (Databricks n’avait pas précisé les détails de ces conditions au moment de la publication).
Databricks présente son produit Mosaic AI Foundation Model comme la solution gérée à ces obstacles, qui, outre l’exécution de DBRX et d’autres modèles, fournit une pile d’entraînement pour affiner DBRX sur des données personnalisées. Les clients peuvent héberger DBRX de manière privée en utilisant l’offre Model Serving de Databricks, a suggéré Rao, ou ils peuvent travailler avec Databricks pour déployer DBRX sur le matériel de leur choix.
ajoute Rao :
« Nous nous efforçons de faire de la plateforme Databricks le meilleur choix pour la construction de modèles personnalisés, de sorte qu’en fin de compte, l’avantage pour Databricks est d’avoir plus d’utilisateurs sur notre plateforme. DBRX est une démonstration de notre plateforme de pré-entraînement et de réglage, la meilleure de sa catégorie, que les clients peuvent utiliser pour construire leurs propres modèles à partir de zéro. C’est un moyen facile pour les clients de commencer à utiliser les outils d’IA générative Databricks Mosaic AI. DBRX est très performant dès sa sortie de l’usine et peut être réglé pour obtenir d’excellentes performances sur des tâches spécifiques, à un coût plus avantageux que celui des grands modèles fermés. »
Databricks affirme que DBRX est jusqu’à deux fois plus rapide que Llama 2, en partie grâce à son architecture de mélange d’experts (MoE). L’architecture MoE – que DBRX partage avec les nouveaux modèles de Mistral et Gemini 1.5 Pro, récemment annoncé par Google – décompose les tâches de traitement des données en plusieurs sous-tâches, puis délègue ces sous-tâches à des modèles « experts » plus petits et spécialisés.
La plupart des modèles MoE comptent huit experts. DBRX en a 16, ce qui, selon Databricks, améliore la qualité.
La qualité est toutefois relative.
Alors que Databricks affirme que DBRX surpasse les modèles de Llama 2 et de Mistral sur certains critères de compréhension du langage, de programmation, de mathématiques et de logique, DBRX n’arrive pas à la cheville du modèle d’IA générative le plus performant, le GPT-4 d’OpenAI, dans la plupart des domaines en dehors des cas d’utilisation de niche tels que la génération de langages de programmation de bases de données.
Rao admet que DBRX a également d’autres limites, à savoir que, comme tous les autres modèles d’IA générative, il peut être victime de réponses « hallucinantes » aux requêtes, malgré le travail de Databricks en matière de tests de sécurité et de « red teaming ». Le modèle ayant été simplement entraîné à associer des mots ou des phrases à certains concepts, si ces associations ne sont pas totalement exactes, ses réponses ne le seront pas toujours.
Par ailleurs, DBRX n’est pas multimodal, contrairement à certains modèles d’IA générative plus récents, dont Gemini. (Il ne peut traiter et générer que du texte, pas des images.) Et nous ne savons pas exactement quelles sources de données ont été utilisées pour l’entraîner ; Rao a seulement révélé qu’aucune donnée de clients de Databricks n’a été utilisée dans l’entraînement de DBRX.
« Nous avons entraîné DBRX sur un vaste ensemble de données provenant de diverses sources », a-t-il ajouté. « Nous avons utilisé des ensembles de données ouvertes que la communauté connaît, aime et utilise tous les jours.
J’ai demandé à Rao si l’un des ensembles de données d’entraînement de DBRX était protégé par des droits d’auteur ou des licences, ou s’il présentait des signes évidents de biais (par exemple, des biais raciaux), mais il n’a pas répondu directement, se contentant de dire : « Nous avons fait attention aux données utilisées et nous avons mené des exercices en équipe rouge pour améliorer les faiblesses du modèle. » Les modèles génératifs d’IA ont tendance à régurgiter les données d’entraînement, ce qui constitue une préoccupation majeure pour les utilisateurs commerciaux de modèles entraînés sur des données sans licence, protégées par des droits d’auteur ou très clairement biaisées. Dans le pire des cas, un utilisateur pourrait se retrouver sur le banc des accusés éthiques et juridiques pour avoir involontairement incorporé dans ses projets des travaux d’un modèle qui violent la propriété intellectuelle ou qui sont biaisés.
Certaines entreprises qui forment et diffusent des modèles d’IA générative proposent des polices d’assurance couvrant les frais juridiques découlant d’une éventuelle atteinte à la propriété intellectuelle. Databricks ne le fait pas pour l’instant, mais M. Rao indique que l’entreprise « étudie des scénarios » qui lui permettraient de le faire.
Compte tenu de cet aspect et des autres aspects dans lesquels DBRX rate sa cible, le modèle semble difficile à vendre à quiconque, à l’exception des clients actuels ou potentiels de Databricks. Les rivaux de Databricks dans le domaine de l’IA générative, y compris OpenAI, proposent des technologies tout aussi convaincantes, sinon plus, à des prix très compétitifs. Et de nombreux modèles d’IA générative sont plus proches de la définition communément admise de l’open source que DBRX.
M. Rao promet que Databricks continuera d’affiner DBRX et de publier de nouvelles versions à mesure que l’équipe de recherche et développement de Mosaic Labs – l’équipe à l’origine de DBRX – étudiera de nouvelles pistes en matière d’IA générative.
« DBRX fait progresser l’espace des modèles open source et met au défi les modèles futurs de se construire encore plus efficacement », a-t-il déclaré. « Nous publierons des variantes au fur et à mesure que nous appliquerons des techniques visant à améliorer la qualité des résultats en termes de fiabilité, de sécurité et de biais… Nous considérons le modèle ouvert comme une plateforme sur laquelle nos clients peuvent construire des capacités personnalisées à l’aide de nos outils ».
À en juger par la position actuelle de DBRX par rapport à ses pairs, le chemin à parcourir est exceptionnellement long.
Cet article a été corrigé pour indiquer que la formation du modèle a pris deux mois et pour supprimer une référence incorrecte au Llama 2 dans le quatorzième paragraphe. Nous regrettons ces erreurs.