La startup Hugging Face propose une large gamme d’outils de développement et d’hébergement pour la science des données, y compris un portail de type GitHub pour les dépôts de code d’IA, les modèles et les ensembles de données, ainsi que des tableaux de bord web pour la démonstration d’applications alimentées par l’IA.
Mais certains des outils les plus impressionnants – et les plus performants – de Hugging Face proviennent d’une équipe de deux personnes formée en janvier dernier.
H4, comme on l’appelle – « H4 » étant l’abréviation de « helpful, honest, harmless and huggy » (utile, honnête, inoffensif et câlin) – vise à développer des outils et des « recettes » pour permettre à la communauté de l’IA de construire des chatbots alimentés par l’IA dans la lignée de ChatGPT. Le lancement de ChatGPT a été le catalyseur de la formation de H4, selon Lewis Tunstall, ingénieur en apprentissage machine chez Hugging Face et l’un des deux membres de H4.
« Lorsque ChatGPT a été publié par OpenAI fin 2022, nous avons commencé à réfléchir à ce qu’il faudrait faire pour reproduire ses capacités avec des bibliothèques et des modèles open source », a déclaré Tunstall à TechCrunch lors d’une interview par e-mail. « Le principal axe de recherche de H4 porte sur l’alignement, ce qui implique globalement d’enseigner aux LLM comment se comporter en fonction des commentaires des humains (ou même d’autres IA). »
H4 est à l’origine d’un nombre croissant de grands modèles de langage open source, dont Zephyr-7B-α, une version affinée et centrée sur le chat du modèle éponyme Mistral 7B récemment publié par la startup française d’IA Mistral. H4 a également dérivé Falcon-40B, un modèle de l’Institut d’innovation technologique d’Abu Dhabi, en le modifiant pour qu’il réponde de manière plus utile aux demandes en langage naturel.
Pour entraîner ses modèles, H4 – comme d’autres équipes de recherche de Hugging Face – s’appuie sur une grappe dédiée de plus de 1 000 GPU Nvidia A100. Tunstall et son autre collègue de H4, Ed Beeching, sont basés à distance en Europe, mais reçoivent le soutien de plusieurs équipes internes de Hugging Face, notamment l’équipe chargée de tester et d’évaluer les modèles.
« La petite taille de H4 est un choix délibéré, car elle nous permet d’être plus agiles et de nous adapter à un paysage de recherche en constante évolution », a déclaré Beeching à TechCrunch par courrier électronique. « Nous avons également plusieurs collaborations externes avec des groupes tels que LMSYS et LlamaIndex, avec lesquels nous collaborons sur des publications conjointes. »
Dernièrement, H4 a étudié différentes techniques d’alignement et construit des outils pour tester l’efficacité des techniques proposées par la communauté et l’industrie. L’équipe a publié ce mois-ci un manuel contenant tout le code source et les ensembles de données utilisés pour construire Zephyr, et H4 prévoit de mettre à jour le manuel avec le code de ses futurs modèles d’IA au fur et à mesure de leur publication.
J’ai demandé si les dirigeants de Hugging Face exerçaient des pressions sur H4 pour qu’elle commercialise son travail. Après tout, la société a recueilli des centaines de millions de dollars auprès d’une cohorte d’investisseurs réputés, dont Salesforce, IBM, AMD, Google, Amazon Intel et Nvidia. Le dernier tour de table de Hugging Face l’a évaluée à 4,5 milliards de dollars, soit plus de 100 fois le chiffre d’affaires annualisé de l’entreprise.
M. Tunstall a déclaré que H4 ne monétisait pas directement ses outils. Mais il a reconnu que les outils font alimentent le programme d’accélération des experts de Hugging Face, l’offre de Hugging Face axée sur les entreprises, qui fournit des conseils aux équipes de Hugging Face pour construire des solutions d’IA personnalisées.
Lorsqu’on lui demande s’il voit H4 en concurrence avec d’autres initiatives d’IA open source, comme EleutherAI et LAION, Beeching répond que ce n’est pas l’objectif de H4. L’intention est plutôt de « renforcer » la communauté de l’IA ouverte en publiant le code d’entraînement et les ensembles de données associés aux modèles de chat de H4.
« Notre travail ne serait pas possible sans les nombreuses contributions de la communauté », a déclaré M. Beeching.