Alors que l’IA se déplace de plus en plus du nuage vers l’appareil, comment peut-on savoir si tel ou tel nouvel ordinateur portable exécutera une application alimentée par la GenAI plus rapidement que les ordinateurs portables concurrents – ou les ordinateurs de bureau ou les ordinateurs tout-en-un, d’ailleurs ? Le savoir pourrait faire la différence entre quelques secondes d’attente pour la génération d’une image et quelques minutes – et comme on dit, le temps, c’est de l’argent.
MLCommons, le groupe industriel à l’origine d’un certain nombre de normes d’étalonnage du matériel liées à l’IA, souhaite faciliter les comparaisons en lançant des critères de performance destinés aux « systèmes clients », c’est-à-dire aux PC grand public.
Aujourd’hui, MLCommons a annoncé la formation d’un nouveau groupe de travail, MLPerf Client, dont l’objectif est d’établir des critères d’évaluation de l’IA pour les ordinateurs de bureau, les ordinateurs portables et les stations de travail fonctionnant sous Windows, Linux et d’autres systèmes d’exploitation. MLCommons promet que les benchmarks seront « guidés par des scénarios », se concentrant sur les cas d’utilisation réels des utilisateurs finaux et « fondés sur les commentaires de la communauté ».
À cette fin, le premier benchmark de MLPerf Client se concentrera sur les modèles de génération de texte, en particulier le Llama 2 de Meta, qui, selon David Kanter, directeur exécutif de MLCommons, a déjà été incorporé dans d’autres suites de benchmarking de MLCommons pour le matériel des centres de données. Meta a également beaucoup travaillé sur Llama 2 avec Qualcomm et Microsoft afin d’optimiser Llama 2 pour Windows, au grand bénéfice des appareils fonctionnant sous Windows.
« Le moment est venu d’apporter MLPerf aux systèmes clients, car l’IA devient un élément attendu de l’informatique partout dans le monde », a déclaré M. Kanter dans un communiqué de presse. « Nous sommes impatients de faire équipe avec nos membres pour apporter l’excellence de MLPerf aux systèmes clients et offrir de nouvelles capacités à l’ensemble de la communauté.
Le groupe de travail MLPerf Client compte parmi ses membres AMD, Arm, Asus, Dell, Intel, Lenovo, Microsoft, Nvidia et Qualcomm – mais surtout pas Apple.
Apple n’est pas non plus membre des MLCommons, et un directeur de l’ingénierie de Microsoft (Yannis Minadakis) copréside le groupe MLPerf Client – ce qui rend l’absence de l’entreprise pas tout à fait surprenante. Le résultat décevant, cependant, est que quels que soient les critères d’évaluation de l’IA que MLPerf Client évoque, ils ne seront pas testés sur les appareils Apple – du moins pas à court terme.
Néanmoins, cet auteur est curieux de voir quels types de tests et d’outils émergeront de MLPerf Client, qu’ils soient ou non compatibles avec macOS. En supposant que la GenAI soit là pour rester – et rien n’indique que la bulle soit sur le point d’éclater – je ne serais pas surpris de voir ce type de mesures jouer un rôle de plus en plus important dans les décisions d’achat d’appareils.
Dans le meilleur des cas, les benchmarks MLPerf Client s’apparentent aux nombreux outils de comparaison de PC en ligne, donnant une indication des performances d’IA que l’on peut attendre d’une machine particulière. Il se peut même qu’ils s’étendent aux téléphones et aux tablettes à l’avenir, compte tenu de la participation de Qualcomm et d’Arm (tous deux sont fortement investis dans l’écosystème des appareils mobiles). Il est clair qu’il est encore tôt, mais espérons-le.