L’OpenAI a-t-elle inventé une technologie d’IA susceptible de « menacer l’humanité » ? À en croire certains titres récents, on pourrait être enclin à le penser.
Reuters et The Information ont rapporté pour la première fois la semaine dernière que plusieurs membres du personnel d’OpenAI avaient, dans une lettre adressée au conseil d’administration de la startup d’IA, signalé les « prouesses » et le « danger potentiel » d’un projet de recherche interne connu sous le nom de « Q* ». Ce projet d’IA, selon le rapport, pouvait résoudre certains problèmes mathématiques – bien qu’au niveau de l’école primaire – mais avait, selon les chercheurs, une chance d’aboutir à une percée technique insaisissable.
La question de savoir si le conseil d’administration d’OpenAI a reçu une telle lettre est aujourd’hui débattue – The Verge cite une source suggérant que ce n’est pas le cas. Mais le cadre de Q* mis à part, Q* n’est peut-être pas aussi monumental – ou menaçant – qu’il en a l’air. Il se peut même qu’il ne soit pas nouveau.
Les chercheurs en IA sur X (anciennement Twitter), y compris Yann LeCun, le scientifique en chef de Meta en matière d’IA, ont été immédiatement sceptiques quant au fait que Q* soit autre chose qu’une extension du travail existant à OpenAI – et dans d’autres laboratoires de recherche en IA d’ailleurs. Dans un billet publié sur X, Rick Lamers, qui rédige la lettre d’information Coding with Intelligence de Substack, a fait référence à une conférence donnée par le cofondateur d’OpenAI, John Schulman, au MIT, il y a sept ans, au cours de laquelle il a décrit une fonction mathématique appelée « Q* ».
Plusieurs chercheurs pensent que le « Q » dans le nom « Q* » fait référence à l' »apprentissage Q », une technique d’IA qui aide un modèle à apprendre et à s’améliorer dans une tâche particulière en effectuant – et en étant récompensé pour – des actions spécifiques « correctes ». Les chercheurs affirment que l’astérisque, quant à lui, pourrait être une référence à A*, un algorithme permettant de vérifier les nœuds qui composent un graphe et d’explorer les routes entre ces nœuds.
Tous deux existent depuis un certain temps.
Google DeepMind a appliqué le Q-learning pour construire un algorithme d’IA capable de jouer à des jeux Atari 2600 au niveau humain… en 2014. L’A* trouve son origine dans un article académique publié en 1968. Il y a plusieurs années, des chercheurs de l’université d’Irvine ont explorés l’amélioration de l’A* avec l’apprentissage Q – ce qui pourrait être exactement ce que l’OpenAI est en train de faire.
Nathan Lambert, chercheur à l’Allen Institute for AI, a déclaré à TechCrunch qu’il pensait que Q* était lié à des approches de l’IA « principalement (pour) étudier des problèmes de mathématiques au lycée » – et non pour détruire l’humanité.
« OpenAI a même partagé des travaux plus tôt cette année pour améliorer le raisonnement mathématique des modèles de langage avec une technique appelée modèles de récompense de processus », a déclaré Lambert, « mais ce qui reste à voir, c’est comment de meilleures capacités mathématiques font autre chose que de rendre (le chatbot d’OpenAI alimenté par l’IA) ChatGPT un meilleur assistant de codage. »
Mark Riedl, professeur d’informatique à Georgia Tech, a critiqué de la même manière les articles de Reuters et de The Information sur Q*, ainsi que le récit médiatique plus large autour d’OpenAI et de sa quête d’intelligence artificielle générale (c’est-à-dire une IA capable d’effectuer n’importe quelle tâche aussi bien qu’un être humain). Reuters, citant une source, a laissé entendre que Q* pourrait être une étape vers l’intelligence artificielle générale (AGI). Mais les chercheurs, dont M. Riedl, contestent cette affirmation.
« Il n’y a aucune preuve qui suggère que les grands modèles de langage (comme ChatGPT) ou toute autre technologie en cours de développement à l’OpenAI sont sur la voie de l’AGI ou de tout autre scénario catastrophe », a déclaré Riedl à TechCrunch. OpenAI elle-même a été au mieux un « suiveur rapide », ayant pris des idées existantes … et trouvé des moyens de les mettre à l’échelle. Bien qu’OpenAI embauche des chercheurs de haut niveau, une grande partie de ce qu’ils ont fait peut être réalisé par des chercheurs d’autres organisations. Elles pourraient également l’être si les chercheurs de l’OpenAI travaillaient dans une autre organisation.
Riedl, comme Lambert, n’a pas cherché à savoir si Q* pouvait impliquer l’apprentissage Q ou A*. Mais s’il s’agit de l’un ou de l’autre – ou d’une combinaison des deux – cela serait cohérent avec les tendances actuelles de la recherche en IA, a-t-il déclaré.
« Toutes ces idées sont activement poursuivies par d’autres chercheurs du monde universitaire et de l’industrie, avec des dizaines d’articles sur ces sujets au cours des six derniers mois ou plus », a ajouté M. Riedl. « Il est peu probable que les chercheurs de l’OpenAI aient eu des idées qui n’ont pas déjà été émises par un grand nombre de chercheurs qui poursuivent également des avancées dans le domaine de l’IA.
Cela ne veut pas dire que Q* – qui aurait bénéficié de la participation d’Ilya Sutskever, scientifique en chef d’OpenAI – ne pourrait pas faire avancer les choses.
M. Lamers affirme que si Q* utilise certaines des techniques décrites dans un article publié par les chercheurs d’OpenAI en mai, il pourrait augmenter « considérablement » les capacités des modèles de langage. Sur la base de cet article, l’OpenAI pourrait avoir découvert un moyen de contrôler les « chaînes de raisonnement » des modèles de langage, explique M. Lamers, ce qui leur permettrait de guider les modèles pour qu’ils suivent des « chemins » plus souhaitables et logiques afin d’atteindre les résultats escomptés.
Cela réduirait la probabilité que les modèles suivent des modèles « étrangers à la pensée humaine » et fallacieux pour parvenir à des conclusions malveillantes ou erronées », a déclaré M. Lamers. « La plupart des chercheurs en IA s’accordent à dire que nous avons besoin de meilleurs moyens pour former ces grands modèles, de manière à ce qu’ils puissent consommer l’information de manière plus efficace.
Quoi qu’il en soit, Q* – et les équations mathématiques relativement simples qu’il résout – n’est pas voué à l’échec pour l’humanité.