OpenAI forme une nouvelle équipe dirigée par Ilya Sutskever, son scientifique en chef et l’un des cofondateurs de l’entreprise, afin de développer des moyens de diriger et de contrôler les systèmes d’IA « superintelligents ».
Dans un article de blog publié aujourd’hui, M. Sutskever et Jan Leike, l’un des responsables de l’équipe d’alignement de l’OpenAI, prédisent que l’IA dotée d’une intelligence supérieure à celle de l’homme pourrait arriver au cours de la décennie. Cette IA – à supposer qu’elle finisse par arriver – ne sera pas nécessairement bienveillante, ce qui nécessitera des recherches sur les moyens de la contrôler et de la limiter, affirment Sutskever et Leike.
« Actuellement, nous n’avons pas de solution pour diriger ou contrôler une IA potentiellement superintelligente et l’empêcher de se comporter de manière déréglée », écrivent-ils. « Nos techniques actuelles d’alignement de l’IA, telles que l’apprentissage par renforcement à partir du feedback humain, reposent sur la capacité des humains à superviser l’IA. Mais les humains ne seront pas en mesure de superviser de manière fiable des systèmes d’IA beaucoup plus intelligents que nous ».
Pour faire avancer l’aiguille dans le domaine de « l’alignement de la superintelligence », OpenAI crée une nouvelle équipe « Superalignment », dirigée par Sutskever et Leike, qui aura accès à 20 % de l’espace de calcul que l’entreprise a obtenu jusqu’à présent. Rejointe par des scientifiques et des ingénieurs de l’ancienne division d’alignement d’OpenAI ainsi que par des chercheurs d’autres organisations de l’entreprise, l’équipe s’efforcera de résoudre les principaux défis techniques liés au contrôle de l’IA superintelligente au cours des quatre prochaines années.
Comment ? En construisant ce que Sutskever et Leike décrivent comme un « chercheur en alignement automatisé de niveau humain ». L’objectif de haut niveau est de former les systèmes d’IA en utilisant le retour d’information humain, de former l’IA pour l’aider à évaluer d’autres systèmes d’IA et, en fin de compte, de construire une IA capable de faire de la recherche d’alignement. (Par « recherche d’alignement », on entend ici le fait de s’assurer que les systèmes d’IA atteignent les résultats souhaités ou qu’ils ne dérapent pas).
L’OpenAI part de l’hypothèse que l’IA peut progresser plus vite et mieux que les humains dans la recherche d’alignement.
« Au fur et à mesure que nous progressons dans ce domaine, nos systèmes d’IA peuvent prendre en charge une part de plus en plus importante de notre travail sur l’alignement et, en fin de compte, concevoir, mettre en œuvre, étudier et développer de meilleures techniques d’alignement que celles dont nous disposons actuellement », ont déclaré Leike et ses collègues John Schulman et Jeffrey Wu dans un précédent billet de blog. « Ils collaboreront avec les humains pour s’assurer que leurs propres successeurs sont mieux alignés sur les humains. Les chercheurs humains consacreront de plus en plus d’efforts à l’examen des recherches sur l’alignement effectuées par les systèmes d’IA au lieu de produire eux-mêmes ces recherches. »
Bien entendu, aucune méthode n’est infaillible – et Leike, Schulman et Wu reconnaissent les nombreuses limites de l’OpenAI dans leur article. L’utilisation de l’IA pour l’évaluation a le potentiel d’augmenter les incohérences, les biais ou les vulnérabilités de l’IA, disent-ils. Et il se pourrait que les aspects les plus difficiles du problème de l’alignement ne soient pas du tout liés à l’ingénierie.
Mais Sutskever et Leike pensent que cela vaut la peine d’essayer.
« L’alignement de la superintelligence est fondamentalement un problème d’apprentissage automatique, et nous pensons que de grands experts en apprentissage automatique – même s’ils ne travaillent pas déjà sur l’alignement – seront essentiels pour le résoudre », écrivent-ils. « Nous prévoyons de partager largement les fruits de cet effort et considérons la contribution à l’alignement et à la sécurité des modèles non-OpenAI comme une partie importante de notre travail. »