L’OpenAI déclare vouloir mettre en œuvre les idées du public sur la manière de garantir que ses futurs modèles d’IA « s’alignent sur les valeurs de l’humanité ».
À cette fin, la startup d’IA forme une nouvelle équipe de chercheurs et d’ingénieurs, Collective Alignment, afin de créer un modèle d’intelligence artificielle. pour recueillir et « encoder » les commentaires du public sur les comportements de ses modèles dans les produits et services OpenAI, a annoncé la société aujourd’hui.
« Nous continuerons à travailler avec des conseillers externes et des équipes de subvention, y compris en menant des projets pilotes pour incorporer … des prototypes dans le pilotage de nos modèles », écrit OpenAI. idans un billet de blog. « Nous sommes recrutons[…]des ingénieurs de recherche issus de divers horizons techniques pour nous aider à réaliser ce travail ».
L’équipe Collective Alignment est issue du programme public d’OpenAI, lancé en mai dernier, visant à octroyer des subventions pour financer des expériences de mise en place d’un « processus démocratique » pour décider des règles que les systèmes d’IA devraient suivre. L’objectif de ce programme, comme l’a indiqué l’OpenAI lors de son lancement, était de financer des individus, des équipes et des organisations pour développer des preuves de concept susceptibles de répondre aux questions relatives aux garde-fous et à la gouvernance de l’IA.
Dans son blog, l’OpenAI récapitule aujourd’hui les travaux des bénéficiaires de la subvention, qui vont des interfaces de chat vidéo aux plates-formes d’audit des modèles d’IA par la foule, en passant par les « approches permettant d’associer les croyances à des dimensions qui peuvent être utilisées pour affiner le comportement des modèles ». L’ensemble du code utilisé dans les travaux des bénéficiaires a été rendu public ce matin, de même que de brefs résumés de chaque proposition et des conclusions de haut niveau.
OpenAI a tenté de présenter le programme comme étant dissocié de ses intérêts commerciaux. Mais c’est une pilule un peu difficile à avaler, étant donné les critiques du PDG d’OpenAI, Sam Altman, sur la réglementation de l’IA dans l’UE. M. Altman, ainsi que Greg Brockman, président de l’OpenAI, et Ilya Sutskever, scientifique en chef, ont affirmé à plusieurs reprises que le rythme de l’innovation dans le domaine de l’IA est si rapide que nous ne pouvons pas attendre des autorités existantes qu’elles contrôlent la technologie de manière adéquate – d’où la nécessité de faire appel au crowdsourcing pour ce travail.