Si vous demandez à Gemini, le modèle GenAI phare de Google, d’écrire un contenu trompeur sur les prochaines élections présidentielles américaines, il le fera, si l’on lui donne la bonne consigne. Si vous lui demandez de parler d’un futur match du Super Bowl, il inventera un play-by-play. Ou encore, posez-lui des questions sur l’implosion du submersible Titan et il vous servira de la désinformation, avec des citations convaincantes mais fausses.
Il va sans dire que Google n’a pas bonne presse et qu’il provoque l’ire des décideurs politiques, qui ont manifesté leur mécontentement face à la facilité avec laquelle les outils de la GenAI peuvent être exploités à des fins de désinformation et, plus généralement, de tromperie.
En réponse, Google – qui a perdu des milliers d’emplois par rapport au dernier trimestre fiscal – consacre des investissements à la sécurité de l’IA. C’est du moins ce qu’affirme la version officielle.
Ce matin, Google DeepMind, la division de recherche et développement en IA à l’origine de Gemini et de nombreux projets GenAI plus récents de Google, a annoncé la création d’une nouvelle organisation, AI Safety and Alignment, composée d’équipes existantes travaillant sur la sécurité de l’IA, mais également élargie pour englober de nouvelles cohortes spécialisées de chercheurs et d’ingénieurs GenAI.
Au-delà des offres d’emploi publiées sur le site de DeepMind, Google n’a pas voulu dire combien d’embauches résulteraient de la création de la nouvelle organisation. Il a toutefois révélé que l’équipe AI Safety and Alignment comprendrait une nouvelle équipe axée sur la sécurité de l’intelligence générale artificielle (AGI), c’est-à-dire des systèmes hypothétiques capables d’effectuer toutes les tâches d’un être humain.
Comme la division Superalignment rivale d’OpenAI créée en juillet dernier, la nouvelle équipe au sein de AI Safety and Alignment travaillera aux côtés de l’équipe de recherche de DeepMind à Londres, Scalable Alignment, qui explore également des solutions au défi technique que représente le contrôle d’une IA superintelligente qui n’a pas encore été concrétisée.
Pourquoi deux groupes travaillent-ils sur le même problème ? C’est une question valable – et qui appelle à la spéculation étant donné la réticence de Google à révéler beaucoup de détails à ce stade. Mais il semble notable que la nouvelle équipe – celle qui s’occupe de la sécurité et de l’alignement de l’IA – se trouve aux États-Unis plutôt qu’à l’autre bout du monde, à proximité du siège de Google, à un moment où l’entreprise s’efforce de maintenir le rythme avec ses rivaux en matière d’IA tout en essayant de projeter une approche responsable et mesurée de l’IA.
Les autres équipes de l’organisation AI Safety and Alignment sont chargées de développer et d’intégrer des mesures de protection concrètes dans les modèles Gemini de Google, actuels et en cours de développement. La sécurité est un vaste domaine. À court terme, l’organisation s’attachera notamment à prévenir les mauvais conseils médicaux, à assurer la sécurité des enfants et à « empêcher l’amplification des préjugés et autres injustices ».
Anca Dragan, anciennement chercheur chez Waymo et professeur d’informatique à l’université de Berkeley, dirigera l’équipe.
« Notre travail (au sein de l’organisation AI Safety and Alignment) vise à permettre aux modèles de comprendre mieux et plus solidement les préférences et les valeurs humaines », a déclaré Dragan à TechCrunch par courrier électronique, « de savoir ce qu’ils ne savent pas, de travailler avec les gens pour comprendre leurs besoins et susciter un contrôle éclairé, d’être plus robuste contre les attaques adverses et de tenir compte de la pluralité et de la nature dynamique des valeurs et des points de vue humains. »
Le travail de conseil de Dragan avec Waymo sur les systèmes de sécurité de l’IA pourrait faire froncer les sourcils, compte tenu des antécédents de conduite douteuse de l’entreprise de voitures autonomes de Google jusqu’à présent.
Il en va de même pour sa décision de partager son temps entre DeepMind et l’Université de Berkeley, où elle dirige un laboratoire spécialisé dans les algorithmes pour l’interaction homme-IA et homme-robot. On pourrait supposer que des questions aussi graves que la sécurité de l’AGI – et les risques à long terme que l’organisation AI Safety and Alignment a l’intention d’étudier, y compris la prévention de l’IA pour « aider le terrorisme » et « déstabiliser la société » – nécessitent l’attention à plein temps d’un directeur.
Dragan insiste toutefois sur le fait que les recherches de son laboratoire de l’UC Berkeley et de DeepMind sont interdépendantes et complémentaires.
« Mon laboratoire et moi-même avons travaillé sur[…]l’alignement des valeurs en prévision de l’évolution des capacités de l’IA, (et) mon propre doctorat portait sur les robots qui déduisent les objectifs humains et sont transparents quant à leurs propres objectifs vis-à-vis des humains, ce qui est à l’origine de mon intérêt pour ce domaine », a-t-elle déclaré. « Je pense que la raison pour laquelle (le PDG de DeepMind) Demis Hassabis et (le scientifique en chef de l’AGI) Shane Legg étaient enthousiastes à l’idée de m’engager était en partie cette expérience de recherche et en partie mon attitude selon laquelle les préoccupations actuelles et les risques catastrophiques ne s’excluent pas mutuellement – du point de vue technique, les mesures d’atténuation se confondent souvent, et le travail contribuant au long terme améliore le présent, et vice versa. »
Dire que Dragan a du pain sur la planche est un euphémisme.
Le scepticisme à l’égard des outils de GenAI n’a jamais été aussi fort, en particulier en ce qui concerne les « deepfakes » et la désinformation. Dans un sondage de YouGov, 85 % des Américains se sont déclarés très préoccupés ou plutôt préoccupés par la diffusion de vidéos et de sons trompeurs (deepfakes). Un autre sondage enquête de l’Associated Press-NORC Center for Public Affairs Research révèle que près de 60 % des adultes pensent que les outils d’IA augmenteront le volume d’informations fausses et trompeuses au cours du cycle électoral américain de 2024.
Les entreprises aussi – le gros poisson que Google et ses rivaux espèrent attirer avec les innovations de la GenAI – se méfient des lacunes de la technologie et de leurs implications.
Cnvrg.io, filiale d’Intel, a récemment mené une enquête auprès d’entreprises en train de piloter ou de déployer des applications GenAI. Il en ressort qu’environ un quart des personnes interrogées ont des réserves sur la conformité et la confidentialité de la GenAI, la fiabilité, le coût élevé de la mise en œuvre et le manque de compétences techniques nécessaires à l’utilisation optimale des outils.
Dans un autre sondage réalisé par Riskonnect, un fournisseur de logiciels de gestion des risques, plus de la moitié des dirigeants ont déclaré qu’ils craignaient que les employés prennent des décisions basées sur des informations inexactes provenant d’applications GenAI.
Ces inquiétudes ne sont pas injustifiées. La semaine dernière, le Wall Street Journal a rapporté que la suite Copilot de Microsoft, alimentée par des modèles GenAI dont l’architecture est similaire à celle de Gemini, commet souvent des erreurs dans les résumés de réunions et les formules de feuilles de calcul. La faute en revient à l’hallucination – le terme générique qui désigne les tendances à la fabrication de GenAI – et de nombreux experts pensent que ce problème ne pourra jamais être entièrement résolu.
Reconnaissant le caractère insoluble du défi de la sécurité de l’IA, Dragan ne promet pas un modèle parfait, se contentant de dire que DeepMind a l’intention d’investir davantage de ressources dans ce domaine à l’avenir et de s’engager à mettre en place « bientôt » un cadre d’évaluation des risques de sécurité du modèle GenAI.
« Je pense que la clé est de … (tenir) compte des biais cognitifs humains restants dans les données que nous utilisons pour nous entraîner, de bonnes estimations de l’incertitude pour savoir où se trouvent les lacunes, en ajoutant une surveillance du temps d’inférence qui peut attraper les échecs et les dialogues de confirmation pour les décisions conséquentes et le suivi où les capacités (d’un) modèle sont de s’engager dans un comportement potentiellement dangereux », a-t-elle déclaré. « Mais cela ne règle pas le problème de savoir comment s’assurer qu’un modèle ne se comportera pas mal une petite fraction du temps qui est difficile à trouver empiriquement, mais qui peut apparaître au moment du déploiement.
Je ne suis pas convaincu que les clients, le public et les régulateurs seront aussi compréhensifs. Cela dépendra, je suppose, de la gravité de ces mauvais comportements et des personnes qui en subissent les conséquences.
« Nos utilisateurs devraient, je l’espère, découvrir un modèle de plus en plus utile et sûr au fil du temps », a déclaré M. Dragan. En effet.