Les titans de l’IA jettent un (tout petit) os aux chercheurs en sécurité de l’IA

Les titans de l’IA jettent un (tout petit) os aux chercheurs en sécurité de l’IA

Le Frontier Model Forum, un organisme industriel axé sur l’étude des modèles d’IA « pionniers » tels que GPT-4 et ChatGPT, a annoncé aujourd’hui qu’il s’engageait à verser 10 millions de dollars à un nouveau fonds destiné à faire progresser la recherche sur les outils permettant de « tester et d’évaluer les modèles d’IA les plus performants ».

Le fonds, selon le Frontier Model Forum – dont les membres comprennent Anthropic, Google, Microsoft et OpenAI – soutiendra les chercheurs affiliés à des institutions académiques, des institutions de recherche et des startups, avec un financement initial provenant à la fois du Frontier Model Forum et de ses partenaires philanthropiques, la Patrick J. McGovern Foundation, la David and Lucile Packard Foundation, l’ancien PDG de Google Eric Schmidt et le milliardaire estonien Jaan Tallinn.

Le fonds sera administré par le Meridian Institute, une organisation à but non lucratif basée à Washington, D.C., qui lancera un appel à un nombre non spécifié de propositions « dans les prochains mois », selon le Frontier Model Forum. Les travaux de l’institut seront soutenus par un comité consultatif composé d’experts externes, d’experts des entreprises d’IA et de « personnes ayant une expérience dans l’octroi de subventions », ajoute le Frontier Model Forum – sans préciser qui sont exactement ces experts et ces personnes, ni la taille du comité consultatif en question.

« Nous attendons des contributions supplémentaires de la part d’autres partenaires », peut-on lire dans un communiqué de presse diffusé par le Frontier Model Forum sur plusieurs blogs officiels. « L’objectif principal du fonds sera de soutenir le développement de nouveaux modèles d’évaluation et de techniques … pour aider à développer et à tester des techniques d’évaluation pour les capacités potentiellement dangereuses des systèmes frontières ».

En effet, 10 millions de dollars, ce n’est pas rien. (Plus précisément, il s’agit de 10 millions de dollars en promesses – La Fondation David et Lucile Packard ne s’est pas encore officiellement engagée à financer le projet). Mais dans le contexte de la recherche sur la sécurité de l’IA, cela semble plutôt.., conservateur – du moins par rapport à ce que les membres du Frontier Model Forum ont dépensé pour leurs entreprises commerciales.

Rien que cette année, Anthropic a levé des milliards de dollars auprès d’Amazon pour développer un assistant IA de nouvelle génération, après un investissement de 300 dollars de Google. Microsoft s’est engagé à verser 10 milliards de dollars à OpenAI, et OpenAI – dont le chiffre d’affaires annuel dépasse largement le milliard de dollars – serait en pourparlers pour vendre des actions, ce qui porterait son évaluation à 90 milliards de dollars.

Le fonds est également modeste par rapport à d’autres subventions pour la sécurité de l’IA.

Open Philanthropy, la fondation de recherche et d’octroi de subventions cofondée par Dustin Moskovitz, fondateur de Facebook, a consacré environ 307 millions de dollars à la sécurité de l’IA, selon une analyse du blog Less Wrong. La société d’utilité publique The Survival and Flourishing Fund – financée principalement par Tallinn – a donné environ 30 millions de dollars à des projets de sécurité de l’IA. Enfin, la National Science Foundation des États-Unis a déclaré qu’elle consacrerait 20 millions de dollars à la recherche sur la sécurité de l’IA au cours des deux prochaines années, en partie grâce à des subventions de l’Open Philanthropy.

Les chercheurs en sécurité de l’IA ne formeront pas nécessairement des modèles de niveau GPT-4 à partir de zéro. Mais même les modèles plus petits et moins performants qu’ils pourraient souhaiter tester seraient coûteux à développer avec le matériel actuel, leur coût allant de centaines de milliers de dollars à des millions. Et c’est sans compter les autres frais généraux, comme les salaires des chercheurs. (Les scientifiques spécialisés dans les données ne sont pas bon marché).

Le Frontier Model Forum fait allusion à un fonds plus important à l’avenir. Si cela se concrétise, il pourrait bien avoir une chance de faire avancer la recherche sur la sécurité de l’IA – si l’on fait confiance aux bailleurs de fonds à but lucratif pour qu’ils n’exercent pas d’influence indue sur la recherche. Mais quelle que soit la manière dont on la découpe, la tranche initiale semble bien trop limitée pour accomplir grand-chose.

IA