Avez-vous déjà vomi et eu la diarrhée en même temps ? Oui, et lorsque cela s’est produit, j’écoutais une version audio faite par un fan de Harry Potter and the Methods of Rationality (HPMOR), une fanfiction écrite par Eliezer Yudkowsky.
Non, la double horreur corporelle n’a pas été provoquée par la fanfic, mais les deux expériences sont inextricables dans mon esprit. J’ai été choqué de découvrir des années plus tard que la fanfic de 660 000 mots que j’avais lue en marathon alors que j’étais malade avait des liens étranges avec les technorati ultra-riches, y compris de nombreuses personnalités impliquées dans la débâcle actuelle de l’OpenAI.
Exemple : dans un œuf de Pâques repéré par 404 Media (qui était trop mineur pour que quelqu’un d’autre – même moi, qui ai lu la fanfic de plus d’un millier de pages – le remarque), il y a un joueur de Quidditch mentionné une fois dans l’histoire tentaculaire qui s’appelle Emmett Shear. Oui, le même Emmett Shear qui a cofondé Twitch et qui vient d’être nommé PDG par intérim d’OpenAI, sans doute l’entreprise la plus influente des années 2020. M. Shear était un fan du travail de M. Yudkowsky, dont il suivait l’histoire en série au fur et à mesure de sa publication en ligne. En guise de cadeau d’anniversaire, il a donc eu droit à un caméo.
Shear est un fan de longue date des écrits de Yudkowsky, tout comme de nombreux acteurs clés de l’industrie de l’IA. Mais cette fanfiction sur Harry Potter est l’œuvre la plus populaire de Yudkowsky.
HPMOR est une réécriture de l’univers alternatif de la série Harry Potter, qui part du principe que la tante de Harry, Pétunia, a épousé un professeur de biochimie d’Oxford au lieu de l’abruti Vernon Dursley. Harry grandit donc comme un enfant qui sait tout et qui est obsédé par la pensée rationaliste, une idéologie qui privilégie la pensée expérimentale et scientifique pour résoudre les problèmes, au détriment de l’émotion, de la religion ou d’autres mesures imprécises. Il ne faut pas attendre trois pages pour que Harry cite les conférences de Feynman sur la physique pour tenter de résoudre un désaccord entre ses parents adoptifs sur la question de savoir si la magie est réelle ou non. Si vous pensiez que actuel Harry Potter est parfois un peu frustrant (pourquoi ne pose-t-il jamais les questions les plus évidentes à Dumbledore ? ce Harry Potter, qui pourrait donner du fil à retordre à l’éponyme « Young Sheldon ».
Il est logique que Yudkowsky fréquente les mêmes cercles que bon nombre des personnes les plus influentes dans le domaine de l’IA aujourd’hui, puisqu’il est lui-même un chercheur de longue date dans le domaine de l’IA. Dans un article du New Yorker de 2011 sur les techno-libertaires de la Silicon Valley, George Packer relate un dîner chez le milliardaire en capital-risque Peter Thiel, qui allait plus tard cofonder et investir dans OpenAI. Tandis que des « blondes en robe noire » servent du vin aux hommes, George Packer dîne avec des cofondateurs de PayPal tels que David Sacks et Luke Nosek. Patri Friedman, un ancien ingénieur de Google qui a reçu des fonds de Thiel pour lancer une organisation à but non lucratif visant à construire des civilisations marines flottantes et anarchistes inspirées du festival Burning Man (après 15 ans, l’organisation ne semble pas avoir fait beaucoup de progrès), est également présent à la fête. Et puis il y a Yudkowsky.
Pour mieux relier les parties impliquées, voici un selfie vieux de 10 mois du PDG d’OpenAI Sam Altman, aujourd’hui évincé, de Grimes et de Yudkowsky.
Yudkowsky n’est pas un nom aussi connu qu’Altman ou Elon Musk. Mais il revient souvent dans les histoires d’entreprises comme OpenAI, ou même dans la grande histoire d’amour qui nous a donné des enfants nommés X Æ A-Xii, Exa Dark Sideræl et Techno Mechanicus. Non, vraiment – Musk a un jour voulu tweeter une blague sur le « Basilic de Roko », une expérience de pensée sur l’intelligence artificielle qui a vu le jour sur LessWrong, le blog et le forum communautaire de Yudkowsky. Mais il s’est avéré que Grimes avait déjà fait la même blague à propos d’un « Basilic de Rococo » dans le clip de sa chanson « Flesh Without Blood ».
HPMOR est littéralement un outil de recrutement pour le mouvement rationaliste, qui trouve son foyer virtuel sur LessWrong de Yudkowsky. Dans une histoire certes divertissante, Yudkowsky utilise l’univers familier d’Harry Potter pour illustrer l’idéologie rationaliste, en montrant comment Harry travaille contre ses biais cognitifs pour devenir un maître de la résolution de problèmes. Lors de l’affrontement final entre Harry et le professeur Quirrell – son mentor en rationalisme qui s’avère être diabolique – Yudkowsky a brisé le quatrième mur et a donné à ses lecteurs un « examen final ». En tant que communauté, les lecteurs devaient soumettre des théories rationalistes expliquant comment Harry pourrait se sortir d’une situation fatale. Heureusement, pour le bien des fins heureuses, la communauté a réussi.
Mais la morale de HPMOR n’est pas seulement d’être un meilleur rationaliste, ou d’être aussi « moins dans l’erreur » que possible.
« Pour moi, HPMOR traite en grande partie de la façon dont la rationalité peut vous rendre incroyablement efficace, mais une efficacité incroyable peut toujours être incroyablement mauvaise », m’a dit mon seul autre ami qui a lu HPMOR. « J’ai l’impression que tout l’intérêt de HPMOR est que la rationalité n’a pas d’importance en fin de compte si votre alignement est sur le mal.
Mais, bien sûr, nous ne pouvons pas tous nous mettre d’accord sur une définition du bien et du mal. Cela nous ramène aux bouleversements que connaît OpenAI, une entreprise qui tente de construire une IA plus intelligente que l’homme. OpenAI veut aligner cette intelligence artificielle générale (AGI) sur les valeurs humaines (comme la valeur humaine de ne pas être tué dans un événement apocalyptique induit par l’IA), mais il se trouve que cette « recherche d’alignement » est la spécialité de Yudkowsky.
En mars, des milliers de personnalités du monde de l’IA ont signé une lettre ouverte demandant que tous les « laboratoires d’IA fassent immédiatement une pause d’au moins six mois ».
Parmi les signataires figuraient des ingénieurs de Meta et de Google, les fondateurs de Skype, Getty Images et Pinterest, le fondateur de Stability AI, Emad Mostaque, Steve Wozniak et même Elon Musk, cofondateur d’OpenAI qui s’est retiré en 2018. Mais Yudkowsky n’a pas signé la lettre, et a plutôt rédigé une tribune dans TIME Magazine pour soutenir qu’une pause de six mois n’est pas assez radicale.
« Si quelqu’un construit une IA trop puissante, dans les conditions actuelles, je m’attends à ce que chaque membre de l’espèce humaine et toute vie biologique sur Terre meurent peu de temps après », a écrit M. Yudkowsky. « Il n’y a pas de plan proposé pour savoir comment nous pourrions faire une telle chose et survivre. L’intention ouvertement déclarée d’OpenAI est de faire en sorte qu’une future IA fasse notre travail d’alignement de l’IA. Rien que d’entendre cela c’est le plan devrait suffire à faire paniquer toute personne sensée. L’autre grand laboratoire d’IA, DeepMind, n’a pas de plan du tout ».
Alors que M. Yudkowsky plaide pour une approche doomériste en matière d’IA, l’altercation entre les dirigeants de l’OpenAI a mis en lumière le large éventail de croyances différentes sur la manière de gérer une technologie qui pourrait constituer une menace existentielle.
En tant que PDG intérimaire d’OpenAI, Shear – qui est désormais l’une des personnes les plus puissantes au monde, et non un chercheur de Quidditch dans une fanfic – publie des mèmes sur les différentes factions dans le débat sur l’IA.
Il y a les techno-optimistes, qui soutiennent la croissance de la technologie à tout prix, parce qu’ils pensent que les problèmes causés par cette mentalité de « croissance à tout prix » seront résolus par la technologie elle-même. Il y a ensuite les accélérationnistes (e/acc), qui ressemblent un peu au techno-optimisme, mais qui expliquent plus clairement que la croissance à tout prix est la seule façon d’avancer, parce que la deuxième loi de la thermodynamique le dit. Les « safetyists » (ou « decels ») soutiennent la croissance de la technologie, mais seulement d’une manière réglementée et sûre (entre-temps, dans son « Manifeste techno-optimiste », l’investisseur en capital-risque Marc Andreessen dénonce la « confiance et la sécurité » et l' »éthique de la technologie » comme étant son ennemi). Et puis il y a les pessimistes, qui pensent que lorsque l’IA sera plus intelligente que nous, elle nous tuera tous.
Yudkowsky est l’un des chefs de file des pessimistes, et c’est aussi quelqu’un qui a passé les dernières décennies à fréquenter les mêmes cercles que ce qui semble être la moitié du conseil d’administration d’OpenAI. Une théorie populaire sur l’éviction d’Altman est que le conseil d’administration voulait nommer quelqu’un qui s’aligne plus étroitement sur ses valeurs « decel ». C’est ainsi qu’est entré en scène Shear, dont nous savons qu’il est inspiré par Yudkowsky et qu’il se considère également comme un doomer-slash-safetyist.
Nous ne savons toujours pas ce qui se passe à OpenAI, et l’histoire semble changer toutes les 10 secondes. Pour l’instant, les cercles de techniciens sur les médias sociaux continuent à se battre sur l’idéologie decel versus e/acc, en utilisant la toile de fond du chaos de l’OpenAI pour faire valoir leurs arguments. Et au milieu de tout cela, je ne peux m’empêcher de trouver fascinant que, si l’on y regarde de plus près, tout cela remonte à une fanfic Harry Potter vraiment fastidieuse.