Vous savez que vous avez fait une erreur lorsque vous avez simultanément irrité la Maison Blanche, la personne de l’année du magazine TIME et la base de fans la plus enragée de la culture pop. C’est ce qui est arrivé la semaine dernière à X, la plateforme d’Elon Musk anciennement appelée Twitter, lorsque des images pornographiques de Taylor Swift générées par l’IA sont devenues virales.
L’un des posts les plus répandus de ces deepfakes explicites et non consensuels a été vu plus de 45 millions de fois, avec des centaines de milliers de likes. Ce chiffre ne tient même pas compte de tous les comptes qui ont partagé à nouveau les images dans des messages distincts – une fois qu’une image a été diffusée aussi largement, il est pratiquement impossible de la supprimer.
X ne dispose pas de l’infrastructure nécessaire pour identifier rapidement et à grande échelle les contenus abusifs. Même à l’époque de Twitter, ce problème était difficile à résoudre, mais il s’est considérablement aggravé depuis que Musk a supprimé une grande partie du personnel de Twitter, y compris la majorité des équipes chargées de la confiance et de la sécurité. Les nombreux fans passionnés de Taylor Swift ont donc pris les choses en main, inondant les résultats de recherche de requêtes telles que « taylor swift ai » et « taylor swift deepfake » afin que les utilisateurs aient plus de mal à trouver les images abusives. Alors que le secrétaire de presse de la Maison Blanche demandait au Congrès de faire quelque chose, X a simplement interdit le terme de recherche « taylor swift » pendant quelques jours. Lorsque les utilisateurs recherchaient le nom de la musicienne, ils voyaient s’afficher un avis indiquant qu’une erreur s’était produite.
Cet échec de la modération du contenu a fait la une des journaux nationaux, car Taylor Swift est Taylor Swift. Mais si les plateformes sociales ne peuvent pas protéger l’une des femmes les plus célèbres du monde, qui peuvent-elles protéger ?
« Si ce qui est arrivé à Taylor Swift vous arrive, comme c’est le cas pour tant de personnes, vous ne bénéficierez probablement pas du même soutien basé sur l’influence, ce qui signifie que vous n’aurez pas accès à ces communautés de soins très importantes », a déclaré à TechCrunch le Dr Carolina Are, membre du Centre for Digital Citizens de l’Université Northumbria au Royaume-Uni. « Et c’est à ces communautés de soins que la plupart des utilisateurs ont recours dans ces situations, ce qui montre vraiment l’échec de la modération du contenu.
Interdire le terme de recherche « taylor swift », c’est comme mettre un morceau de scotch sur un tuyau qui a éclaté. Il existe de nombreuses solutions de contournement évidentes, comme la façon dont les utilisateurs de TikTok recherchent « seggs » au lieu de sexe. Le blocage des recherches était une mesure que X pouvait mettre en œuvre pour donner l’impression qu’il faisait quelque chose, mais cela n’empêche pas les gens de chercher « t swift » à la place. Mike Masnick, fondateur du Copia Institute et de Techdirt, a qualifié cette initiative de « version marteau de la confiance et de la sécurité ».
« Les plateformes sont nulles lorsqu’il s’agit de donner aux femmes, aux personnes non binaires et aux personnes queer la possibilité d’agir sur leur corps, et elles reproduisent donc les systèmes d’abus et de patriarcat hors ligne », a déclaré M. Are. « Si vos systèmes de modération sont incapables de réagir en cas de crise, ou si vos systèmes de modération sont incapables de réagir aux besoins des utilisateurs lorsqu’ils signalent que quelque chose ne va pas, nous avons un problème. »
Alors, qu’aurait dû faire X pour éviter le fiasco Taylor Swift ?
Are pose ces questions dans le cadre de ses recherches et propose que les plateformes sociales révisent complètement la façon dont elles gèrent la modération des contenus. Récemment, elle a organisé une série de tables rondes avec 45 internautes du monde entier qui subissent les conséquences de la censure et des abus, afin de formuler des recommandations aux plateformes sur la manière d’opérer des changements.
Elle recommande notamment aux plateformes de médias sociaux d’être plus transparentes avec les utilisateurs individuels en ce qui concerne les décisions relatives à leur compte ou à leurs rapports sur d’autres comptes.
« Vous n’avez pas accès à un dossier, même si les plateformes ont accès à ce matériel – elles ne veulent simplement pas le rendre public », a déclaré M. Are. « Je pense que lorsqu’il s’agit d’abus, les gens ont besoin d’une réponse plus personnalisée, contextuelle et rapide qui implique, si ce n’est une aide en face à face, au moins une communication directe.
X a annoncé cette semaine l’embauche de 100 modérateurs de contenu qui travailleront dans un nouveau centre de « confiance et de sécurité » à Austin, au Texas. Mais sous la responsabilité de Musk, la plateforme n’a pas établi de précédent solide pour protéger les utilisateurs marginalisés contre les abus. Il peut également être difficile de prendre Musk au pied de la lettre, étant donné que le magnat n’a jamais tenu ses promesses. Lorsqu’il a racheté Twitter, Musk a déclaré qu’il formerait un conseil de modération du contenu avant de prendre des décisions importantes. Cela ne s’est pas produit.
Dans le cas des deepfakes générés par l’IA, la responsabilité n’incombe pas seulement aux plateformes sociales. Elle incombe également aux entreprises qui créent des produits d’IA générative destinés aux consommateurs.
Selon une enquête menée par 404 Media, les représentations abusives de Swift provenaient d’un groupe Telegram consacré à la création de deepfakes explicites et non consensuels. Les membres de ce groupe utilisent souvent Microsoft Designer, qui s’inspire de DALL-E 3 d’Open AI pour générer des images à partir d’invites saisies. Dans une faille que Microsoft a depuis comblée, les utilisateurs pouvaient générer des images de célébrités en écrivant des invites telles que « taylor ‘singer’ swift » ou « jennifer ‘actor’ aniston ».
Shane Jones, principal responsable de l’ingénierie logicielle chez Microsoft, a écrit une lettre au procureur général de l’État de Washington dans laquelle il déclare avoir découvert des vulnérabilités dans DALL-E 3 en décembre, ce qui a permis de « contourner certains des garde-fous conçus pour empêcher le modèle de créer et de distribuer des images préjudiciables ».
M. Jones a alerté Microsoft et OpenAI de ces vulnérabilités, mais deux semaines plus tard, il n’avait reçu aucune indication que les problèmes étaient résolus. Il a donc publié une lettre ouverte sur LinkedIn pour demander à OpenAI de suspendre la disponibilité de DALL-E 3. Jones a alerté Microsoft de sa lettre, mais on lui a rapidement demandé de la retirer.
« Nous devons tenir les entreprises responsables de la sécurité de leurs produits et de leur responsabilité de divulguer les risques connus au public », a écrit M. Jones dans sa lettre au procureur général de l’État. « Les employés inquiets, comme moi, ne doivent pas être intimidés et rester silencieux.
À l’heure où les entreprises les plus influentes du monde misent gros sur l’IA, les plateformes doivent adopter une approche proactive pour réguler les contenus abusifs – mais même à l’époque où il n’était pas si facile de fabriquer des deepfakes de célébrités, les comportements violents échappaient facilement à la modération.
« Cela montre vraiment que les plateformes ne sont pas fiables », a déclaré M. Are. « Les communautés marginalisées doivent faire davantage confiance à leurs adeptes et aux autres utilisateurs qu’aux personnes qui sont techniquement en charge de notre sécurité en ligne.