YouTube met à jour ses règles en matière de harcèlement et de cyberintimidation afin de réprimer les contenus qui « simulent de manière réaliste » des mineurs décédés ou des victimes d’événements meurtriers ou violents et qui décrivent leur mort. La plateforme détenue par Google indique qu’elle commencera à supprimer ce type de contenu à partir du 16 janvier.
Ce changement de politique intervient alors que certains créateurs de contenus sur des crimes réels ont utilisé l’IA pour recréer l’image d’enfants décédés ou disparus. Dans ces cas troublants, des personnes utilisent l’IA pour donner à ces enfants victimes d’affaires très médiatisées une « voix » d’enfant pour décrire leur mort.
Ces derniers mois, des créateurs de contenu ont ont utilisé l’IA pour raconter de nombreuses affaires très médiatisées, notamment l’enlèvement et la mort de James Bulger, un enfant britannique de deux ans, comme l’a rapporté The Washington Post. Il existe également des récits d’IA similaires concernant Madeleine McCann, une fillette britannique de trois ans qui a disparu d’un centre de villégiature, et Gabriel Fernández, un garçon de huit ans qui a été retrouvé dans une station balnéaire. torturé et assassiné par sa mère et son compagnon en Californie.
YouTube supprimera les contenus qui enfreignent les nouvelles règles, et les utilisateurs qui recevront une sanction ne pourront pas télécharger de vidéos, de livestreams ou d’articles pendant une semaine. Après trois sanctions, la chaîne de l’utilisateur sera définitivement supprimée de YouTube.
Ces nouveaux changements interviennent près de deux mois après que YouTube a introduit de nouvelles règles concernant la divulgation des responsabilités en matière de contenu d’IA, ainsi que de nouveaux outils permettant de demander la suppression des deepfakes. L’une de ces modifications exige des utilisateurs qu’ils indiquent s’ils ont créé un contenu modifié ou synthétique qui semble réaliste. La société a averti que les utilisateurs qui ne divulguent pas correctement leur utilisation de l’IA seront soumis à « la suppression du contenu, à la suspension du programme de partenariat YouTube ou à d’autres sanctions ».
En outre, YouTube a indiqué à l’époque que certains contenus d’IA pourraient être supprimés s’ils étaient utilisés pour montrer de la « violence réaliste », même s’ils étaient étiquetés.
En septembre 2023, TikTok a lancé un outil permettant aux créateurs d’étiqueter leur contenu généré par l’IA après que l’application sociale a mis à jour ses lignes directrices pour exiger des créateurs qu’ils déclarent lorsqu’ils publient des médias synthétiques ou manipulés montrant des scènes réalistes. La politique de TikTok lui permet de supprimer les images réalistes générées par l’IA qui ne sont pas divulguées.