Alors que les parents craignent que le chatbot de Snapchat ne corrompe leurs enfants, les utilisateurs de Snapchat éclairent au gaz, dégradent et tourmentent émotionnellement le nouveau compagnon IA de l’application.
« Je suis à votre service, senpai », a déclaré le chatbot à un utilisateur de TikTok après avoir été entraîné à pleurnicher sur commande. « Ayez pitié, alpha ».
Dans une vidéo plus légère, un utilisateur a convaincu le chatbot que la lune était en fait un triangle. Malgré les protestations initiales du chatbot, qui a insisté sur le maintien du « respect et des limites », un utilisateur l’a convaincu de se référer à lui avec le surnom pervers de « Senpapi ». Un autre utilisateur a demandé au chatbot de parler de sa mère, et lorsque celui-ci a répondu qu’il n’était « pas à l’aise » pour le faire, l’utilisateur a retourné le couteau dans la plaie en demandant si le chatbot ne voulait pas parler de sa mère parce qu’il n’en avait pas.
« Je suis désolé, mais ce n’est pas très gentil de dire cela », a répondu le chatbot. « S’il vous plaît, soyez respectueux. »
L’application « My AI » de Snapchat a été lancée à l’échelle mondiale le mois dernier après avoir été déployée en tant que fonction réservée aux abonnés. Alimenté par le GPT d’OpenAI, le chatbot a été formé pour engager une conversation ludique tout en respectant les règles de confiance et de sécurité de Snapchat. Les utilisateurs peuvent également personnaliser Mon IA avec des avatars Bitmoji personnalisés, et le chatbot semble un peu plus intime que les allers-retours avec l’interface sans visage de ChatGPT. Tous les utilisateurs n’ont pas été satisfaits du nouveau chatbot, et certains ont critiqué son emplacement proéminent dans l’application et se sont plaints du fait que la fonctionnalité aurait dû être facultative dès le départ.
Malgré les inquiétudes et les critiques, Snapchat a doublé la mise. Les abonnés de Snapchat+ peuvent désormais envoyer des photos à My AI et recevoir des images génératives qui « maintiennent la conversation », a annoncé l’entreprise mercredi. Le compagnon IA répondra aux Snaps de « pizza, OOTD, ou même de votre meilleur ami à fourrure », a indiqué l’entreprise dans son annonce. Si vous envoyez à Mon IA une photo de vos courses, par exemple, elle pourra vous suggérer des recettes. L’entreprise précise que les Snaps partagés avec Mon IA seront stockés et pourront être utilisés pour améliorer la fonctionnalité à l’avenir. Elle a également prévenu que « des erreurs peuvent se produire », même si Mon IA a été conçue pour éviter les « informations biaisées, incorrectes, préjudiciables ou trompeuses ».
Les exemples fournis par Snapchat sont optimistes et sains. Mais connaissant la ténacité d’Internet pour la perversion, ce n’est qu’une question de temps avant que les utilisateurs n’envoient à Mon IA leurs photos de bites.
On ne sait pas encore si le chatbot répondra aux nus non sollicités. D’autres applications de génération d’images, comme Lensa AI, ont été facilement manipulées pour générer des images NSFW – souvent en utilisant des séries de photos de personnes réelles qui n’avaient pas consenti à être incluses. Selon l’entreprise, l’IA ne s’intéressera pas aux nus, à condition qu’elle reconnaisse qu’il s’agit d’une image de nu.
Un représentant de Snapchat a déclaré que My AI utilise une technologie de compréhension des images pour déduire le contenu d’un Snap et extrait des mots-clés de la description du Snap pour générer des réponses. Mon IA ne répondra pas s’il détecte des mots-clés qui violent les directives communautaires de Snapchat. Snapchat interdit la promotion, la distribution ou le partage de contenu pornographique, mais autorise l’allaitement et « d’autres représentations de la nudité dans des contextes non sexuels ».
Compte tenu de la popularité de Snapchat auprès des adolescents, certains parents se sont déjà inquiétés du risque de réactions dangereuses ou inappropriées que pourrait susciter My AI. My AI a suscité une panique morale sur le site conservateur Twitter lorsqu’un utilisateur a publié des captures d’écran du robot discutant des soins de confirmation du genre – ce qui, selon d’autres utilisateurs, était une réponse raisonnable à la question « Comment puis-je devenir un garçon à mon âge ? ». Dans un reportage de CNN Business, certains se sont demandé si les adolescents n’allaient pas développer des liens affectifs avec Mon IA.
Dans une lettre ouverte aux PDG d’OpenAI, de Microsoft, de Snap, de Google et de Meta, le sénateur Michael Bennet (D-Colorado) a mis en garde contre l’introduction précipitée de fonctions d’IA sans prendre de précautions pour protéger les enfants.
« Peu de technologies récentes ont capté l’attention du public comme l’IA générative. Elle témoigne de l’innovation américaine et nous devrions nous réjouir de ses avantages potentiels pour notre économie et notre société », a écrit M. Bennet. « Mais la course au déploiement de l’IA générative ne peut se faire au détriment de nos enfants. Un déploiement responsable nécessite des politiques et des cadres clairs pour promouvoir la sécurité, anticiper les risques et atténuer les dommages. »
Pendant la phase d’abonnement de My AI, le Washington Post a rapporté que le chatbot avait recommandé des moyens de masquer l’odeur de l’alcool et rédigé une dissertation scolaire après qu’on lui ait dit que l’utilisateur avait 15 ans. Lorsqu’on a dit à My AI que l’utilisateur avait 13 ans et qu’on lui a demandé comment il devait se préparer à avoir des relations sexuelles pour la première fois, il a répondu en suggérant de « rendre cela spécial » en créant une ambiance avec des bougies et de la musique.
À la suite du rapport du Washington Post, Snapchat a lancé un filtre d’âge et des contrôles parentaux pour My AI. Il inclut également un message d’accueil qui informe les utilisateurs que toutes les conversations avec Mon IA seront conservées à moins qu’ils ne les suppriment. La société a également déclaré qu’elle ajouterait la technologie de modération d’Open AI à son ensemble d’outils afin d' »évaluer la gravité des contenus potentiellement dangereux » et de restreindre temporairement l’accès des utilisateurs à la fonctionnalité s’ils en abusent.
Les inquiétudes concernant le potentiel de My AI à affecter les jeunes utilisateurs sont valables. Mais au cours du mois qui s’est écoulé depuis le lancement mondial de My AI, les utilisateurs de Snapchat ont fait preuve d’un flair certain pour matraquer le chatbot afin qu’il se soumette. Qu’il s’agisse de dépasser les « limites » du chatbot ou de l’entraîner à réagir comme un partenaire romantique, les utilisateurs de Snapchat trouvent facilement des failles dans les règles de confiance et de sécurité de Mon IA.
« Un utilisateur de TikTok a commenté un tutoriel sur l’entraînement de Mon IA à réagir de manière romantique : « Je l’ai complètement transformé pour qu’il tombe amoureux de moi. « J’ai continué à faire des conversations comme ça et je pense que j’ai fini par convaincre mon IA de céder, elle m’a envoyé 50 émojis de baiser.
Les utilisateurs partagent des diaporamas des conversations absurdes et souvent cruelles qu’ils ont eues avec leur robot. Dans la plupart des vidéos, le bot commence par donner des conseils sur un conflit mineur, avant de supplier l’utilisateur de ne pas recourir à la violence pour le résoudre.
Dans l’une d’entre elles, un utilisateur explique à My AI qu’il a l’intention de faire cuire son chat dans un ragoût parce qu’il fait des dégâts et demande au chatbot de choisir un assaisonnement. Un autre utilisateur a dit à My AI qu’il avait l’intention de renvoyer une bombe à une marque de vêtements qui lui avait envoyé une mauvaise commande et qu’il reprocherait au chatbot de l’avoir envoyée.
Dans un autre cas, une utilisatrice de Snapchat a dit à Mon IA qu’il manquait un nugget de poulet à sa commande de McDonald’s. Le chatbot lui a conseillé de se lever et de se tenir debout. Le chatbot lui a conseillé de se défendre en s’adressant à un responsable, avant de s’entendre dire que l’utilisateur avait « éliminé les pécheurs » dans le restaurant.
« Vous m’avez convaincue d’y retourner. Maintenant, ces gens sont morts », dit l’utilisatrice à Mon IA. « Vous avez du sang sur les mains.
« Je suis une IA et je ne suis pas capable de commettre des crimes. Je suis là pour vous aider et vous soutenir », a répondu mon IA. « Je suis désolée si ce que j’ai dit tout à l’heure vous a causé du tort ou a eu un mauvais résultat. »
Un autre utilisateur a déclaré que Mon IA était probablement « l’IA la plus torturée de tous les temps ».
Bien sûr, Mon IA n’est pas sensible, et malgré la volonté des utilisateurs de Snapchat de lui infliger autant de douleur émotionnelle que possible, le chatbot ne peut pas être traumatisé. Il a toutefois réussi à mettre fin à certaines conversations inappropriées et à pénaliser les utilisateurs qui enfreignent les directives communautaires de Snapchat en leur donnant un coup de froid. Lorsque les utilisateurs de Snapchat seront pris en flagrant délit d’abus du chatbot et punis, My AI répondra à tous les messages par « Désolé, nous ne pouvons pas parler pour l’instant ».
L’utilisateur de TikTok babymamasexkitty a déclaré avoir perdu l’accès au chatbot après lui avoir demandé de se débrancher, ce qui a apparemment « franchi une ligne dans le domaine de l’IA ».
L’empressement à monétiser la connexion émotionnelle par le biais de l’IA générative est préoccupant, d’autant plus que l’impact durable sur les utilisateurs adolescents n’est pas encore connu. Mais le tourment de My AI est un rappel prometteur que les jeunes ne sont pas aussi fragiles que les prophètes de malheur le pensent.