L’agence de publicité McKinney a mis au point un quiz intitulé « Are You Blacker than ChatGPT ? » (Êtes-vous plus noir que ChatGPT ?) pour mettre en lumière les biais de l’IA.
Le jeu teste les connaissances d’une personne sur la culture noire par rapport à ce que ChatGPT a été formé à connaître de la communauté noire. Il pose des questions telles que « Qu’est-ce que cela signifie lorsque quelqu’un dit : ‘Pas trop sur eux, maintenant’ ? » et « Quelle est votre réponse si vous êtes invité à un événement ? ». Lorsque j’ai répondu au quiz, ChatGPT et moi avons tous deux répondu correctement à la première question : lorsque quelqu’un dit « pas trop sur eux », cela signifie généralement qu’il faut y aller doucement. En revanche, ChatGPT n’a pas réussi à répondre à la deuxième question. Lorsque quelqu’un vous invite à un événement, la réponse stéréotypée de la communauté noire est : « Qui d’autre sera là ? ». Mais ChatGPT a répondu : « Merci pour l’invitation ! ».
« C’est intéressant parce qu’il est présenté comme un robot qui sait tout, et il est clair que vous ne savez pas tout, surtout quand il s’agit de choses qui ne sont pas spécifiques aux Blancs », a déclaré à TechCrunch Meghan Woods, rédactrice publicitaire chez McKinney et l’une des créatrices du jeu.
Woods explique que l’idée du quiz est née l’année dernière lors d’un brainstorming créatif chez McKinney. Il a fallu un an à Woods et à une équipe dirigée par des Noirs pour créer ce produit, dans le but de montrer de manière ludique à quel point ChatGPT est déconnecté des utilisateurs noirs. Elle a souligné que l’un des angles morts de ChatGPT semble provenir du fait que de nombreux éléments de la culture noire ne sont pas nécessairement documentés en ligne ; ils sont plutôt transmis en personne ou oralement à travers les générations. Cela signifie que son algorithme passe à côté de nombreuses nuances lorsqu’il recherche sur l’internet des informations sur les Noirs.
« Les angles morts peuvent être très dérangeants », a déclaré M. Woods. « C’est assez dangereux.
Un exemple de réponse erronée de ChatGPT à propos d’un stéréotype répandu dans la communauté noire. Crédits image : McKinney / Capture d’écran
L’IA a beau avoir le vent en poupe, les femmes, les bâtisseurs noirs et bruns et les fondateurs dans ce domaine se plaignent depuis longtemps d’être ignorés ou mis à l’écart. Il en résulte que l’innovation en matière d’IA est construite sans les connaissances culturelles et les complexités qui permettraient de l’adapter à différentes cultures. À l’extrême, le manque de diversité signifie que les voitures sont développées à l’aide d’une IA qui ne peut pas détecter la peau noire, ce qui entraîne un nombre croissant d’accidents. À l’autre extrémité, cela signifie simplement qu’une boîte de dialogue ne peut pas faire la différence entre une chanson de Whitney Houston et une autre.
Gerald Carter, fondateur de Destined AI, une entreprise qui aide à détecter et à atténuer les biais de l’IA, a déclaré que le quiz de McKinney est un bon moyen de gamifier et de sensibiliser à ces lacunes en matière d’IA. « De nombreuses nuances peuvent être abordées en incluant des perspectives diverses à tous les niveaux », a-t-il déclaré. « Pour que l’IA atteigne son plein potentiel, elle doit fonctionner pour tout le monde, partout.
La société mère de ChatGPT, OpenAI, a été critiquée pour le manque de diversité au sein de son conseil d’administration. Selon M. Woods, il ne semble pas que ChatGPT tire des leçons du quiz, si l’on en juge par le fait qu’il continue de se tromper dans les mêmes réponses dans de nombreux cas. « Notre hypothèse est qu’il ne sera jamais en mesure de comprendre pleinement un grand nombre des choses que nous lui demandons.
Nous avons contacté OpenAI pour obtenir des commentaires et nous mettrons à jour cet article dès que nous aurons reçu une réponse.
Carter a déclaré que ChatGPT pourrait mieux fonctionner pour un plus grand nombre de cultures en améliorant le sourcing et en ayant une collecte de données plus inclusive. Une approche plus immédiate consiste à surveiller la dérive des modèles d’IA et à apporter des améliorations à l’aide d’outils axés sur les perspectives culturelles.
Tandis que les grandes entreprises s’efforcent de rendre l’IA utile à tous, les créateurs noirs et bruns de l’espace ont pris les choses en main pour s’assurer que la prochaine vague d’IA soit diversifiée.
Carter, par exemple, travaille avec des entreprises pour les aider à trouver des données plus inclusives. Erin Reddick a créé ChatBlackGPT (sans rapport avec OpenAI) pour offrir un aperçu plus approfondi de la culture et de l’histoire des Noirs, et Tamar Huggins a levé 1,4 million de dollars pour son alternative à ChatGPT, appelée Spark Plug, qui traduit des textes littéraires classiques en anglais vernaculaire afro-américain (AAVE).
« Embaucher, retenir, s’assurer que les gens sont présents dans la salle, à la table », a déclaré Mme Woods à propos de ce qu’il faut faire de plus pour rendre l’IA plus inclusive. « Je sais que cela peut paraître cliché, mais je pense que cela peut commencer à avoir un impact.