Après des mois de retard, la ville de New York a commencé aujourd’hui à appliquer une loi qui oblige les employeurs utilisant des algorithmes pour recruter, embaucher ou promouvoir des employés à soumettre ces algorithmes à un audit indépendant – et à rendre les résultats publics. Première du genre dans le pays, cette législation – la loi locale 144 de la ville de New York – exige également que les entreprises utilisant ce type d’algorithmes en informent les employés ou les candidats à l’emploi.
Au minimum, les rapports que les entreprises doivent rendre publics doivent énumérer les algorithmes qu’elles utilisent ainsi qu’une « note moyenne » que les candidats de différentes races, ethnies et sexes sont susceptibles de recevoir de la part desdits algorithmes – sous la forme d’une note, d’une classification ou d’une recommandation. Elle doit également dresser la liste des « ratios d’impact » des algorithmes, que la loi définit comme la note moyenne attribuée par l’algorithme à toutes les personnes d’une catégorie spécifique (par exemple, les candidats noirs de sexe masculin) divisée par la note moyenne des personnes de la catégorie la mieux notée.
Les entreprises qui ne sont pas en conformité avec la loi s’exposent à des amendes de 375 dollars pour une première infraction, de 1 350 dollars pour une deuxième infraction et de 1 500 dollars pour une troisième infraction et toute infraction ultérieure. Chaque jour où une entreprise utilisera un algorithme en violation de la loi constituera une infraction distincte, tout comme le fait de ne pas fournir d’informations suffisantes.
Il est important de noter que le champ d’application de la loi locale 144, qui a été approuvée par le conseil municipal et sera mise en œuvre par le département de la protection des consommateurs et des travailleurs de la ville de New York, s’étend au-delà des travailleurs basés à New York. Tant qu’une personne exerce ou postule à un emploi dans la ville, elle peut bénéficier des protections prévues par la nouvelle loi.
Nombreux sont ceux qui considèrent que cette loi n’a que trop tardé. Khyati Sundaram, PDG d’Applied, un fournisseur de technologies de recrutement, a souligné que l’IA de recrutement, en particulier, pouvait amplifier les préjugés existants, aggravant ainsi les écarts d’emploi et de rémunération.
« Les employeurs devraient éviter d’utiliser l’IA pour noter ou classer les candidats de manière indépendante », a déclaré Sundaram à TechCrunch par courriel. « Nous n’en sommes pas encore au stade où l’on peut ou doit faire confiance aux algorithmes pour prendre ces décisions de manière autonome sans refléter et perpétuer les préjugés qui existent déjà dans le monde du travail. »
Il n’est pas nécessaire de chercher bien loin pour trouver des preuves de l’infiltration de préjugés dans les algorithmes d’embauche. Amazon a mis au rebut un moteur de recrutement en 2018 après qu’il se soit avéré discriminatoire à l’égard des candidates. En 2019, une étude universitaire a montré que l’IA était à l’origine de préjugés anti-Noirs dans le recrutement.
Ailleurs, on a constaté que les algorithmes attribuaient aux candidats à l’emploi des notes différentes en fonction de critères tels que le port de lunettes ou d’un foulard ; qu’ils pénalisaient les candidats dont le nom avait une consonance noire, qui mentionnaient une université féminine ou qui soumettaient leur CV en utilisant certains types de fichiers ; et qu’ils désavantageaient les personnes souffrant d’un handicap physique qui limitait leur capacité à interagir avec un clavier.
Les préjugés peuvent être profonds. Une étude réalisée en octobre 2022 par l’université de Cambridge laisse entendre que les sociétés d’IA qui prétendent offrir des évaluations objectives et méritocratiques sont fausses, et que les mesures de lutte contre les préjugés visant à éliminer le sexe et la race sont inefficaces parce que l’employé idéal est historiquement influencé par son sexe et sa race.
Mais les risques ne ralentissent pas l’adoption. Près d’une organisation sur quatre utilise déjà l’IA pour soutenir ses processus d’embauche, selon une enquête de février 2022 de la Society for Human Resource Management. Le pourcentage est encore plus élevé – 42 % – chez les employeurs comptant 5 000 employés ou plus.
Quelles formes d’algorithmes les employeurs utilisent-ils exactement ? Cela varie. Les plus courants sont les analyseurs de texte qui trient les CV et les lettres de motivation en fonction de mots clés. Mais il y a aussi les chatbots qui mènent des entretiens en ligne pour éliminer les candidats présentant certains traits de caractère, et les logiciels d’entretien conçus pour prédire les compétences en matière de résolution de problèmes, les aptitudes et l' »adéquation culturelle » d’un candidat à partir de ses modèles de discours et de ses expressions faciales.
L’éventail des algorithmes d’embauche et de recrutement est si vaste que certaines organisations estiment que la loi locale 144 ne va pas assez loin.
Le NYCLU, la branche new-yorkaise de l’American Civil Liberties Union, affirme que la loi est « loin d’offrir des protections aux candidats et aux travailleurs ». Daniel Schwarz, responsable de la stratégie en matière de technologie et de protection de la vie privée au NYCLU, note dans une note politique que la loi locale 144 pourrait, telle qu’elle est rédigée, être interprétée comme ne couvrant qu’un sous-ensemble d’algorithmes d’embauche – par exemple en excluant les outils qui transcrivent du texte à partir d’entretiens vidéo et audio. (Étant donné que les outils de reconnaissance vocale présentent un problème de partialité bien connu, cela pose manifestement un problème).
« Les règles proposées doivent être renforcées pour garantir une large couverture des algorithmes d’embauche, étendre les exigences en matière d’audit des biais et assurer la transparence et une notification significative aux personnes concernées afin de garantir que les algorithmes ne servent pas à contourner numériquement les lois de la ville de New York contre la discrimination », a écrit M. Schwarz. « Les candidats et les travailleurs ne devraient pas avoir à s’inquiéter d’être filtrés par un algorithme discriminatoire.
Parallèlement, le secteur s’engage dans des efforts préliminaires d’autorégulation.
Décembre 2021 a vu le lancement de la Data & ; Trust Alliance, qui vise à développer un système d’évaluation et de notation pour l’IA afin de détecter et de combattre les biais algorithmiques, en particulier les biais à l’embauche. Le groupe comptait parmi ses membres CVS Health, Deloitte, General Motors, Humana, IBM, Mastercard, Meta, Nike et Walmart, et a bénéficié d’une importante couverture médiatique.
Sans surprise, Sundaram est favorable à cette approche.
« Plutôt que d’espérer que les régulateurs rattrapent leur retard et freinent les pires excès de l’IA de recrutement, il appartient aux employeurs d’être vigilants et de faire preuve de prudence lorsqu’ils utilisent l’IA dans les processus d’embauche », a-t-il déclaré. « L’IA évolue plus rapidement qu’il n’est possible d’adopter des lois pour réglementer son utilisation. Les lois qui seront finalement adoptées – y compris celle de la ville de New York – risquent d’être extrêmement compliquées pour cette raison. Les entreprises risquent donc de mal interpréter ou de négliger diverses subtilités juridiques et, par voie de conséquence, les candidats marginalisés continueront d’être écartés des postes à pourvoir. »
Bien sûr, beaucoup diront que le fait que les entreprises développent un système de certification pour les produits d’IA qu’elles utilisent ou développent pose d’emblée un problème.
Bien qu’imparfaite dans certains domaines, selon les critiques, la loi locale 144 ne exige que les audits soient réalisés par des entités indépendantes qui n’ont pas été impliquées dans l’utilisation, le développement ou la distribution de l’algorithme qu’elles testent et qui n’ont pas de relation avec l’entreprise qui soumet l’algorithme à l’essai.
La loi locale 144 aura-t-elle un effet sur le changement, en fin de compte ? Il est trop tôt pour le dire. Mais il est certain que le succès – ou l’échec – de sa mise en œuvre aura une incidence sur les lois à venir ailleurs. Comme indiqué dans un article récent pour Nerdwallet, Washington, D.C., envisage une règle qui tiendrait les employeurs responsables de la prévention des biais dans les algorithmes de prise de décision automatisée. En Californie, deux projets de loi visant à réglementer l’IA à l’embauche ont été présentés au cours des dernières années. Fin décembre, un projet de loi a été déposé dans le New Jersey pour réglementer l’utilisation de l’IA dans les décisions d’embauche afin de minimiser la discrimination.