Afin de donner aux femmes universitaires et autres spécialistes de l’IA un temps de parole bien mérité, TechCrunch lance une série d’entretiens axés sur des femmes remarquables qui ont contribué à la révolution de l’IA. Nous publierons plusieurs articles tout au long de l’année, à mesure que l’essor de l’IA se poursuivra, afin de mettre en lumière des travaux essentiels qui restent souvent méconnus. Lisez d’autres profils ici.
Heidy Khlaaf est directrice de l’ingénierie à la société de cybersécurité Trail of Bits. Elle est spécialisée dans l’évaluation des logiciels et des implémentations d’IA au sein des systèmes « critiques pour la sécurité », comme les centrales nucléaires et les véhicules autonomes.
Mme Khlaaf est titulaire d’un doctorat en informatique de l’University College London et d’une licence en informatique et en philosophie de la Florida State University. Elle a dirigé des audits de sûreté et de sécurité, fourni des consultations et des examens de cas d’assurance et contribué à la création de normes et de lignes directrices pour les applications liées à la sûreté et à la sécurité et leur développement.
Q&A
En quelques mots, comment avez-vous commencé à travailler dans le domaine de l’IA ? Qu’est-ce qui vous a attiré dans ce domaine ?
J’ai été attiré par la robotique dès mon plus jeune âge et j’ai commencé à programmer à l’âge de 15 ans, car j’étais fasciné par les perspectives d’utilisation de la robotique et de l’IA (qui sont inexplicablement liées) pour automatiser les charges de travail là où elles sont le plus nécessaires. Comme dans l’industrie manufacturière, je voyais la robotique utilisée pour aider les personnes âgées et automatiser les travaux manuels dangereux dans notre société. J’ai toutefois obtenu mon doctorat dans un autre sous-domaine de l’informatique, car je pense qu’une solide base théorique en informatique permet de prendre des décisions éclairées et scientifiques sur les domaines dans lesquels l’IA peut ou ne peut pas être adaptée, et sur les pièges qu’elle peut présenter.
De quel travail êtes-vous le plus fier (dans le domaine de l’IA) ?
J’ai utilisé ma grande expertise et mes antécédents en matière d’ingénierie de la sécurité et de systèmes critiques de sécurité pour fournir un contexte et des critiques, le cas échéant, sur le nouveau domaine de la « sécurité » de l’IA. Bien que le domaine de la sécurité de l’IA ait tenté d’adapter et de citer des techniques de sécurité et de sûreté bien établies, plusieurs termes ont été mal interprétés dans leur utilisation et leur signification. L’absence de définitions cohérentes ou intentionnelles compromet l’intégrité des techniques de sécurité actuellement utilisées par la communauté de l’IA. Je suis particulièrement fier de « Toward Comprehensive Risk Assessments and Assurance of AI-Based Systems » et « A Hazard Analysis Framework for Code Synthesis Large Language Models » où je déconstruis les faux récits sur la sécurité et les évaluations de l’IA, et propose des mesures concrètes pour combler le fossé de la sécurité au sein de l’IA.
Comment faites-vous pour relever les défis de l’industrie technologique dominée par les hommes et, par extension, de l’industrie de l’IA dominée par les hommes ?
Reconnaître que le statu quo a peu changé n’est pas quelque chose dont nous discutons souvent, mais je crois qu’il est en fait important pour moi et d’autres femmes techniciens de comprendre notre position dans l’industrie et d’avoir une vision réaliste des changements nécessaires. Les taux de rétention et la proportion de femmes occupant des postes de direction n’ont pratiquement pas changé depuis que j’ai commencé à travailler dans ce domaine, c’est-à-dire il y a plus de dix ans. Et comme TechCrunch l’a judicieusement souligné, malgré les percées et les contributions considérables des femmes dans le domaine de l’IA, nous restons à l’écart des conversations que nous avons nous-mêmes définies. Reconnaître ce manque de progrès m’a aidée à comprendre que la construction d’une communauté personnelle forte est une source de soutien bien plus précieuse que de s’appuyer sur des initiatives d’IED qui n’ont malheureusement pas fait bouger l’aiguille, étant donné que les préjugés et le scepticisme à l’égard des femmes techniques sont encore très répandus dans le secteur de la technologie.
Quels conseils donneriez-vous aux femmes qui souhaitent entrer dans le domaine de l’IA ?
Ne pas faire appel à l’autorité et trouver un travail auquel on croit vraiment, même s’il contredit les récits populaires. Étant donné le pouvoir politique et économique actuel des laboratoires d’IA, on a tendance à prendre pour argent comptant tout ce que les « leaders d’opinion » de l’IA affirment, alors qu’il s’avère souvent que de nombreuses affirmations sur l’IA sont des discours marketing qui exagèrent les capacités de l’IA à bénéficier à un résultat net. Pourtant, je constate une grande hésitation, en particulier chez les jeunes femmes dans ce domaine, à exprimer leur scepticisme à l’égard des affirmations de leurs pairs masculins qui ne peuvent être étayées. Le syndrome de l’imposteur a une forte emprise sur les femmes dans la technologie et conduit beaucoup d’entre elles à douter de leur propre intégrité scientifique. Mais il est plus important que jamais de contester les affirmations qui exagèrent les capacités de l’IA, en particulier celles qui ne sont pas falsifiables selon la méthode scientifique.
Quels sont les problèmes les plus urgents auxquels l’IA est confrontée au fur et à mesure de son évolution ?
Quelles que soient les avancées que nous observerons dans le domaine de l’IA, elles ne constitueront jamais la solution unique, sur le plan technologique ou social, à nos problèmes. Il existe actuellement une tendance à intégrer l’IA dans tous les systèmes possibles, sans tenir compte de son efficacité (ou de son manque d’efficacité) dans de nombreux domaines. L’IA devrait augmenter les capacités humaines plutôt que de les remplacer, et nous assistons à une méconnaissance totale des pièges et des modes d’échec de l’IA qui conduisent à des dommages réels et tangibles. Tout récemment, un système d’IA, ShotSpotter, a conduit un officier à tirer sur un enfant.
Quels sont les problèmes dont les utilisateurs de l’IA devraient être conscients ?
Le manque de fiabilité de l’IA. Les algorithmes d’IA sont notoirement défectueux et des taux d’erreur élevés ont été observés dans des applications qui exigent précision, exactitude et sécurité. La façon dont les systèmes d’IA sont formés intègre les préjugés humains et la discrimination dans leurs résultats qui deviennent « de facto » et automatisés. En effet, la nature des systèmes d’IA est de fournir des résultats basés sur des déductions statistiques et probabilistes et des corrélations à partir de données historiques, et non sur un quelconque type de raisonnement, de preuve factuelle ou de « causalité ».
Quelle est la meilleure façon de développer l’IA de manière responsable ?
Veiller à ce que l’IA soit développée de manière à protéger les droits et la sécurité des personnes en élaborant des affirmations vérifiables et en demandant aux développeurs de l’IA de rendre des comptes à ce sujet. Ces affirmations doivent également être limitées à une application réglementaire, sécuritaire, éthique ou technique et ne doivent pas être falsifiables. Dans le cas contraire, l’intégrité scientifique fait cruellement défaut pour évaluer correctement ces systèmes. Des régulateurs indépendants devraient également évaluer les systèmes d’IA en fonction de ces allégations, comme c’est actuellement le cas pour de nombreux produits et systèmes dans d’autres secteurs, par exemple ceux qui sont évalués par la FDA. Les systèmes d’IA ne devraient pas être exemptés des processus d’audit standard qui sont bien établis pour garantir la protection du public et des consommateurs.
Comment les investisseurs peuvent-ils mieux promouvoir une IA responsable ?
Les investisseurs devraient s’engager auprès d’organisations qui cherchent à établir et à faire progresser les pratiques d’audit de l’IA et les financer. La plupart des fonds sont actuellement investis dans les laboratoires d’IA eux-mêmes, avec la conviction que leurs équipes de sécurité sont suffisantes pour faire progresser les évaluations de l’IA. Cependant, des auditeurs et des régulateurs indépendants sont essentiels à la confiance du public. L’indépendance permet au public de se fier à l’exactitude et à l’intégrité des évaluations et à l’intégrité des résultats réglementaires.