Reality Defender, l’une des nombreuses startups qui développent des outils pour tenter de détecter les deepfakes et autres contenus générés par l’IA, a annoncé aujourd’hui qu’elle avait levé 15 millions de dollars lors d’un tour de table de série A mené par DCVC avec la participation de Comcast Ventures, Ex/ante, Parameter Ventures et l’AI Grant de Nat Friedman.
Selon Ben Colman, cofondateur et PDG de Reality Defender, ces fonds serviront à doubler l’équipe de Reality Defender, qui compte 23 personnes, au cours de l’année à venir et à améliorer ses modèles de détection de contenu par l’IA.
« De nouvelles méthodes de deepfaking et de génération de contenu apparaîtront constamment, prenant le monde par surprise à la fois par le spectacle et la quantité de dommages qu’elles peuvent causer », a déclaré Colman à TechCrunch lors d’une interview par e-mail. « En adoptant un état d’esprit axé sur la recherche, Reality Defender peut garder plusieurs longueurs d’avance sur ces méthodes et modèles de nouvelle génération avant qu’ils n’apparaissent publiquement, en étant proactif en matière de détection au lieu de réagir à ce qui vient d’apparaître aujourd’hui.
M. Colman, ancien vice-président de Goldman Sachs, a lancé Reality Defender en 2021 avec Ali Shahriyari et Gaurav Bharaj. Ali Shahriyari a précédemment travaillé chez Originate, une société de conseil en technologie de transformation numérique, et à la AI Foundation, une startup qui crée des chatbots animés alimentés par l’IA. Gaurav Bharaj était l’un des collègues de M. Shahriyari à la AI Foundation, où il dirigeait la recherche et le développement.
Reality Defender était à l’origine une association à but non lucratif. Mais, selon M. Colman, l’équipe s’est tournée vers un financement extérieur une fois qu’elle a pris conscience de l’ampleur du problème des « deepfakes » et de la demande commerciale croissante de technologies de détection des « deepfakes ».
M. Colman n’exagère pas sur l’ampleur du problème. DeepMedia, un concurrent de Reality Defender qui travaille sur des outils de détection des médias synthétiques, estime qu’il y a eu trois fois plus de deepfakes vidéo et huit fois plus de deepfakes vocaux mis en ligne cette année par rapport à la même période en 2022.
L’augmentation du volume de deepfakes est attribuable en grande partie à la banalisation des outils d’IA générative.
Le clonage d’une voix ou la création d’une image ou d’une vidéo « deepfake » – c’est-à-dire une image ou une vidéo manipulée numériquement pour remplacer de manière convaincante la ressemblance d’une personne – coûtait autrefois des centaines, voire des milliers de dollars et nécessitait un savoir-faire en science des données. Mais ces dernières années, des plateformes comme ElevenLabs, qui synthétise la voix, et des modèles open source comme Stable Diffusion, qui génère des images, ont permis à des acteurs malveillants d’organiser des campagnes de deepfake à peu de frais, voire gratuitement.
Ce mois-ci, des utilisateurs du célèbre forum de discussion 4chan ont utilisé une série d’outils d’IA générative, dont Stable Diffusion, pour lancer une campagne éclair d’images racistes en ligne. Entre-temps, des trolls ont utilisé ElevenLabs pour imiter les voix de célébrités, générant un contenu audio allant des mèmes et de l’érotisme à des discours de haine virulents. Enfin, des acteurs étatiques alignés sur le parti communiste chinois ont créé des avatars d’IA réalistes représentant des présentateurs de journaux télévisés et commentant des sujets tels que la violence armée aux États-Unis.
Certaines plateformes d’IA générative ont mis en place des filtres et d’autres restrictions pour lutter contre les abus. Mais, comme pour la cybersécurité, c’est le jeu du chat et de la souris.
« Certains des plus grands risques liés aux médias générés par l’IA découlent de l’utilisation et de l’abus de documents falsifiés sur les médias sociaux », a déclaré M. Colman. « Ces plateformes ne sont pas incitées à analyser les deepfakes car aucune législation ne les oblige à le faire, contrairement à la législation qui les oblige à retirer les contenus pédopornographiques et autres contenus illégaux. »
Reality Defender prétend détecter une série de deepfakes et de médias générés par l’IA, en proposant une API et une application web qui analysent les vidéos, le son, le texte et les images à la recherche de signes de modifications induites par l’IA. En utilisant des « modèles propriétaires » formés sur des ensembles de données internes « créés pour fonctionner dans le monde réel et non en laboratoire », M. Colman affirme que Reality Defender est capable d’atteindre un taux de précision plus élevé que celui de ses concurrents en matière de deepfakes.
« Nous entraînons un ensemble de modèles de détection par apprentissage profond, chacun d’entre eux se concentrant sur sa propre méthodologie », a déclaré Colman. « Nous avons appris il y a longtemps que non seulement l’approche monomodale à modèle unique ne fonctionne pas, mais qu’il en va de même pour les tests de précision en laboratoire par rapport à la précision dans le monde réel. »
Mais un outil peut-il détecter de manière fiable les « deepfakes » ? La question reste ouverte.
OpenAI, la startup d’IA à l’origine du chatbot viral ChatGPT, a récemment retiré son outil de détection de texte généré par l’IA, citant son « faible taux de précision ». Et au moins une étude montre que les détecteurs de deepfake vidéo peuvent être trompés si les deepfakes qu’ils reçoivent sont édités d’une certaine manière.
Les modèles de détection des deepfakes risquent également d’amplifier les biais.
Un article publié en 2021 par des chercheurs de l’Université de Californie du Sud a révélé que certains des ensembles de données utilisés pour former les systèmes de détection des faux pourraient sous-représenter les personnes d’un certain sexe ou ayant une couleur de peau spécifique. Selon les coauteurs, ce biais peut être amplifié dans les détecteurs de faux, certains détecteurs affichant une différence de taux d’erreur de 10,7 % en fonction du groupe racial.
M. Colman se porte garant de la précision de Reality Defender. Il affirme que l’entreprise travaille activement à atténuer les biais de ses algorithmes, en incorporant « une grande variété d’accents, de couleurs de peau et d’autres données variées » dans les ensembles de données d’entraînement de ses détecteurs.
« Nous entraînons, réentraînons et améliorons constamment nos modèles de détection afin qu’ils s’adaptent à de nouveaux scénarios et cas d’utilisation, tout en représentant avec précision le monde réel et pas seulement un petit sous-ensemble de données ou d’individus », a déclaré M. Colman.
Appelez-moi cynique, mais je ne suis pas sûr d’adhérer à ces affirmations sans un audit réalisé par une tierce partie pour les étayer. Mon scepticisme n’a cependant pas d’incidence sur les activités de Reality Defender, qui, d’après M. Colman, sont assez robustes. La clientèle de Reality Defender s’étend à des gouvernements « sur plusieurs continents » ainsi qu’à des institutions financières, des sociétés de médias et des multinationales « de premier plan ».
Et ce, malgré la concurrence de startups telles que Truepic, Sentinel et Effectiv, ainsi que des outils de détection de deepfake des opérateurs historiques tels que Microsoft.
Afin de maintenir sa position sur le marché des logiciels de détection de deepfake, évalué à 3,86 milliards de dollars en 2020 selon HSRC, Reality Defender prévoit d’introduire un outil d' »IA explicable » qui permettra aux clients de scanner un document pour voir les paragraphes codés en couleur du texte généré par l’IA. L’entreprise prévoit également de mettre au point un outil de détection des faux trafics vocaux en temps réel pour les centres d’appels, suivi d’un outil de détection vidéo en temps réel.
« En bref, Reality Defender protégera les résultats financiers et la réputation d’une entreprise », a déclaré M. Colman. « Reality Defender utilise l’IA pour lutter contre l’IA, en aidant les plus grandes entités, plateformes et gouvernements à déterminer si un média est vraisemblablement réel ou manipulé. Cela permet de lutter contre la fraude dans le monde de la finance, d’empêcher la diffusion de la désinformation dans les médias et d’empêcher la diffusion de documents irréversibles et dommageables au niveau gouvernemental, pour ne citer que trois cas d’utilisation parmi des centaines d’autres. »