Empoisonner intentionnellement quelqu’un n’est jamais moralement correct. Mais si quelqu’un au bureau ne cesse de vous voler votre déjeuner, n’auriez-vous pas recours à une vengeance mesquine ?
Pour les artistes, la protection de leurs œuvres contre l’utilisation sans consentement pour former des modèles d’intelligence artificielle est un combat difficile. Demandes d’exclusion et les codes « do-not-scrape » s’appuient sur la bonne foi des entreprises d’IA, mais celles qui sont motivées par le profit plutôt que par la protection de la vie privée peuvent facilement ne pas tenir compte de ces mesures. Pour la plupart des artistes, qui dépendent de l’exposition sur les médias sociaux pour obtenir des commandes et d’autres opportunités de travail, il n’est pas envisageable de se mettre hors ligne.
Ombre de nuitun projet de l’université de Chicago, offre aux artistes un recours en « empoisonnant » les données d’images, les rendant inutiles ou perturbant l’entraînement des modèles d’IA. Ben Zhao, professeur d’informatique qui a dirigé le projet, a comparé Nightshade au fait de « mettre de la sauce piquante dans son déjeuner pour éviter qu’elle ne soit volée dans le réfrigérateur du lieu de travail ».
« Nous montrons que les modèles génératifs en général, sans jeu de mots, ne sont que des modèles. Nightshade lui-même n’est pas conçu comme une arme extrêmement puissante pour tuer ces entreprises », a déclaré Zhao. « Nightshade montre que ces modèles sont vulnérables et qu’il existe des moyens de les attaquer. Ce que cela signifie, c’est qu’il existe des moyens pour les propriétaires de contenu de fournir des retours plus difficiles que d’écrire au Congrès ou de se plaindre par courrier électronique ou sur les médias sociaux. »
Zhao et son équipe n’essaient pas de faire tomber Big AI – ils essaient simplement de forcer les géants de la technologie à payer pour les œuvres sous licence, au lieu d’entraîner les modèles d’IA sur des images récupérées.
« Il y a une bonne façon de procéder », poursuit-il. « La vraie question est celle du consentement et de la rémunération. Nous donnons simplement aux créateurs de contenu un moyen de s’opposer à la formation non autorisée ».
Gauche : La Joconde, sans modification.
Au milieu : La Joconde, après Nightshade.
À droite : Comment l’IA « voit » la version ombrée de la Joconde.
Ombre de nuit cible les associations entre les messages textesLes modèles d’IA interpréteront de manière erronée les caractéristiques des images « ombrées » et, s’ils sont entraînés sur une quantité suffisante de données « empoisonnées », ils commenceront à générer des images complètement différentes de celles que verrait un observateur humain. Les modèles classeront de manière incorrecte les caractéristiques des images « ombrées » et, s’ils sont entraînés sur une quantité suffisante de données « empoisonnées », ils commenceront à générer des images sans aucun rapport avec les messages-guides correspondants. Moins de 100 échantillons « empoisonnés » peuvent suffire à corrompre un message de diffusion stable, écrivent les chercheurs dans un article de qui fait actuellement l’objet d’un examen par les pairs.
Prenons l’exemple d’une peinture représentant une vache se prélassant dans un pré.
« En manipulant et en déformant efficacement cette association, vous pouvez faire croire aux modèles que les vaches ont quatre roues rondes, un pare-chocs et un coffre », a expliqué Zhao à TechCrunch. « Et lorsqu’on leur demande de produire une vache, ils produiront un gros camion Ford au lieu d’une vache.
L’équipe de Nightshade a également fourni d’autres exemples. Une image non modifiée de la Joconde et une version ombrée sont pratiquement identiques pour les humains, mais au lieu d’interpréter l’échantillon « empoisonné » comme le portrait d’une femme, l’IA le « verra » comme un chat portant une robe.
Si l’on demande à une IA de générer l’image d’un chien, alors que le modèle a été entraîné à l’aide d’images ombrées qui lui faisaient voir des chats, on obtient des hybrides horribles qui ne ressemblent en rien à l’un ou l’autre animal.
Il faut moins de 100 images empoisonnées pour commencer à corrompre les invites.
Les effets se répercutent sur les concepts connexes, indique le document technique. Les échantillons ombrés qui ont corrompu l’invite « fantasy art » ont également affecté les invites « dragon » et « Michael Whelan », qui est un illustrateur spécialisé dans les couvertures de films fantastiques et de science-fiction.
Zhao a également dirigé l’équipe qui a créé Glazeun outil d’occultation qui déforme la façon dont les modèles d’IA « voient » et déterminent le style artistique, les empêchant ainsi d’imiter le travail unique des artistes. Comme avec Nightshade, une personne peut voir un portrait réaliste au fusain « glacé », mais un modèle d’IA le verra comme une peinture abstraite – et générera alors des peintures abstraites désordonnées lorsqu’il lui sera demandé de générer de beaux portraits au fusain.
Dans un entretien avec TechCrunch après le lancement de l’outil l’année dernière, Zhao a décrit Glaze comme une attaque technique utilisée comme une défense. Si Nightshade n’est pas une « attaque pure et simple », a déclaré Zhao plus récemment à TechCrunch, il prend tout de même l’offensive contre les entreprises d’IA prédatrices qui ne respectent pas les clauses de non-participation. OpenAI – l’une des entreprises confrontées à une pour avoir prétendument violé la loi sur le droit d’auteur. – maintenant permet aux artistes de se retirer d’être utilisées pour former de futurs modèles.
« Le problème de ces demandes d’exclusion est qu’il s’agit du type de demande le plus doux et le plus mou possible. Il n’y a pas de mise en application, aucune entreprise n’est tenue de respecter sa parole », a déclaré M. Zhao. « Il y a beaucoup d’entreprises qui volent sous le radar, qui sont beaucoup plus petites qu’OpenAI, et elles n’ont pas de limites. Elles n’ont absolument aucune raison de respecter ces listes d’exclusion, et elles peuvent toujours s’emparer de votre contenu et faire ce qu’elles veulent ».
Kelly McKernan, une artiste qui fait partie de l’association recours collectif contre Stability AI, Midjourney et DeviantArt, a publié une de leur peinture ombrée et glacée sur X. La peinture représente une femme enchevêtrée dans des veines de néon, tandis que des sosies pixellisés se nourrissent d’elle. Elle représente l’IA générative qui « cannibalise la voix authentique des créateurs humains », a écrit M. McKernan.
McKernan a commencé à faire défiler des images présentant des similitudes frappantes avec ses propres peintures en 2022, au moment où les générateurs d’images d’IA étaient lancés sur le marché. Lorsqu’ils ont découvert que plus de 50 de leurs œuvres avaient été grattés et utilisés pour entraîner des modèles d’IAils ont perdu tout intérêt pour la création artistique, ont-ils expliqué à TechCrunch. Ils ont même trouvé leur signature dans le contenu généré par l’IA. Selon eux, l’utilisation de Nightshade est une mesure de protection jusqu’à ce qu’une réglementation adéquate existe.
« C’est comme s’il y avait un gros orage dehors et que je devais quand même aller travailler, alors je vais me protéger et utiliser un parapluie transparent pour voir où je vais », a déclaré M. McKernan. « Ce n’est pas pratique et je ne vais pas arrêter la tempête, mais cela va m’aider à passer de l’autre côté, quel qu’il soit. Et cela envoie un message à ces entreprises qui ne font que prendre, prendre et prendre, sans aucune répercussion, que nous nous battrons ».
La plupart des modifications apportées par Nightshade devraient être invisibles à l’œil humain, mais l’équipe note que l' »ombrage » est plus visible sur les images aux couleurs plates et aux arrière-plans lisses. L’outil, qui est à télécharger gratuitementest également disponible en faible intensité afin de préserver la qualité visuelle. M. McKernan a déclaré que, bien qu’il ait pu constater que son image avait été modifiée après l’utilisation de Glaze et Nightshade, c’est « presque imperceptible », car c’est l’artiste qui l’a peinte.
L’illustrateur Christopher Bretz a démontré l’effet de Nightshade sur l’une de ses œuvres, en postant les résultats sur X. Le passage d’une image dans le réglage le plus bas et par défaut de Nightshade a eu peu d’impact sur l’illustration, mais les changements étaient évidents à des réglages plus élevés.
« J’ai expérimenté Nightshade toute la semaine, et j’ai l’intention d’y faire passer tous mes nouveaux travaux et une grande partie de mon ancien portefeuille en ligne », a déclaré Bretz à TechCrunch. « Je connais un certain nombre d’artistes numériques qui se sont abstenus de publier de nouvelles œuvres pendant un certain temps et j’espère que cet outil leur donnera la confiance nécessaire pour recommencer à partager leurs œuvres.
Idéalement, les artistes devraient utiliser à la fois Glaze et Nightshade avant de partager leur travail en ligne, a écrit l’équipe dans une lettre d’information (en anglais). article de blog. L’équipe teste encore l’interaction entre Glaze et Nightshade sur une même image, et prévoit de publier un outil unique et intégré qui fera les deux. En attendant, elle recommande d’utiliser d’abord Nightshade, puis Glaze pour minimiser les effets visibles. L’équipe recommande vivement de ne pas publier d’œuvres d’art qui n’ont été que nuancées et non glacées, car Nightshade ne protège pas les artistes contre le mimétisme.
Les signatures et filigranes – même ceux ajoutés aux métadonnées d’une image – sont « fragiles » et peuvent être supprimés si l’image est modifiée. Les modifications apportées par Nightshade seront conservées en cas de recadrage, de compression, de capture d’écran ou d’édition, car elles modifient les pixels qui composent une image. Même une photo d’un écran affichant une image ombrée perturbera l’apprentissage du modèle, a déclaré M. Zhao.
Les modèles génératifs devenant de plus en plus sophistiqués, les artistes sont de plus en plus contraints de protéger leur travail et de lutter contre le scraping. Steg.AI et Imatag aident les créateurs à établir la propriété de leurs images en appliquant des filigranes imperceptibles à l’œil nu, bien que ni l’un ni l’autre ne promette de protéger les utilisateurs contre le scraping sans scrupules. Les « Générateur de filigrane « No AIpublié l’année dernière, applique des filigranes qui identifient les travaux réalisés par l’homme comme étant générés par l’IA, dans l’espoir que les ensembles de données utilisés pour former les futurs modèles filtreront les images générées par l’IA. Il existe également Kudurru, un outil de Spawning.aiqui identifie et suit les adresses IP des « scrapers ». Les propriétaires de sites web peuvent bloquer les adresses IP signalées ou choisir de renvoyer une image différente, comme un majeur.
Kin.artun autre outil lancé cette semaine, adopte une approche différente. Contrairement à Nightshade et à d’autres programmes qui modifient cryptographiquement une image, Kin masque certaines parties de l’image et échange ses métabalises, ce qui rend plus difficile son utilisation pour l’apprentissage de modèles.
Les détracteurs de Nightshade affirment que le programme est un « virus » ou se plaignent que son utilisation « nuire à la communauté des logiciels libres. » Dans un publiée sur Reddit dans les mois précédant la sortie de Nightshade, un utilisateur de Discord a accusé Nightshade de « cyber-guerre/terrorisme ». Un autre utilisateur de Reddit qui est devenu viral par inadvertance sur X a remis en question la légalité de Nightshade, la comparant au « piratage d’un système informatique vulnérable pour en perturber le fonctionnement ».
Croire que Nightshade est illégal parce qu’il « perturbe intentionnellement l’objectif visé » d’un modèle d’IA générative, comme l’affirme le PO, est absurde. Zhao a affirmé que Nightshade est parfaitement légal. Il ne s’agit pas d’un « saut magique dans les pipelines de formation de modèles et de tuer tout le monde », a déclaré Zhao – les formateurs de modèles récupèrent volontairement des images, qu’elles soient ombrées ou non, et les entreprises d’IA en tirent profit.
L’objectif ultime de Glaze et de Nightshade est d’appliquer un « prix incrémentiel » à chaque donnée récupérée sans autorisation, jusqu’à ce qu’il ne soit plus possible d’entraîner des modèles à partir de données sans licence. Dans l’idéal, les entreprises devront accorder des licences pour des images non corrompues afin d’entraîner leurs modèles, en veillant à ce que les artistes donnent leur consentement et soient rémunérés pour leur travail.
Cela a déjà été fait ; Getty Images et Nvidia ont récemment lancé un outil d’IA générative entièrement formé à l’aide de la vaste bibliothèque de photos d’archives de Getty. Les clients qui s’abonnent paient un droit déterminé par le nombre de photos qu’ils souhaitent générer, et les photographes dont le travail a été utilisé pour former le modèle reçoivent une partie des revenus de l’abonnement. Les paiements sont déterminés par la quantité de contenu du photographe qui a contribué à l’ensemble d’apprentissage et par la « performance de ce contenu au fil du temps ». Wired a rapporté.
M. Zhao a précisé qu’il n’était pas opposé à l’IA et a souligné que l’IA avait des applications extrêmement utiles qui n’étaient pas aussi délicates sur le plan éthique. Dans le monde universitaire et de la recherche scientifique, les progrès de l’IA sont une raison de se réjouir. Si le battage publicitaire et la panique autour de l’IA se réfèrent en réalité à l’IA générative, l’IA traditionnelle a été utilisée pour développer de nouveaux médicaments et lutter contre le changement climatique, a-t-il déclaré.
« Aucune de ces choses ne nécessite une IA générative. Rien de tout cela ne nécessite de jolies images, ni d’inventer des faits, ni d’avoir une interface utilisateur entre vous et l’IA », a déclaré M. Zhao. « Il ne s’agit pas d’un élément essentiel de la plupart des technologies fondamentales de l’IA. Mais il est vrai que ces choses s’interfacent si facilement avec les gens. Les grandes entreprises technologiques y ont vu un moyen facile de faire du profit et d’impliquer une plus grande partie de la population, par rapport à une IA plus scientifique qui possède des capacités fondamentales et révolutionnaires et des applications étonnantes.
Les principaux acteurs du secteur technologique, dont le financement et les ressources éclipsent ceux du monde universitaire, sont largement favorables à l’IA. Ils n’ont aucun intérêt à financer des projets perturbateurs qui n’apportent aucun gain financier. Zhao est fermement opposé à la monétisation de Glaze et de Nightshade, ou à la vente de la propriété intellectuelle des projets à une startup ou à une entreprise. Les artistes comme McKernan sont reconnaissants d’avoir un sursis par rapport aux frais d’abonnement, qui sont presque omniprésents dans les logiciels utilisés dans les industries créatives.
« Les artistes, moi y compris, se sentent exploités à tout bout de champ », a déclaré M. McKernan. Alors quand quelque chose nous est donné gratuitement comme ressource, je sais que nous l’apprécions ».
L’équipe à l’origine de Nightshade, composée de Zhao, du doctorant Shawn Shan et de plusieurs étudiants diplômés, a été financée par l’université, des fondations traditionnelles et des subventions gouvernementales. Mais pour pérenniser la recherche, Zhao reconnaît que l’équipe devra probablement trouver une « structure à but non lucratif » et travailler avec des fondations artistiques. Il ajoute que l’équipe a encore « quelques tours » dans son sac.
« Pendant longtemps, la recherche a été faite pour le plaisir de la recherche, pour étendre les connaissances humaines. Mais je pense qu’il y a une ligne éthique à ne pas franchir dans ce domaine », a déclaré Zhao. « Les personnes les plus vulnérables ont tendance à être les plus créatives et à avoir le moins de soutien en termes de ressources. Ce n’est pas un combat équitable. C’est pourquoi nous faisons ce que nous pouvons pour aider à équilibrer le champ de bataille ».