Dernier dimanche 28 mai, Internet Archive a subi un crash dû à une surcharge de ses serveurs. parce qu’une entreprise entraînait son modèle d’intelligence artificielle (IA) sur les données et les archives de l’Internet Archive.
Depuis le week-end dernier, les utilisateurs affirment avoir des problèmes d’accès au service lorsqu’ils rencontrent l’icône Erreur de serveur 502″.considérant que l’avertissement fait référence au fait que le système est en panne ou qu’il est en panne en raison d’une surcharge. En outre, le lendemain, la société a déclaré via Twitter que archive.org était temporairement hors service et qu’ils s’efforçaient de résoudre le problème.
Désolé, mais https://t.co/rvOhn0c6zM est temporairement indisponible – nous travaillons à rétablir le service.
(détails : il s’agit de notre deuxième explosion de trafic abusif en provenance d’un client AWS aujourd’hui, apparemment de la part d’une société d’IA qui récolte des textes d’Internet Archive à un rythme extrême)
– Internet Archive (@internetarchive) 29 mai 2023
Brewster Kahle (ingénieur et fondateur de l’Internet Archive) a souligné sur le blog officiel de l’Internet Archive qu’un ensemble de 64 machines machines virtuelles hébergées sur la plateforme AWS d’Amazon lançaient « des dizaines de milliers de requêtes par seconde ». pour collecter leurs fichiers OCR du domaine public.
Les ingénieurs ont bloqué l’accès à l’IPS d’où provenaient les requêtes pour remédier au problème, mais malheureusement, une deuxième série de 64 adresses IP est apparue à nouveau pour perturber le service. Une fois de plus, l’Internet Archive est devenu inaccessible et les adresses IP ont de nouveau dû être bloquées.
Pour les deux pannes, l’entreprise recommande d’utiliser ses matériaux « en vrac ».c’est-à-dire en commençant par une quantité raisonnable et en l’augmentant en fonction des besoins des utilisateurs. Toutefois, si vous avez besoin d’un volume important de fichiers librement accessibles, Internet Archive vous conseille de les contacter afin de de le faire d’une manière sûre et contrôlée afin d’éviter d’éventuels effondrements.
