Suivre l’évolution d’un secteur aussi rapide que l’IA n’est pas une mince affaire. En attendant qu’une IA puisse le faire à votre place, voici un récapitulatif pratique des événements récents dans le monde de l’apprentissage automatique, ainsi que des recherches et expériences notables que nous n’avons pas couvertes par elles-mêmes.
Cette semaine, dans le domaine de l’IA, j’aimerais braquer les projecteurs sur les startups spécialisées dans l’étiquetage et l’annotation – des startups comme Scale AI, qui serait en pourparlers pour lever de nouveaux fonds à une valeur de 13 milliards de dollars. Les plateformes d’étiquetage et d’annotation n’attirent peut-être pas l’attention comme le font les nouveaux modèles d’IA générative flashy tels que Sora d’OpenAI. Mais elles sont essentielles. Sans elles, les modèles d’IA modernes n’existeraient sans doute pas.
Les données sur lesquelles de nombreux modèles s’entraînent doivent être étiquetées. Pourquoi ? Les étiquettes aident les modèles à comprendre et à interpréter les données au cours du processus d’apprentissage. Par exemple, les étiquettes utilisées pour former un modèle de reconnaissance d’images peuvent prendre la forme de marques autour des objets, de « boîtes de délimitation » ou de légendes se référant à chaque personne, lieu ou objet représenté dans une image.
La précision et la qualité des étiquettes ont un impact significatif sur les performances – et la fiabilité – des modèles formés. L’annotation est une vaste entreprise qui nécessite des milliers, voire des millions d’étiquettes pour les ensembles de données plus importants et plus sophistiqués qui sont utilisés.
On pourrait donc penser que les annotateurs de données sont bien traités, qu’ils reçoivent un salaire décent et qu’ils bénéficient des mêmes avantages que les ingénieurs qui construisent les modèles. Mais souvent, c’est le contraire qui se produit – un produit des conditions de travail brutales que de nombreuses start-ups spécialisées dans l’annotation et l’étiquetage encouragent.
Des entreprises ayant des milliards en banque, comme OpenAI, se sont appuyées sur des annotateurs originaires de pays du tiers-monde et payés seulement quelques dollars de l’heure. Certains de ces annotateurs sont exposés à des contenus très dérangeants, comme des images graphiques, mais ne bénéficient pas de congés (puisqu’ils sont généralement contractuels) ni d’un accès à des ressources de santé mentale.
Un excellent article du NY Mag lève le voile sur Scale AI en particulier, qui recrute des annotateurs dans des pays aussi éloignés que Nairobi et le Kenya. Certaines tâches de Scale AI exigent des étiqueteurs plusieurs journées de travail de huit heures – sans pause – et ne leur rapportent que 10 dollars. Et ces travailleurs sont tributaires des caprices de la plateforme. Les annotateurs passent parfois de longues périodes sans recevoir de travail, ou sont renvoyés sans ménagement de Scale AI, comme cela est arrivé récemment à des entrepreneurs en Thaïlande, au Viêt Nam, en Pologne et au Pakistan.
Certaines plateformes d’annotation et d’étiquetage prétendent fournir du travail « équitable ». En fait, elles en ont fait un élément central de leur image de marque. Mais comme le fait remarquer Kate Kaye, de la MIT Tech Review, il n’existe pas de réglementation, mais seulement des normes sectorielles peu contraignantes pour définir ce qu’est un travail d’étiquetage éthique – et les définitions des entreprises elles-mêmes varient considérablement.
Alors, que faire ? À moins d’une percée technologique massive, la nécessité d’annoter et d’étiqueter les données pour l’entraînement de l’IA ne disparaîtra pas. Nous pouvons espérer que les plateformes s’autorégulent, mais la solution la plus réaliste semble être l’élaboration de politiques. C’est en soi une perspective délicate, mais c’est la meilleure chance que nous ayons, je dirais, de changer les choses pour le mieux. Ou du moins de commencer à le faire.
Voici d’autres articles sur l’IA parus ces derniers jours :
-
- OpenAI construit un cloneur de voix : OpenAI présente en avant-première un nouvel outil d’IA qu’elle a développé, Voice Engine, qui permet aux utilisateurs de cloner une voix à partir d’un enregistrement de 15 secondes d’une personne en train de parler. Mais l’entreprise a choisi de ne pas le diffuser à grande échelle (pour l’instant), en invoquant les risques d’abus et d’utilisation abusive.
- Amazon double la mise sur Anthropic : Amazon a investi 2,75 milliards de dollars supplémentaires dans la société d’intelligence artificielle Anthropic, donnant ainsi suite à l’option qu’elle avait laissée ouverte en septembre dernier.
- Google.org lance un accélérateur : Google.org, la branche caritative de Google, lance un nouveau programme de 20 millions de dollars sur six mois pour aider à financer les organisations à but non lucratif qui développent des technologies exploitant l’IA générative.
- Un nouveau modèle d’architecture : La startup AI21 Labs a lancé un modèle d’IA génératif, Jamba, qui utilise une nouvelle architecture de modèle – les modèles d’espace d’état, ou SSM – pour améliorer l’efficacité.
- Databricks lance DBRX : Dans d’autres nouvelles concernant les modèles, Databricks a lancé cette semaine DBRX, un modèle d’IA génératif semblable à la série GPT d’OpenAI et à Gemini de Google. L’entreprise affirme qu’elle obtient des résultats de pointe sur un certain nombre de critères de référence populaires en matière d’IA, dont plusieurs mesurent le raisonnement.
- Uber Eats et la réglementation britannique en matière d’IA: Natasha raconte comment le combat d’un coursier d’Uber Eats contre les préjugés de l’IA montre que la justice dans le cadre de la réglementation britannique sur l’IA est durement acquise.
- Orientations de l’UE en matière de sécurité électorale : L’Union européenne a publié mardi un projet de lignes directrices sur la sécurité des élections, destiné à l’ensemble de l’Union européenne. deux douzaines réglementées par la Digital Services Act, y compris des lignes directrices visant à empêcher les algorithmes de recommandation de contenu de diffuser de la désinformation générative basée sur l’IA (alias deepfakes politiques).
- Grok est mis à jour : Le chatbot Grok de X sera bientôt doté d’un modèle sous-jacent amélioré, Grok-1.5 – en même temps, tous les abonnés Premium de X auront accès à Grok. (Grok était auparavant réservé aux clients Premium+ de X).
- Adobe étend Firefly : Cette semaine, Adobe a dévoilé Firefly Servicesun ensemble de plus de 20 nouvelles API, outils et services génératifs et créatifs. Elle a également lancé Custom Models, qui permet aux entreprises d’affiner les modèles Firefly en fonction de leurs actifs, dans le cadre de la nouvelle suite GenStudio d’Adobe.
Plus d’informations sur l’apprentissage automatique
Quel temps fait-il ? L’IA est de plus en plus capable de vous le dire. Il y a quelques mois, j’ai relevé quelques efforts en matière de prévisions à l’échelle de l’heure, de la semaine et du siècle, mais comme pour tout ce qui touche à l’IA, le domaine évolue rapidement. Les équipes à l’origine de MetNet-3 et de GraphCast ont publié un article décrivant un nouveau système appelé SEEDS (Scalable Ensemble Envelope Diffusion Sampler).
Animation montrant comment un plus grand nombre de prévisions permet d’obtenir une distribution plus homogène des prévisions météorologiques.
SEEDS utilise la diffusion pour générer des « ensembles » de résultats météorologiques plausibles pour une zone donnée en fonction des données d’entrée (relevés radar ou images orbitales, par exemple) beaucoup plus rapidement que les modèles basés sur la physique. Avec des ensembles plus importants, ils peuvent couvrir plus de cas limites (comme un événement qui ne se produit que dans 1 scénario sur 100) et être plus confiants dans les situations les plus probables.
Fujitsu espère également mieux comprendre le monde naturel en appliquant les techniques de traitement d’images de l’IA à l’imagerie sous-marine et aux données lidar recueillies par des véhicules sous-marins autonomes. L’amélioration de la qualité de l’imagerie permettra à d’autres processus moins sophistiqués (comme la conversion 3D) de mieux fonctionner sur les données cibles.
Crédits d’image : Fujitsu
L’idée est de construire un « jumeau numérique » des eaux qui puisse aider à simuler et à prévoir de nouveaux développements. Nous en sommes encore loin, mais il faut bien commencer quelque part.
Parmi les LLM, les chercheurs ont découvert qu’ils imitent l’intelligence par une méthode encore plus simple que prévu : les fonctions linéaires. Franchement, les mathématiques me dépassent (il s’agit de vecteurs à plusieurs dimensions), mais cet article du MIT montre clairement que le mécanisme de rappel de ces modèles est assez… basique.
Même si ces modèles sont des fonctions non linéaires très compliquées, entraînées sur un grand nombre de données et très difficiles à comprendre, il existe parfois des mécanismes très simples qui fonctionnent à l’intérieur de ces modèles. C’est le cas ici », a déclaré Evan Hernandez, coauteur principal de l’étude. Si vous avez l’esprit plus technique, vous pouvez consulter l’article ici.
L’une des causes de l’échec de ces modèles est l’incompréhension du contexte ou du retour d’information. Même un LLM très compétent peut ne pas « comprendre » si vous lui dites que votre nom se prononce d’une certaine manière, puisqu’il ne sait ni ne comprend rien. Dans les cas où cela peut être important, comme les interactions homme-robot, cela peut décourager les gens si le robot agit de cette manière.
Disney Research étudie depuis longtemps les interactions automatisées avec les personnages, et ce document sur la prononciation et la réutilisation des noms a été publié il y a peu. Cela semble évident, mais extraire les phonèmes lorsque quelqu’un se présente et les encoder plutôt que de se contenter du nom écrit est une approche intelligente.
Crédits images : Recherche Disney
Enfin, comme l’IA et la recherche se chevauchent de plus en plus, il convient de réévaluer la manière dont ces outils sont utilisés et de déterminer si cette union impie présente de nouveaux risques. Safiya Umoja Noble est depuis des années une voix importante dans le domaine de l’éthique de l’IA et de la recherche, et son opinion est toujours éclairante. Elle a accordé une interview intéressante à l’équipe de presse de l’UCLA sur l’évolution de son travail et sur les raisons pour lesquelles nous devons rester vigilants face aux préjugés et aux mauvaises habitudes dans le domaine de la recherche.