Le mois dernier, j’ai pris une pause prolongée. Afin de maintenir ma lettre d’information sur la robotique Actuator (abonnez-vous ici), j’ai contacté quelques-uns des plus grands noms de l’industrie. J’ai posé les mêmes six questions à des représentants de CMU, UC Berkeley, Meta, Nvidis, Boston Dynamics et du Toyota Research Institute, sur des sujets tels que l’IA générative, le facteur de forme humanoïde, les robots domestiques et bien d’autres encore. Vous trouverez ci-dessous toutes les réponses, classées par question. Il est difficile de trouver une analyse plus complète de la robotique en 2023 et de la voie qu’elle ouvre pour les technologies futures.
Quel(s) rôle(s) l’IA générative jouera-t-elle dans l’avenir de la robotique ?
Crédits de l’image : Getty Images
Matthew Johnson-Roberson, CMU : L’IA générative, grâce à sa capacité à générer des données et des solutions nouvelles, renforcera considérablement les capacités des robots. Elle pourrait leur permettre de mieux se généraliser à un large éventail de tâches, d’améliorer leur adaptabilité à de nouveaux environnements et d’améliorer leur capacité à apprendre et à évoluer de manière autonome.
Dhruv Batra, Meta : Selon moi, l’IA générative joue deux rôles distincts dans la recherche sur l’IA incarnée et la robotique :
- Générateurs de données/d’expériences
Génération d’images 2D, de vidéos, de scènes 3D ou d’expériences simulées 4D (3D + temps) (en particulier des expériences conditionnées par l’action ou le langage) pour l’entraînement des robots, car l’expérience du monde réel est si rare en robotique. Il s’agit en fait de « simulateurs appris ». Je pense que la recherche en robotique ne peut tout simplement pas se développer sans formation et essais en simulation. - Architectures pour l’apprentissage auto-supervisé
Génération d’observations sensorielles qu’un agent observera dans le futur, à comparer aux observations réelles, et à utiliser comme un signal sans annotation pour l’apprentissage. Voir l’article de Yann sur l’AMI pour plus de détails.
Aaron Saunders, Boston Dynamics : Le rythme actuel des changements rend difficile toute prévision à long terme. Les modèles de base représentent un changement majeur dans la manière dont les meilleurs modèles d’apprentissage automatique sont créés, et nous observons déjà des accélérations impressionnantes à court terme dans les interfaces de langage naturel. Ils offrent des possibilités de créer des interfaces conversationnelles avec nos robots, d’améliorer la qualité des fonctions existantes de vision par ordinateur et de permettre potentiellement de nouvelles capacités de contact avec la clientèle, telles que la réponse aux questions visuelles. En fin de compte, nous pensons que ces architectures et stratégies de formation plus évolutives sont susceptibles de s’étendre au-delà du langage et de la vision à la planification et au contrôle robotiques. La capacité d’interpréter le monde autour d’un robot permettra de mieux comprendre comment interagir avec lui. C’est une période vraiment passionnante pour les roboticiens !
Russ Tedrake, TRI : L’IA générative a le potentiel d’apporter de nouvelles capacités révolutionnaires à la robotique. Non seulement nous sommes en mesure de communiquer avec les robots en langage naturel, mais la connexion à des données linguistiques et d’images à l’échelle de l’internet permet aux robots d’avoir une compréhension et un raisonnement beaucoup plus solides sur le monde. Mais nous n’en sommes qu’au début ; des travaux supplémentaires sont nécessaires pour comprendre comment ancrer la connaissance des images et du langage dans les types d’intelligence physique requis pour rendre les robots vraiment utiles.
Ken Goldberg, UC Berkeley : Bien que les grondements aient commencé un peu plus tôt, on se souviendra de 2023 comme de l’année où l’IA générative a transformé la robotique. Les grands modèles de langage comme ChatGPT peuvent permettre aux robots et aux humains de communiquer en langage naturel. Les mots ont évolué au fil du temps pour représenter des concepts utiles, de « chaise » à « chocolat » en passant par « charisme ». Les roboticiens ont également découvert que les grands modèles Vision-Langage-Action peuvent être entraînés à faciliter la perception du robot et à contrôler les mouvements des bras et des jambes du robot. L’entraînement nécessite de grandes quantités de données, c’est pourquoi les laboratoires du monde entier collaborent actuellement pour partager leurs données. Les résultats affluent et, bien qu’il reste des questions ouvertes sur la généralisation, l’impact sera profond.
Un autre sujet passionnant est celui des « modèles multimodaux », dans les deux sens du terme :
- Multi-modal dans le sens de la combinaison de différents modes d’entrée, par exemple la vision et le langage. Cette approche est désormais étendue à la détection tactile et à la détection de la profondeur, ainsi qu’aux actions des robots.
- La multimodalité consiste à permettre différentes actions en réponse à un même état d’entrée. Cela est étonnamment courant en robotique ; par exemple, il existe de nombreuses façons de saisir un objet. Les modèles profonds standard font une « moyenne » de ces actions de préhension, ce qui peut produire des préhensions très médiocres. Les politiques de diffusion, développées par Shuran Song, aujourd’hui à Stanford, constituent un moyen très intéressant de préserver les actions multimodales.
Deepu Talla, Nvidia : Nous constatons déjà des améliorations de la productivité grâce à l’IA générative dans tous les secteurs. Il est clair que l’impact de l’IA générative transformera la robotique, de la simulation à la conception et plus encore.
- Simulation : Les modèles pourront accélérer le développement de simulations, en comblant le fossé entre les artistes techniques 3D et les développeurs, en construisant des scènes et des environnements et en générant des ressources. Ces ressources GenAI seront de plus en plus utilisées pour la génération de données synthétiques, l’apprentissage des compétences des robots et les essais de logiciels.
- Multimodal AI : Les modèles basés sur les transformateurs amélioreront la capacité des robots à mieux comprendre le monde qui les entoure, ce qui leur permettra de travailler dans un plus grand nombre d’environnements et d’accomplir des tâches complexes.
- (Re)programmation des robots : Plus grande capacité à définir des tâches et des fonctions dans un langage simple pour rendre les robots plus généraux/multiples.
- Conception : Nouvelles conceptions mécaniques pour une meilleure efficacité – par exemple, les effecteurs.
Que pensez-vous du facteur de forme humanoïde ?
Crédits d’image : NanoStockk (s’ouvre dans une nouvelle fenêtre) / Getty Images
Ken Goldberg, UC Berkeley : J’ai toujours été sceptique à l’égard des humanoïdes et des robots à jambes, car ils peuvent être trop sensationnels et inefficaces, mais je reconsidère ma position après avoir vu les derniers humanoïdes et quadrupèdes de Boston Dynamics, Agility et Unitree. Tesla possède les compétences techniques nécessaires pour développer des moteurs et des systèmes de transmission à faible coût et à grande échelle. Les robots à jambes présentent de nombreux avantages par rapport aux roues dans les maisons et les usines pour franchir les marches, les débris et les tapis. Les robots bimanuels (à deux bras) sont essentiels pour de nombreuses tâches, mais je reste persuadé que les pinces simples continueront à être plus fiables et plus rentables que les mains robotisées à cinq doigts.
Deepu Talla, Nvidia : Concevoir des robots autonomes est difficile. Les humanoïdes le sont encore plus. Contrairement à la plupart des AMR qui comprennent principalement les obstacles au niveau du sol, les humanoïdes sont des manipulateurs mobiles qui auront besoin d’une IA multimodale pour comprendre davantage l’environnement qui les entoure. Une quantité incroyable de traitement de capteurs, de contrôle avancé et d’exécution de compétences est nécessaire.
Les percées dans les capacités d’IA générative pour construire des modèles fondamentaux rendent les compétences robotiques nécessaires aux humanoïdes plus généralisables. Parallèlement, nous constatons des progrès dans les simulations qui peuvent entraîner les systèmes de contrôle basés sur l’IA ainsi que les systèmes de perception.
Matthew Johnson-Roberson, CMU : Le facteur de forme humanoïde est un défi d’ingénierie et de conception vraiment complexe. Le désir d’imiter le mouvement et l’interaction humains place la barre très haut pour les actionneurs et les systèmes de contrôle. Il présente également des défis uniques en termes d’équilibre et de coordination. Malgré ces défis, la forme humanoïde a le potentiel d’être extrêmement polyvalente et intuitivement utilisable dans une variété de contextes sociaux et pratiques, en reflétant l’interface et l’interaction humaines naturelles. Mais nous verrons probablement d’autres plateformes réussir avant celles-ci.
Max Bajracharya, TRI : Les endroits où les robots peuvent aider les gens sont généralement conçus pour les gens, de sorte que ces robots devront probablement s’adapter à ces environnements et y travailler. Toutefois, cela ne signifie pas qu’ils doivent prendre une forme humanoïde (deux bras, des mains à cinq doigts, deux jambes et une tête) ; ils doivent simplement être compacts, sûrs et capables d’accomplir des tâches semblables à celles d’un être humain.
Dhruv Batra, Meta : Je suis optimiste. Fondamentalement, les environnements humains sont conçus pour le facteur de forme humanoïde. Si nous voulons vraiment des robots polyvalents fonctionnant dans des environnements conçus pour les humains, le facteur de forme devra être au moins quelque peu humanoïde (le robot aura probablement plus de capteurs que les humains et pourra également avoir plus d’appendices).
Aaron Saunders, Boston Dynamics : Les humanoïdes ne sont pas nécessairement le meilleur facteur de forme pour toutes les tâches. Prenons l’exemple de Stretch : à l’origine, nous avons suscité l’intérêt pour un robot déplaçant des boîtes à partir d’une vidéo que nous avons partagée d’Atlas déplaçant des boîtes. Ce n’est pas parce que les humains peuvent déplacer des boîtes que nous sommes le meilleur facteur de forme pour accomplir cette tâche, et nous avons finalement conçu un robot personnalisé dans Stretch qui peut déplacer des boîtes de manière plus efficace qu’un humain. Cela dit, nous voyons un grand potentiel dans la poursuite à long terme de la robotique polyvalente, et le facteur de forme humanoïde est le plus évident pour un monde construit autour de notre forme. Nous avons toujours été enthousiasmés par le potentiel des humanoïdes et nous nous efforçons de combler le fossé technologique.
Après la fabrication et les entrepôts, quelle est la prochaine grande catégorie pour la robotique ?
Crédits photographiques : Getty Images
Max Bajracharya, TRI : Je vois beaucoup de potentiel et de besoins dans l’agriculture, mais la nature extérieure et non structurée de nombreuses tâches représente un véritable défi. Toyota Ventures a investi dans quelques entreprises comme Burro et Agtonomy, qui progressent bien dans l’introduction de l’autonomie dans certaines applications agricoles initiales.
Matthew Johnson-Roberson, CMU : Au-delà de la fabrication et de l’entreposage, le secteur agricole présente une énorme opportunité pour la robotique de relever les défis de la pénurie de main-d’œuvre, de l’efficacité et de la durabilité. Le transport et la livraison du dernier kilomètre sont d’autres domaines où la robotique peut favoriser l’efficacité, réduire les coûts et améliorer les niveaux de service. Ces domaines connaîtront probablement une adoption accélérée des solutions robotiques à mesure que les technologies arriveront à maturité et que les cadres réglementaires évolueront pour soutenir un déploiement plus large.
Aaron Saunders, Boston Dynamics : Ces deux industries se distinguent toujours lorsqu’il s’agit de faire correspondre les besoins des clients avec l’état de l’art technologique. Au fur et à mesure que nous nous éloignerons, je pense que nous passerons lentement d’environnements déterministes à des environnements plus incertains. Une fois que nous aurons constaté une large adoption dans les industries favorables à l’automatisation, telles que la fabrication et la logistique, la prochaine vague se produira probablement dans des domaines tels que la construction et les soins de santé. Ces secteurs offrent des opportunités intéressantes car ils disposent d’une main-d’œuvre nombreuse et d’une forte demande en travailleurs qualifiés, alors que l’offre ne répond pas aux besoins. Si l’on ajoute à cela les environnements de travail, qui se situent entre l’environnement industriel hautement structuré et le marché de la consommation totalement déstructuré, cela pourrait représenter une nouvelle étape naturelle sur la voie de la polyvalence.
Deepu Talla, Nvidia : Les marchés où les entreprises ressentent les effets de la pénurie de main-d’œuvre et des changements démographiques continueront à s’aligner sur les opportunités robotiques correspondantes. Cela concerne les entreprises de robotique travaillant dans divers secteurs, de l’agriculture à la livraison sur le dernier kilomètre, en passant par la vente au détail et bien d’autres encore.
L’un des principaux défis de la construction de robots autonomes pour différentes catégories est de créer les mondes virtuels en 3D nécessaires pour simuler et tester les piles. Là encore, l’IA générative sera utile en permettant aux développeurs de créer plus rapidement des environnements de simulation réalistes. L’intégration de l’IA dans la robotique permettra d’accroître l’automatisation dans des environnements plus actifs et moins « conviviaux » pour les robots.
Ken Goldberg, UC Berkeley : Après les récents accords syndicaux sur les salaires, je pense que nous verrons beaucoup plus de robots dans la fabrication et les entrepôts qu’aujourd’hui. Les progrès récents dans le domaine des taxis autonomes sont impressionnants, en particulier à San Francisco où les conditions de conduite sont plus complexes qu’à Phoenix. Mais je ne suis pas convaincu qu’ils puissent être rentables. En ce qui concerne la chirurgie assistée par robot, les chercheurs explorent la « dextérité augmentée », qui permet aux robots d’améliorer les compétences chirurgicales en effectuant des tâches secondaires de bas niveau, comme les sutures.
Où en sont les véritables robots polyvalents ?
Crédits d’image : Yuichiro Chino / Getty Images
Dhruv Batra, Meta : Trente ans. Donc effectivement en dehors de la fenêtre où toute prévision significative est possible. En fait, je crois que nous devrions être profondément sceptiques et méfiants à l’égard des personnes qui prétendent que l’IAG est à nos portes.
Deepu Talla, Nvidia : Les robots deviennent de plus en plus intelligents et capables d’effectuer des tâches multiples dans un environnement donné. Nous nous attendons à ce qu’ils continuent à se concentrer sur les problèmes spécifiques aux missions tout en les rendant plus généralisables. Une véritable autonomie incarnée à usage général est encore plus lointaine.
Matthew Johnson-Roberson, CMU : L’avènement de véritables robots polyvalents, capables d’effectuer un large éventail de tâches dans différents environnements, est peut-être encore une réalité lointaine. Cela nécessite des avancées dans de nombreux domaines, notamment l’intelligence artificielle, l’apprentissage automatique, la science des matériaux et les systèmes de contrôle. Le chemin vers une telle polyvalence est un processus progressif au cours duquel les robots évolueront graduellement d’une tâche spécifique à une plus grande multifonctionnalité et, finalement, à un usage général.
Russ Tedrake, TRI : Je suis optimiste et pense que le domaine peut progresser régulièrement des robots relativement spécialisés que nous avons aujourd’hui vers des robots plus polyvalents. On ne sait pas exactement combien de temps cela prendra, mais l’automatisation flexible, la fabrication à haut dosage, les robots agricoles, les robots de point de service et probablement de nouvelles industries que nous n’avons pas encore imaginées bénéficieront de niveaux d’autonomie croissants et de capacités de plus en plus générales.
Ken Goldberg, UC Berkeley : Je ne m’attends pas à voir de véritables AGI et des robots polyvalents dans un avenir proche. Aucun des roboticiens que je connais ne s’inquiète de voir les robots voler des emplois ou devenir nos maîtres.
Aaron Saunders, Boston Dynamics : De nombreux problèmes se dressent aujourd’hui sur la route des robots véritablement polyvalents. Les robots spécialisés sont devenus une commodité dans le monde de l’automatisation industrielle, mais nous assistons tout juste à l’émergence de robots polyvalents. Pour être véritablement polyvalents, les robots devront naviguer dans des environnements non structurés et s’attaquer à des problèmes qu’ils n’ont jamais rencontrés. Ils devront le faire d’une manière qui suscite la confiance et le plaisir de l’utilisateur. Et ils devront offrir cette valeur à un prix compétitif. La bonne nouvelle, c’est que nous assistons à une augmentation passionnante de la masse critique et de l’intérêt pour ce domaine. Nos enfants sont exposés très tôt à la robotique et les jeunes diplômés nous aident à accélérer massivement la technologie. Le défi d’aujourd’hui, qui consiste à apporter de la valeur aux clients industriels, ouvre la voie aux opportunités de demain pour les consommateurs et à l’avenir à usage général dont nous rêvons tous.
Les robots domestiques (au-delà des aspirateurs) vont-ils décoller au cours de la prochaine décennie ?
Crédits images : Lego
Matthew Johnson-Roberson, CMU : L’avènement de véritables robots polyvalents, capables d’effectuer un large éventail de tâches dans différents environnements, est peut-être encore une réalité lointaine. Cela nécessite des avancées dans de nombreux domaines, notamment l’intelligence artificielle, l’apprentissage automatique, la science des matériaux et les systèmes de contrôle. Le chemin vers une telle polyvalence est un processus progressif au cours duquel les robots évolueront graduellement d’une tâche spécifique à une plus grande multifonctionnalité et, finalement, à un usage général.
Deepu Talla, Nvidia : Nous aurons des assistants personnels utiles, des tondeuses à gazon et des robots pour aider les personnes âgées en usage courant.
Le compromis qui a entravé les robots domestiques jusqu’à présent est la question de savoir combien quelqu’un est prêt à payer pour son robot et si le robot apporte cette valeur. Les robots-aspirateurs sont depuis longtemps à la hauteur de leur prix, d’où leur popularité.
Par ailleurs, à mesure que les robots deviennent plus intelligents, il sera essentiel de disposer d’interfaces utilisateur intuitives pour en accroître l’adoption. Les robots capables de cartographier leur propre environnement et de recevoir des instructions vocales seront plus faciles à utiliser par les particuliers que les robots nécessitant une certaine programmation.
La prochaine catégorie à décoller sera probablement d’abord axée sur l’extérieur – par exemple, l’entretien autonome des pelouses. D’autres robots domestiques, tels que les assistants personnels/de soins de santé, sont prometteurs mais doivent relever certains des défis intérieurs rencontrés dans des environnements domestiques dynamiques et non structurés.
Max Bajracharya, TRI : Les maisons restent un défi difficile à relever pour les robots en raison de leur diversité et de leur manque de structure, et parce que les consommateurs sont sensibles au prix. L’avenir est difficile à prédire, mais le domaine de la robotique progresse très rapidement.
Aaron Saunders, Boston Dynamics : Il est possible que des robots soient introduits dans les foyers au cours de la prochaine décennie, mais pour des tâches très limitées et spécifiques (comme pour le Roomba, nous trouverons d’autres cas de valeur évidents dans notre vie quotidienne). Nous sommes encore à plus d’une décennie des robots domestiques multifonctionnels qui apportent de la valeur au grand public. Quand paieriez-vous un robot aussi cher qu’une voiture ? Lorsqu’il atteindra le même niveau de fiabilité et de valeur que celui que vous considérez comme acquis dans les formidables machines que nous utilisons pour nous transporter à travers le monde.
Ken Goldberg, UC Berkeley : Je prédis qu’au cours de la prochaine décennie, nous aurons des robots domestiques abordables capables de désencombrer, c’est-à-dire de ramasser des objets tels que des vêtements, des jouets et des ordures sur le sol et de les placer dans des poubelles appropriées. Comme les aspirateurs actuels, ces robots commettront parfois des erreurs, mais les avantages pour les parents et les personnes âgées l’emporteront sur les risques.
Dhruv Batra, Meta : Non, je ne pense pas que la technologie de base soit prête.
Quelle est l’histoire ou la tendance importante en matière de robotique qui n’est pas suffisamment couverte ?
Crédits image : Yurii Karvatskyi / Getty Images
Aaron Saunders, Boston Dynamics : L’IA suscite beaucoup d’enthousiasme et son potentiel à changer toutes les industries, y compris la robotique. Bien qu’elle ait un rôle clair et qu’elle puisse débloquer des domaines qui sont restés relativement statiques pendant des décennies, un bon produit robotique ne se résume pas à des 1 et des 0. Pour que l’IA atteigne l’incarnation physique dont nous avons besoin pour interagir avec le monde qui nous entoure, nous devons suivre les progrès des technologies clés telles que les ordinateurs, les capteurs de perception, les sources d’énergie et tous les autres éléments qui composent un système robotique complet. Le récent virage de l’automobile vers l’électrification et les systèmes avancés d’aide à la conduite (ADAS) transforme rapidement une chaîne d’approvisionnement massive. Les progrès réalisés dans le domaine des cartes graphiques, des ordinateurs et de l’électronique grand public de plus en plus sophistiquée et basée sur l’IA continuent d’apporter de la valeur aux chaînes d’approvisionnement adjacentes. Cette énorme boule de neige technologique, rarement sous les feux de la rampe, est l’une des tendances les plus passionnantes de la robotique, car elle permet aux petites entreprises innovantes de s’appuyer sur les géants pour créer des produits nouveaux et passionnants.