Il y a quelques années, Alex Yu et Amit Jain se sont associés pour fonder une entreprise qui permettrait aux gens de capturer des objets en 3D à l’aide de leurs smartphones, sans équipement supplémentaire. À l’époque, Alex Yu était chercheur en IA à l’université de Berkeley, tandis que Amit Jain travaillait chez Apple à la mise au point des expériences multimédias de la Vision Pro.
Leur entreprise, Luma, a lancé une application pour smartphone en 2021, qui a rapidement gagné en popularité et attiré des millions d’utilisateurs (un peu plus de deux millions à l’heure où nous publions). Aujourd’hui, alors que les technologies d’IA générative inondent les canaux, Yu et Jain espèrent faire évoluer Luma vers quelque chose de plus grand – et, avec un peu de chance, de meilleur – que ce qu’ils avaient envisagé à l’origine.
Luma a annoncé aujourd’hui qu’elle allait commencer à exploiter un cluster de calcul composé d’environ 3 000 GPU Nvidia A100 pour former de nouveaux modèles d’IA capables, selon les termes de Yu, « de voir et de comprendre, de montrer et d’expliquer, et enfin d’interagir avec (le) monde ».
La première phase de ce plan consiste à créer des modèles capables de générer des objets en 3D à partir de descriptions textuelles ; Luma a lancé un modèle de ce type sur son serveur Discord au début de l’année, appelé Genie. La phase suivante consistera à développer des modèles d’IA générative « next gen » qui s’attaquent à ce que Yu appelle le problème de la « vallée de l’étrange » dans la GenAI actuelle.
« Nous pensons que la multimodalité est essentielle à l’intelligence. Pour aller au-delà des modèles de langage, la prochaine avancée viendra de la vision », a déclaré Yu à TechCrunch lors d’une interview par e-mail. « Cependant, l’IA doit devenir beaucoup plus intelligente pour offrir le potentiel que le monde voit en elle.
Pour y parvenir, il faut que l’IA devienne beaucoup plus intelligente. vision vision (pardonnez le jeu de mots), Luma a levé 43 millions de dollars dans le cadre d’un tour de table de série B avec la participation d’Andreessen Horowitz et d’autres bailleurs de fonds, anciens et nouveaux. Selon une source au fait du dossier, ce tour de table valorise Luma entre 200 et 300 millions de dollars ; le trésor de guerre de Luma s’élève désormais à plus de 70 millions de dollars.
L’objectif actuel de Luma, à savoir le lancement de modèles 3D créés par l’IA, est un espace de plus en plus concurrentiel. Il existe des plateformes de création d’objets comme 3DFY et Scenario, ainsi que des startups comme Hypothetic, Kaedim, Auctoria et Mirage. Stability AI a récemment lancé un outil autonome de génération de modèles 3D, tout comme la nouvelle entreprise Atlas. Même des acteurs historiques comme Autodesk et Nvidia commencent à s’intéresser au secteur avec des applications comme Get3D, qui convertit des images en modèles 3D, et ClipForge, qui génère des modèles à partir de descriptions textuelles.
Crédits d’image : Luma
Comment les outils de Luma se distingueront-ils ? La fidélité principalement, explique M. Yu.
« Les modèles actuels sont tous formés sur des images bidimensionnelles et, lorsqu’on leur demande de générer des scènes, ils manipulent les espaces, les corps et les mouvements », explique-t-il. « Il est très difficile de générer quelque chose de cohérent et d’utilisable dès les premiers essais, ce qui limite les possibilités d’utilisation des résultats… Nous apportons les technologies génératives photoréalistes les plus avancées dans une application intuitive ».
Cela promet beaucoup si l’on considère qu’il est encore tôt dans l’ambitieuse feuille de route de Luma. Une version améliorée de Genie est lancée aujourd’hui, mais les futurs modèles d’IA générative, plus performants, sont encore loin.
Luma ne perd cependant pas de temps et prévoit de doubler son effectif de 24 personnes d’ici la fin de l’année prochaine, tout en mettant en place une grappe de serveurs d’exécution de modèles composée de « milliers » de GPU. L’avenir nous le dira.
Crédits d’image : Luma
« Nous avons agrandi l’équipe dans les domaines de la recherche en IA générative, de l’ingénierie, de la conception et du produit afin de donner vie à notre vision, et nous prévoyons d’accélérer le rythme de manière significative après ce tour de table », a déclaré M. Jain. « Avec Genie, pour la première fois, il est possible de créer des objets en 3D à grande échelle grâce à l’IA, et le nombre d’utilisateurs est passé à 100 000 en seulement quatre semaines… (Mais nous voulons) construire des modèles visuels beaucoup plus performants, intelligents et utiles pour nos utilisateurs ».