La génération de vidéos à l’aide de l’IA est un marché en pleine effervescence depuis la publication du modèle Sora par OpenAI le mois dernier. Deux anciens étudiants de Deepmind, Yishu Miao et Ziyu Wang, ont rendu public leur outil de génération de vidéos, Haiper, avec son propre modèle d’IA.
Miao, qui travaillait auparavant chez TikTok dans l’équipe Global Trust & ; Safety, et Wang, qui a travaillé comme chercheur scientifique pour Deepmind et Google, ont commencé à travailler sur l’entreprise en 2021 et l’ont officiellement incorporée en 2022.
Le duo possède une expertise en apprentissage automatique et a commencé à travailler sur le problème de la reconstruction 3D à l’aide de réseaux neuronaux. Après s’être entraîné sur des données vidéo, Miao a mentionné à TechCrunch lors d’un appel qu’ils avaient découvert que la génération de vidéos était un problème plus fascinant que la reconstruction 3D. C’est pourquoi Haiper a fini par se concentrer sur la génération de vidéos il y a environ six mois.
Haiper a levé 13,8 millions de dollars dans le cadre d’un tour de table dirigé par Octopus Ventures avec la participation de 5Y Capital. Avant cela, des anges comme Geoffrey Hinton et Nando de Freitas a aidé l’entreprise à lever un fonds de pré-amorçage de 5,4 millions de dollars en avril 2022.
Service de génération vidéo
Les utilisateurs peuvent se rendre sur le site de Haiper et commencer à générer des vidéos gratuitement en tapant des invites textuelles. Il existe toutefois certaines limitations. Vous ne pouvez générer qu’une vidéo HD de deux secondes et une vidéo de qualité légèrement inférieure de quatre secondes maximum.
Crédits d’image : Haiper
Le site propose également des fonctions telles que l’animation de l’image et le changement de style de la vidéo. De plus, l’entreprise travaille à l’introduction de fonctionnalités telles que la possibilité d’étendre une vidéo.
Miao a déclaré que l’entreprise souhaitait que ces fonctions restent gratuites afin de créer une communauté. Il a ajouté qu’il était « trop tôt » dans le parcours de la startup pour envisager la création d’un produit d’abonnement autour de la génération de vidéos. Cependant, la société a collaboré avec des entreprises comme JD.com pour explorer des cas d’utilisation commerciale.
Nous avons utilisé l’un des messages-guides originaux de Sora pour générer un exemple de vidéo : « Plusieurs mammouths laineux géants s’approchent en marchant dans une prairie enneigée, leur longue fourrure laineuse souffle légèrement dans le vent pendant qu’ils marchent, des arbres couverts de neige et des montagnes enneigées spectaculaires au loin, la lumière du milieu de l’après-midi avec des nuages vaporeux et un soleil haut dans le lointain crée une lueur chaleureuse, la vue en contre-plongée est stupéfiante, capturant le grand mammifère à fourrure avec une belle photographie, la profondeur de champ »
Construire un modèle vidéo de base
Bien que Haiper se concentre actuellement sur son site web destiné aux consommateurs, l’entreprise souhaite construire un modèle de génération de vidéos de base qui pourrait être proposé à d’autres. L’entreprise n’a pas rendu publics les détails de ce modèle.
Miao a déclaré qu’il avait contacté en privé un certain nombre de développeurs pour qu’ils essaient son API fermée. Il s’attend à ce que les commentaires des développeurs soient très importants, car l’entreprise modifie rapidement le modèle. Haiper a également envisagé d’ouvrir ses modèles à l’avenir pour permettre aux gens d’explorer différents cas d’utilisation.
Le PDG estime qu’il est actuellement important de résoudre le problème de la vallée de l’étrange – un phénomène qui suscite des sentiments étranges lorsque les gens voient des figures humaines générées par l’IA – dans la génération de vidéos.
« Nous ne cherchons pas à résoudre les problèmes de contenu et de style, mais nous essayons de travailler sur des questions fondamentales telles que l’apparence des humains générés par l’IA lorsqu’ils marchent ou lorsqu’ils tombent de la neige », a-t-il déclaré.
La société compte actuellement une vingtaine d’employés et recrute activement pour de nombreux postes dans les domaines de l’ingénierie et du marketing.
La concurrence à venir
Sora, récemment lancé par OpenAI, est probablement le concurrent le plus populaire de Haiper à l’heure actuelle. Cependant, il existe d’autres acteurs comme Runway, soutenu par Google et Nvidia, qui a levé plus de 230 millions de dollars de fonds. Google et Meta ont également leurs propres modèles de génération de vidéos. L’année dernière, Stability AI a annoncé le modèle Stable Diffusion Video en avant-première de recherche.
Rebecca Hunt, partenaire chez Octopus Venture, pense que dans les trois prochaines années, Haiper devra construire un modèle de génération vidéo solide pour se différencier sur ce marché.
« C’est l’une des raisons pour lesquelles nous avons voulu soutenir l’équipe de Haiper. Une fois que les modèles parviendront à transcender la vallée de l’étrange et à refléter le monde réel et toute sa physique, il y aura une période où les applications seront infinies », a-t-elle déclaré à TechCrunch par courrier électronique.
Bien que les investisseurs cherchent à investir dans des startups de génération de vidéos basées sur l’IA, ils pensent également que la technologie a encore une grande marge d’amélioration.
« J’ai l’impression que l’IA vidéo est au niveau GPT-2. Nous avons fait de grands progrès l’année dernière, mais il reste encore du chemin à parcourir avant que les consommateurs n’utilisent ces produits au quotidien. Quand le « moment ChatGPT » arrivera-t-il pour la vidéo ? », écrivait l’année dernière Justine Moore d’a16z.