Captions, une start-up spécialisée dans le montage vidéo et dotée d’une intelligence artificielle, a lancé une nouvelle application appelée Lipdub, qui permet de traduire des clips en 28 langues différentes.
Lipdub est disponible gratuitement sur l’App Store et prend en charge plusieurs langues, notamment le français, l’hindi, l’espagnol, l’italien, le portugais et le japonais. L’application permet même aux utilisateurs de traduire des vidéos en argot texan, en langage de la génération Z, en langage pirate et en langage bébé. La vidéo de démonstration montre que l’application peut également modifier le mouvement des lèvres en fonction de la langue cible sélectionnée. Cependant, il y a parfois un certain décalage entre l’audio et le mouvement des lèvres.
Les utilisateurs peuvent traduire une vidéo d’une personne qui parle pendant une minute et la partager ensuite sur d’autres plateformes de médias sociaux.
Sur son site web, Captions indique que plus de 3 millions de créateurs ont utilisé son application d’édition vidéo éponyme. La startup affirme avoir plus de 100 000 utilisateurs quotidiens. L’application Captions propose plusieurs fonctions d’édition vidéo basées sur l’IA, telles que la suppression des « hums » et des « ahs », la réduction des bruits de fond et l’amélioration de la parole. L’application dispose également d’une fonction « AI Lipdub » qui peut modifier le mouvement des lèvres en post-production si vous modifiez la transcription.
Captions a été fondée en 2021 par Gaurav Misra, qui était auparavant responsable de l’ingénierie de conception chez Snap. En juin, la société a obtenu 25 millions de dollars dans le cadre d’une série B menée par Kleiner Perkins avec la participation de Sequoia Capital, Andreessen Horowitz (a16z) et SV Angel. À ce jour, Captions a levé 40 millions de dollars de fonds.
L’utilisation de la traduction et du doublage par l’IA pour atteindre un public plus large est une tendance croissante. En juin, YouTube a annoncé qu’il testait un outil basé sur l’IA pour permettre aux utilisateurs de doubler automatiquement leurs vidéos dans d’autres langues. La société a déclaré qu’elle travaillait même sur une meilleure synchronisation des lèvres. Le mois dernier, la société a annoncé qu’elle intégrait le doublage assisté par ordinateur directement dans YouTube Studio afin de faciliter l’accès aux personnes souhaitant convertir des vidéos dans d’autres langues.
Au début du mois, la plateforme de génération de voix par IA ElevenLabs a également lancé son outil de doublage prenant en charge 29 langues. Rest of World a précédemment rapporté que les fournisseurs de services de doublage génèrent des millions de dollars en traduisant du contenu pour des YouTubers populaires tels que MrBeast.
Les startups de doublage alimentées par l’IA ont suscité beaucoup d’intérêt de la part des investisseurs, avec des startups comme Papercup, basée au Royaume-Uni, et Deepdub, basée en Israël, qui ont levé des millions de dollars.