Stability AI, la startup à l’origine du modèle de génération d’images Stable Diffusion, lance un nouveau service qui transforme les croquis en images.
Le service de transformation de croquis en images, Stable Doodle, s’appuie sur le dernier modèle de Stable Diffusion pour analyser les contours d’un croquis et en générer un rendu artistique « visuellement agréable ». Il est disponible dès aujourd’hui via ClipDrop, une plateforme que Stable a acquise en mars par le biais de l’achat d’Init ML, une startup d’IA fondée par d’ex-Googlers,
« Stable Doodle s’adresse aussi bien aux professionnels qu’aux novices, quelle que soit leur familiarité avec les outils d’IA », écrit Stability AI dans un article de blog partagé avec TechCrunch par courriel. « Avec Stable Doodle, toute personne ayant des compétences de base en dessin et un accès en ligne peut générer des images originales de haute qualité en quelques secondes. »
Il existe de nombreux outils d’IA de type croquis-image, y compris des projets open source et des applications financées par la publicité. Mais Stable Doodle est unique en ce sens qu’il permet un contrôle plus « précis » de la génération d’images, affirme Stability AI.
Sous le capot, Stable Doodle fonctionne avec un modèle de diffusion stable – Stable Diffusion XL – associé à une « solution de contrôle conditionnel » développée par l’une des divisions de recherche et développement de Tencent, l’Applied Research Center (ARC). Appelée T2I-Adapter, la solution de contrôle permet à Stable Diffusion XL d’accepter des croquis en entrée et guide le modèle pour permettre un meilleur réglage de l’œuvre d’art en sortie.
Crédits images : Stabilité AI
« T2I-Adapter permet à Stable Doodle de comprendre les contours des croquis et de générer des images basées sur des invites combinées aux contours définis par le modèle », explique Stability AI dans son billet de blog.
Cet auteur n’a pas eu l’occasion de tester Stable Doodle avant sa sortie. Mais les images sélectionnées que Stability AI m’a envoyées semblaient assez bonnes, du moins en comparaison avec le gribouillis qui les a inspirées.
En plus d’un croquis, Stable Doodle accepte une invite pour guider le processus de génération d’images, comme « Un fauteuil confortable, style ‘isométrique' » ou « Un chat avec une veste en jean, style ‘art numérique' ». La personnalisation est toutefois limitée : au lancement, Stable Doodle ne prend en charge que 14 styles d’art.
Stability AI envisage Stable Doodle comme un outil permettant aux designers, illustrateurs et autres professionnels de « libérer un temps précieux » et de « maximiser l’efficacité » de leur travail. En même temps, l’entreprise prévient que la qualité des images produites dépend du détail du dessin initial et de la description de l’invite, ainsi que de la complexité de la scène représentée.
« Les idées dessinées sous forme d’esquisses peuvent être immédiatement mises en œuvre pour créer des designs pour les clients, du matériel pour les présentations et les sites Web ou même pour créer des logos », propose l’entreprise. « A l’avenir, Stable Dooble permettra aux utilisateurs d’importer un croquis. En outre, nous inclurons des cas d’utilisation pour des secteurs verticaux spécifiques, y compris des applications immobilières, par exemple. »
Crédits d’image : Stabilité AI
Avec des outils comme Stable Doodle, Stability AI recherche de nouvelles sources de revenus après une période d’accalmie dans ses activités commerciales (Stable Doodle est gratuit mais soumis à des limites). (Stable Doodle est gratuit, mais soumis à des limites.) En avril, Semafor a rapporté que Stability AI brûlait ses liquidités, ce qui a conduit à une chasse aux cadres pour aider à augmenter les ventes.
Le mois dernier, Stability AI a levé 25 millions de dollars par le biais d’une note convertible (c’est-à-dire une dette qui se convertit en actions), ce qui porte le total des fonds levés à plus de 125 millions de dollars. Mais elle n’a pas conclu de nouveau financement à une valeur plus élevée. La startup a été évaluée pour la dernière fois à 1 milliard de dollars ; il semblerait que Stability cherche à quadrupler ce montant dans les mois à venir.