Made in France Découvrir

Qui a inventé Stable Diffusion : l'histoire et le guide

Qui a inventé Stable Diffusion ? Le labo de Munich, Stability AI, Emad Mostaque, LAION : qui a fait quoi, et comment lancer le modèle aujourd'hui.

Illustration de l'article : Qui a inventé Stable Diffusion : l'histoire et le guide

Qui a réellement conçu le modèle Stable Diffusion

Image en pixelsDébruiter pixel par pixel : un calcul lourd
Espace latentCompressé, beaucoup plus petit : une carte grand public suffit

L’idée tient en une phrase : travailler dans l’espace latent plutôt que sur les pixels.

L'origine technique est un article de recherche : « High-Resolution Image Synthesis with Latent Diffusion Models », présenté en 2022. Son idée tient en une phrase : au lieu de débruiter une image pixel par pixel, on travaille dans un espace latent compressé, beaucoup plus petit. Le calcul devient assez léger pour tenir sur une carte graphique grand public. C'est exactement ce qui a rendu possible, quelques mois plus tard, un modèle text-to-image que n'importe qui pouvait lancer chez lui.

Si vous voulez comprendre la mécanique du bruit et du débruitage avant d'aller plus loin, nous l'avons détaillée dans notre article sur le fonctionnement d'un modèle de diffusion. Le reste de cette page répond à la question de paternité, puis passe à la pratique.

Les chercheurs de Munich derrière le papier

RôleÀ noter
Björn OmmerDirige le laboratoire CompVisLe laboratoire universitaire d’où part la recherche
Rombach, BlattmannPremiers auteurs du papierL’architecture de diffusion latente
Dominik LorenzCoauteurLe travail expérimental sur le modèle
Patrick EsserCoauteur, chez RunwayLe lien avec Runway et les autoencodeurs

Le laboratoire CompVis, dirigé par Björn Ommer, travaillait déjà sur la synthèse d'images avant la vague générative. Robin Rombach et Andreas Blattmann sont les deux premiers auteurs du papier fondateur, avec Dominik Lorenz et Patrick Esser. Patrick Esser, lui, était chez Runway, ce qui explique la double signature sur les premières versions. Quand on cherche un inventeur, c'est ce groupe qu'il faut citer en premier.

  • Björn Ommer : le laboratoire universitaire d'où part la recherche
  • Robin Rombach et Andreas Blattmann : l'architecture de diffusion latente
  • Dominik Lorenz : le travail expérimental sur le modèle
  • Patrick Esser : le lien avec Runway et les travaux antérieurs sur les autoencodeurs

Ce que Stability AI et Emad Mostaque ont apporté

Un papier ne donne pas un modèle utilisable. Il faut un dataset, un cluster, des semaines de calcul et quelqu'un qui accepte de payer la facture. C'est le rôle qu'a joué Stability AI, dirigée à l'époque par Emad Mostaque, ancien gérant de fonds devenu financeur de l'IA ouverte. La société a fourni le GPU, l'organisation de l'entraînement, puis la publication des poids sur Hugging Face sous le compte stabilityai.

Emad Mostaque a aussi apporté une chose moins technique : la décision de tout publier. Beaucoup d'acteurs gardaient alors leurs modèles derrière une API. Lui a défendu la diffusion large, en assumant le risque. The Verge, TechCrunch et la presse tech de l'époque, avec des journalistes comme James Vincent, ont surtout retenu ce choix politique plutôt que l'architecture. Emad Mostaque a quitté la direction de Stability AI en mars 2024, mais la décision de 2022 a façonné tout l'écosystème qui a suivi.

Runway, LAION et les autres mains

Runway a co-publié les premières versions, et ce sont ses poids qui ont longtemps circulé sous le nom de version 1.5. Le collectif allemand LAION a construit le jeu de données : plus de cinq milliards de paires image-texte collectées sur le web, filtrées ensuite par score esthétique. L'encodeur de texte, lui, vient de CLIP, un modèle publié par OpenAI, puis d'OpenCLIP entraîné par LAION. La communauté EleutherAI, soutenue par Stability, a fourni une partie du terreau humain et du savoir-faire en deep learning.

Comment ce modèle a été entraîné, et pourquoi ça change vos images

L'entraînement de la première version a tourné sur un cluster de cartes A100 louées dans le cloud, pour un ordre de grandeur de cent cinquante mille heures de GPU. Emad Mostaque a évoqué publiquement un coût de moins d'un million de dollars, ce qui était dérisoire face aux budgets des laboratoires fermés. Ce détail n'est pas anecdotique pour vous : un budget contraint signifie un modèle entraîné à basse résolution, 512 pixels de côté pour la première génération.

D'où un réflexe à garder. Si vous générez en 1024 × 1024 avec un modèle entraîné en 512, vous obtenez des corps dupliqués, deux têtes, un bras en trop. L'inverse est vrai aussi : forcer du 512 sur un modèle entraîné en 1024 écrase les détails. La bonne pratique tient en une ligne : respectez la résolution native du modèle, puis agrandissez avec un upscaling séparé.

La licence open source qui a tout déclenché

Les premières versions sont sorties sous une licence CreativeML Open RAIL-M : les poids sont téléchargeables, modifiables, utilisables commercialement, mais une liste d'usages interdits est attachée au fichier. C'est ce modèle de licence qui a permis l'explosion des interfaces, des forks et de la scène art génératif autour du modèle. Les versions plus récentes de Stability sont passées à une licence communautaire, gratuite en dessous d'un certain niveau de chiffre d'affaires et payante au-delà. Vérifiez toujours la fiche de licence du fichier exact que vous téléchargez, car elle change d'une version à l'autre.

Cette ouverture explique aussi pourquoi « Stable Diffusion » désigne aujourd'hui une famille, pas un produit. Sur Hugging Face et sur les plateformes de partage, vous trouverez des milliers de variantes entraînées par des particuliers. Certaines sont excellentes pour un style précis, d'autres sont instables. La différence entre ce fonctionnement et celui d'un modèle fermé est développée dans notre comparaison open source contre propriétaire.

Quelle version du modèle choisir en 2026

1.5512 pixels, le plus grand catalogue d’extensions et de LoRA
2.0 et 2.1Encodeur de texte changé, accueil tiède
SDXLBase 1024 pixels, meilleure anatomie et meilleure lumière
SD3 et 3.5Nouvelle architecture, meilleur texte dans l’image

La lignée s'est ramifiée, et les noms prêtent à confusion. Voici comment nous les trions dans notre travail quotidien, selon ce qu'on veut en tirer.

  • Version 1.5 : entraînée en 512 pixels, la plus vieille, mais celle qui dispose du plus grand catalogue d'extensions et de LoRA. À garder pour les workflows très contrôlés.
  • Versions 2.0 et 2.1 : encodeur de texte changé, accueil tiède de la communauté, peu de raisons d'y revenir.
  • SDXL : base 1024 pixels, bien meilleure anatomie et meilleure lumière, avec un modèle base et un refiner. C'est le point d'entrée raisonnable pour un usage sérieux.
  • SD3 et 3.5 : nouvelle architecture, meilleure compréhension des prompts longs et du texte dans l'image, licence communautaire à lire avant tout usage pro.
  • Les descendants : les auteurs d'origine ont quitté Stability pour fonder Black Forest Labs, d'où vient la famille Flux. Techniquement, c'est la suite directe du travail de Munich.

Si vous hésitez entre cette famille et une offre fermée, notre comparatif Midjourney contre Stable Diffusion tranche selon le type de visuel. En résumé : le contrôle d'un côté, le confort de l'autre.

Comment lancer Stable Diffusion, étape par étape

Interface hébergéeVous ouvrez une page et générez : paiement à l’usage ou en crédits.
Installation localeUne fois la carte achetée, il ne reste que l’électricité.
APIUn accès par programme, sans passer par une interface.

Le choix dépend surtout de votre matériel.

Trois routes existent, et le choix dépend surtout de votre matériel. Une interface web hébergée ne demande rien : vous ouvrez une page, vous générez, vous payez à l'usage ou en crédits. Une installation locale est gratuite à l'usage mais exige une carte graphique avec assez de mémoire vidéo, huit gigaoctets au minimum pour SDXL, douze pour travailler sans douleur. Une API, enfin, sert quand vous voulez industrialiser la production depuis votre boutique ou votre back-office.

Pour la voie locale, trois interfaces dominent. Fooocus est la plus simple, elle cache presque tous les réglages. Automatic1111 reste la référence pour ses extensions. ComfyUI travaille par graphe de nœuds : plus rebutant au départ, imbattable pour rejouer une chaîne complète. Si vous voulez juste des images sans toucher à une installation, notre guide Stable Diffusion sans installer liste les options en ligne.

Les sept étapes, dans l'ordre

  • 1. Choisissez votre route : interface en ligne, installation locale ou API.
  • 2. Récupérez les poids depuis le dépôt officiel, en acceptant la licence affichée sur la page du modèle.
  • 3. Réglez la résolution sur la valeur native du modèle avant même d'écrire le prompt.
  • 4. Écrivez un prompt descriptif : sujet, matière, lumière, focale, cadrage, fond.
  • 5. Ajoutez un prompt négatif court pour écarter les défauts récurrents.
  • 6. Lancez quatre images, repérez celle dont la composition vous plaît, notez sa seed.
  • 7. Fixez cette seed et ne changez qu'un paramètre à la fois pour affiner.

Cette dernière étape est celle que tout le monde saute. Changer le prompt, la seed et le nombre d'étapes en même temps ne vous apprend rien : vous ne savez plus ce qui a produit l'amélioration. La différence entre ces deux leviers est expliquée dans notre article sur la seed et le prompt.

Quels réglages font vraiment varier le résultat

Quatre curseurs expliquent l'essentiel de ce que vous verrez changer. Le nombre d'étapes de débruitage : en dessous de vingt, l'image reste molle ; au-delà de quarante, le gain devient invisible et vous payez du calcul pour rien. Le CFG, qui mesure l'obéissance au texte : autour de cinq à sept, l'image respire ; à douze, les couleurs crament et les contours deviennent durs. Le sampler, qui change la texture plus que le contenu. Et la seed, qui fige le point de départ aléatoire.

Le prompt négatif mérite un mot à part. Il ne sert pas à écrire tout ce que vous ne voulez pas dans la vie, mais à corriger un défaut observé sur vos propres sorties. Trois à six termes suffisent. Nous détaillons cette discipline dans notre page sur le prompt négatif.

ControlNet et LoRA : le contrôle fin

Deux extensions ont transformé ce modèle en outil de production. ControlNet, publié en 2023 par Lvmin Zhang et son équipe à Stanford, ajoute une condition visuelle au texte : une pose, une carte de profondeur, un contour, un croquis. Vous imposez la composition et laissez le modèle gérer le reste. C'est l'outil qui permet de refaire la même mise en scène avec dix produits différents ; notre guide ControlNet montre les cas d'usage un par un.

Le LoRA, lui, est un petit fichier d'apprentissage additionnel qui injecte un style, un visage ou un produit dans le modèle sans le réentraîner. Son poids se règle : à 1,0 il écrase souvent tout le reste, entre 0,5 et 0,8 il se mélange proprement. Nous expliquons comment en fabriquer et en charger un dans notre article sur les LoRA.

Les pièges qui gâchent une première série

Mains et doigtsTexte dans l’imagePrompt fleuveFiltre de contenuUpscale trop agressifLicence du fichierPremière série ratée

Les erreurs sont toujours les mêmes, et elles se corrigent vite une fois nommées.

  • Les mains et les doigts : signalez-les en négatif, recadrez, ou reprenez la zone en inpainting plutôt que de relancer toute l'image.
  • Le texte dans l'image : les anciennes versions ne savent pas écrire. Soyons honnêtes, d'autres modèles font nettement mieux sur ce point ; mieux vaut poser le texte ensuite dans un outil de mise en page.
  • Le prompt fleuve : passé une trentaine de mots utiles, le modèle commence à ignorer la fin. Coupez les adjectifs décoratifs.
  • Le filtre « not safe for work » des versions officielles, qui peut bloquer une génération parfaitement banale, par exemple une peau nue sur un visuel cosmétique.
  • L'upscale trop agressif, qui ajoute des détails inventés sur un visage et trahit immédiatement l'image.
  • La licence du fichier téléchargé, souvent différente de celle du modèle d'origine quand il s'agit d'une variante communautaire.

Faut-il encore l'installer chez soi

Cela dépend de ce que vous produisez. Pour de la recherche de style, du fine-tuning, des centaines d'essais par soir, le local reste imbattable : une fois la carte achetée, générer ne coûte plus que de l'électricité. Pour un e-commerçant qui a besoin de quarante visuels propres par mois, le temps passé à maintenir une installation coûte plus cher que les générations elles-mêmes.

C'est le calcul que font la plupart de nos utilisateurs : ils passent par notre générateur d'images pour la production courante, payée en crédits, et gardent une installation locale pour les expérimentations. Chez Poster, une image coûte environ deux crédits, l'offre Découverte étant à 19 € par mois pour 270 crédits. L'intérêt n'est pas le modèle en lui-même, c'est de ne pas gérer de dépendances un vendredi soir.

Questions fréquentes

Les chercheurs du groupe CompVis à Munich, Robin Rombach et Andreas Blattmann en tête, avec Dominik Lorenz, Patrick Esser et Björn Ommer. Ils ont signé l'architecture de diffusion latente qui rend le modèle utilisable sur une machine ordinaire. Stability AI et Emad Mostaque ont financé l'entraînement et décidé de la publication en open source. Attribuer l'invention à un seul des deux côtés serait inexact.

Les poids des versions historiques sont téléchargeables sans payer, et vous pouvez les faire tourner gratuitement sur votre propre matériel. Les versions récentes de Stability relèvent d'une licence communautaire avec un seuil commercial, à vérifier sur la page de licence de l'éditeur. Les services en ligne qui l'hébergent, eux, facturent le calcul par abonnement ou en crédits.

Pour une installation locale, oui : comptez huit gigaoctets de mémoire vidéo au minimum pour SDXL, douze pour travailler confortablement. Les versions légères tournent sur moins, au prix de la qualité et de la vitesse. Notre guide sur la carte graphique pour générer en local donne les repères, et une interface en ligne vous dispense entièrement de la question.

Parce que le dataset d'entraînement a été constitué à partir d'images collectées sur le web. Getty Images et un groupe d'artistes ont engagé des actions en justice, suivies notamment par Blake Brittain pour Reuters. Les procédures sont longues et toutes ne sont pas tranchées ; l'état des lieux figure dans notre page dédiée aux litiges sur le droit d'auteur, et un cas précis justifie l'avis d'un juriste.

À lire aussi. Sur le même thème.