Système Local Intelligent de Questions-Réponses
Cet article approfondira le domaine de la génération d'images, en se concentrant sur les modèles de diffusion. En intégrant des technologies de pointe telles que les principes de fonctionnement de DALL·E et de Stable Diffusion, nous cherchons à comprendre leurs applications pratiques et leur potentiel de développement.
Introduction aux Modèles de Diffusion pour la Génération d'Images
Source de l'image : https://chrislee0728.medium.com/%E5%BE%9E%E9%A0%AD%E9%96%8B%E5%A7%8B%E5%AD%B8%E7%BF%92stable-diffusion-%E4%B8%80%E5%80%8B%E5%88%9D%E5%AD%B8%E8%80%85%E6%8C%87%E5%8D%97-ec34d7726a6c
Les modèles de diffusion sont un type de modèle génératif qui crée de nouvelles images via un processus de diffusion inverse. À partir de bruit gaussien, les modèles de diffusion infèrent progressivement l'image originale. Ce processus peut être vu comme la simulation d'une procédure progressive de « débruitage » pour la génération d'images. C'est une méthode de génération très puissante et efficace qui a attiré une large attention ces dernières années.
Le Mécanisme de Stable Diffusion
Le principe de fonctionnement de Stable Diffusion est basé sur le processus inverse des modèles de diffusion. L'idée fondamentale des modèles de diffusion est de commencer avec une image de bruit complètement aléatoire et d'inférer progressivement une image claire. Ce processus se divise en deux étapes :
-
Processus de Diffusion Directe Pendant le processus de diffusion directe, étant donné une image réelle, du bruit est progressivement ajouté jusqu'à ce qu'elle devienne une image de bruit complètement aléatoire. Ce processus peut être compris comme l'étape « destructrice » de l'image. Le bruit est généralement ajouté de manière incrémentielle via une distribution gaussienne, chaque étape rendant l'image plus floue et bruyante.
-
Processus de Diffusion Inverse Le processus de diffusion inverse est la partie centrale du fonctionnement de Stable Diffusion. Étant donné une image de bruit complètement aléatoire, le modèle apprend à la débruiter progressivement pour restaurer l'image originale. Le processus inverse est l'opposé du processus direct ; il utilise un modèle de réseau de neurones préentraîné pour inférer une image plus claire à chaque étape. Chaque étape du processus inverse implique que le modèle prédise l'ampleur du bruit actuel et le soustraie de l'image actuelle pour obtenir une image moins bruyante. Finalement, après plusieurs étapes inverses, le modèle peut générer une image claire et de haute résolution à partir de bruit pur.
Source de l'image : https://sushant-kumar.com/blog/ddpm-denoising-diffusion-probabilistic-models
Déploiement du Modèle SD sur les Appareils Jetson
Nous pouvons rapidement déployer Stable Diffusion WebUI sur les appareils Jetson en utilisant l'outil jetson-examples. Ce projet permet aux utilisateurs de charger le modèle Stable Diffusion et de configurer les workflows via une interface graphique.
Étape 1. Installez jetson-examples sur votre appareil Jetson. Ouvrez un terminal sur votre appareil Jetson et entrez :
pip3 install jetson-examplesÉtape 2. Utilisez l'outil jetson-examples pour installer le projet stable-diffusion-webui en une seule commande :
reComputer run stable-diffusion-webuiÉtape 3. Ouvrez votre navigateur et allez à http://<ip-jetson>:7860, et vous pouvez commencer à générer des images avec Stable Diffusion.
