Sistema Local Inteligente de Preguntas y Respuestas
Este artículo profundizará en el campo de la generación de imágenes, centrándose en los modelos de difusión. Mediante la integración de tecnologías de vanguardia, como los principios de funcionamiento de DALL·E y Stable Diffusion, buscamos comprender sus aplicaciones prácticas y su potencial de desarrollo.
Introducción a los Modelos de Difusión en la Generación de Imágenes
Fuente de la imagen: https://chrislee0728.medium.com/%E5%BE%9E%E9%A0%AD%E9%96%8B%E5%A7%8B%E5%AD%B8%E7%BF%92stable-diffusion-%E4%B8%80%E5%80%8B%E5%88%9D%E5%AD%B8%E8%80%85%E6%8C%87%E5%8D%97-ec34d7726a6c
Los modelos de difusión son un tipo de modelo generativo que crea nuevas imágenes a través de un proceso de difusión inversa. Comenzando desde ruido gaussiano, los modelos de difusión infieren progresivamente la imagen original. Este proceso puede verse como la simulación de un procedimiento gradual de "eliminación de ruido" para la generación de imágenes. Es un método de generación muy potente y eficiente que ha recibido una amplia atención en los últimos años.
El Mecanismo de Stable Diffusion
El principio de funcionamiento de Stable Diffusion se basa en el proceso inverso de los modelos de difusión. La idea fundamental de los modelos de difusión es comenzar con una imagen de ruido completamente aleatorio e inferir progresivamente una imagen clara. Este proceso se divide en dos etapas:
-
Proceso de Difusión Directa Durante el proceso de difusión directa, dada una imagen real, se añade ruido gradualmente hasta que se convierte en una imagen de ruido completamente aleatorio. Este proceso puede entenderse como el paso "destructivo" de la imagen. El ruido normalmente se añade incrementalmente a través de una distribución gaussiana, con cada paso haciendo la imagen más borrosa y ruidosa.
-
Proceso de Difusión Inversa El proceso de difusión inversa es la parte central del funcionamiento de Stable Diffusion. Dada una imagen de ruido completamente aleatorio, el modelo aprende a eliminar el ruido progresivamente para restaurar la imagen original. El proceso inverso es lo opuesto al proceso directo; utiliza un modelo de red neuronal preentrenado para inferir una imagen más clara en cada paso. Cada paso del proceso inverso implica que el modelo prediga la magnitud del ruido actual y lo reste de la imagen actual para obtener una imagen con menos ruido. Finalmente, después de múltiples pasos inversos, el modelo puede generar una imagen clara y de alta resolución a partir de ruido puro.
Fuente de la imagen: https://sushant-kumar.com/blog/ddpm-denoising-diffusion-probabilistic-models
Desplegando el Modelo SD en Dispositivos Jetson
Podemos desplegar rápidamente Stable Diffusion WebUI en dispositivos Jetson utilizando la herramienta jetson-examples. Este proyecto permite a los usuarios cargar el modelo Stable Diffusion y configurar flujos de trabajo a través de una interfaz gráfica.
Paso 1. Instale jetson-examples en su dispositivo Jetson. Abra una terminal en su dispositivo Jetson e introduzca:
pip3 install jetson-examplesPaso 2. Utilice la herramienta jetson-examples para instalar el proyecto stable-diffusion-webui con un solo comando:
reComputer run stable-diffusion-webuiPaso 3. Abra su navegador y vaya a http://<ip-jetson>:7860, y podrá comenzar a generar imágenes con Stable Diffusion.
