本地智能问答系统

本文将深入探讨图像生成领域，重点关注扩散模型。通过整合 DALL·E 和 Stable Diffusion 的工作原理等前沿技术，我们旨在了解它们的实际应用和发展潜力。

图像生成中的扩散模型简介

diffusion model

图片来源：https://chrislee0728.medium.com/%E5%BE%9E%E9%A0%AD%E9%96%8B%E5%A7%8B%E5%AD%B8%E7%BF%92stable-diffusion-%E4%B8%80%E5%80%8B%E5%88%9D%E5%AD%B8%E8%80%85%E6%8C%87%E5%8D%97-ec34d7726a6c

扩散模型是一类通过反向扩散过程创造新图像的生成模型。从高斯噪声开始，扩散模型逐步推断出原始图像。这一过程可以看作是模拟图像生成的逐步"去噪"过程。这是一种非常强大且高效的生成方法，近年来受到了广泛关注。

Stable Diffusion 的机制

Stable Diffusion 的工作原理基于扩散模型的反向过程。扩散模型的基本思想是从一个完全随机的噪声图像开始，逐步推断出清晰的图像。这一过程分为两个阶段：

  1. 前向扩散过程 在前向扩散过程中，给定一张真实图像，逐步添加噪声，直到它变成完全随机的噪声图像。这一过程可以理解为图像的"破坏"步骤。噪声通常通过高斯分布逐步添加，每一步都使图像变得更加模糊和嘈杂。

  2. 反向扩散过程 反向扩散过程是 Stable Diffusion 的核心运行部分。给定一张完全随机的噪声图像，模型学习如何逐步去噪，以恢复原始图像。反向过程是前向过程的反向；它使用预训练的神经网络模型在每一步推断出更清晰的图像。反向过程的每一步都涉及模型预测当前噪声的大小并将其从当前图像中减去，以获得噪声更少的图像。最终，经过多个反向步骤后，模型可以从纯噪声中生成清晰且高分辨率的图像。

diffusion model

图片来源：https://sushant-kumar.com/blog/ddpm-denoising-diffusion-probabilistic-models

在 Jetson 设备上部署 SD 模型

我们可以使用 jetson-examples 工具在 Jetson 设备上快速部署 Stable Diffusion WebUI。该项目允许用户通过图形界面加载 Stable Diffusion 模型并配置工作流程。

步骤 1. 在 Jetson 设备上安装 jetson-examples。打开 Jetson 设备上的终端并输入：

bash
pip3 install jetson-examples

步骤 2. 使用 jetson-examples 工具一键安装 stable-diffusion-webui 项目：

bash
reComputer run stable-diffusion-webui

步骤 3. 打开浏览器并访问 http://<ip-jetson>:7860，您就可以开始使用 Stable Diffusion 生成图像了。

test

更多参考内容