Lokales Intelligentes Q&A-System
Dieser Artikel wird tief in das Gebiet der Bilderzeugung eintauchen und sich auf Diffusionsmodelle konzentrieren. Durch die Integration modernster Technologien wie der Funktionsprinzipien von DALL·E und Stable Diffusion möchten wir ihre praktischen Anwendungen und Entwicklungspotenziale verstehen.
Einführung in Diffusionsmodelle in der Bilderzeugung
Diffusionsmodelle sind eine Art generatives Modell, das durch einen umgekehrten Diffusionsprozess neue Bilder erzeugt. Ausgehend von Gaußschem Rauschen leiten Diffusionsmodelle das Originalbild schrittweise ab. Dieser Prozess kann als Simulation einer schrittweisen „Entrauschungs"-Prozedur zur Bilderzeugung betrachtet werden. Es handelt sich um eine sehr leistungsstarke und effiziente Erzeugungsmethode, die in den letzten Jahren große Aufmerksamkeit erhalten hat.
Der Mechanismus von Stable Diffusion
Das Funktionsprinzip von Stable Diffusion basiert auf dem umgekehrten Prozess von Diffusionsmodellen. Die grundlegende Idee von Diffusionsmodellen besteht darin, mit einem völlig zufälligen Rauschbild zu beginnen und schrittweise ein klares Bild abzuleiten. Dieser Prozess gliedert sich in zwei Phasen:
-
Vorwärtsdiffusionsprozess Während des Vorwärtsdiffusionsprozesses wird einem realen Bild schrittweise Rauschen hinzugefügt, bis es zu einem völlig zufälligen Rauschbild wird. Dieser Prozess kann als der „zerstörerische" Schritt des Bildes verstanden werden. Rauschen wird typischerweise schrittweise durch eine Gaußsche Verteilung hinzugefügt, wobei jeder Schritt das Bild verschwommener und verrauschter macht.
-
Umgekehrter Diffusionsprozess Der umgekehrte Diffusionsprozess ist der zentrale Funktionsteil von Stable Diffusion. Bei einem völlig zufälligen Rauschbild lernt das Modell, wie es schrittweise zu entrauschen ist, um das Originalbild wiederherzustellen. Der umgekehrte Prozess ist das Gegenteil des Vorwärtsprozesses; er verwendet ein vortrainiertes neuronales Netzwerkmodell, um in jedem Schritt ein klareres Bild abzuleiten. Jeder Schritt des umgekehrten Prozesses umfasst, dass das Modell das Ausmaß des aktuellen Rauschens vorhersagt und es vom aktuellen Bild abzieht, um ein weniger verrauschtes Bild zu erhalten. Schließlich kann das Modell nach mehreren umgekehrten Schritten ein klares und hochauflösendes Bild aus reinem Rauschen erzeugen.
Bildquelle: https://sushant-kumar.com/blog/ddpm-denoising-diffusion-probabilistic-models
Bereitstellung des SD-Modells auf Jetson-Geräten
Wir können Stable Diffusion WebUI mit dem jetson-examples-Tool schnell auf Jetson-Geräten bereitstellen. Dieses Projekt ermöglicht es Benutzern, das Stable Diffusion-Modell zu laden und Workflows über eine grafische Oberfläche zu konfigurieren.
Schritt 1. Installieren Sie jetson-examples auf Ihrem Jetson-Gerät. Öffnen Sie ein Terminal auf Ihrem Jetson-Gerät und geben Sie ein:
pip3 install jetson-examplesSchritt 2. Verwenden Sie das jetson-examples-Tool, um das Projekt stable-diffusion-webui mit einem einzigen Befehl zu installieren:
reComputer run stable-diffusion-webuiSchritt 3. Öffnen Sie Ihren Browser und gehen Sie zu http://<ip-jetson>:7860, und Sie können mit der Bilderzeugung mit Stable Diffusion beginnen.
