inteintegrity2026-09-29

RK1820 Vision Story Studio

Erstellen Sie aus einem Bild eine Postkarte, Kurzgeschichte, Szenenbeschreibung oder kreative Prompts mit lokalem Qwen2.5-VL-3B auf reComputer RK3576 und RK1820.

Image UnderstandingVLMCreative AIGitHub

Vision Story Studio wandelt Bilder mit einem lokalen Vision-Language-Modell in kreative Texte um. Auf einem reComputer RK3576 mit RK1820-Beschleuniger laden Sie ein Bild hoch, wählen eine Schreibrichtung und sehen, wie die Antwort schrittweise im Browser erscheint. Das Projekt verwendet Qwen2.5-VL-3B_prune; bei laufendem lokalen Modelldienst werden Bild und Prompt auf dem Gerät verarbeitet.

Projektquellcode und README

Bild-Upload und lokale VLM-Antwort auf RK1820

Der Clip zeigt eine verwandte Bildverständnis-Demo mit RK1820 und Qwen2.5-VL-3B_prune: Ein Bild wird hochgeladen und die Antwort erscheint fortlaufend. Vision Story Studio nutzt dieselbe Hardware- und Modellkombination für kreative Schreibvorlagen.

Mögliche Ergebnisse

Laden Sie ein JPG-, PNG- oder WEBP-Bild hoch und wählen Sie eine der Vorlagen:

  • eine vom Bild inspirierte Postkarte;
  • eine Kurzgeschichte;
  • eine Beschreibung der Bildszene;
  • eine Sammlung kreativer Prompts.

Vor dem Klick auf Create Story können Sie den Prompt bearbeiten. Die Antwort wird vom lokalen Modelldienst an den Browser gestreamt.

Hardware und Modelldateien

  • reComputer RK3576 mit installiertem und erkanntem RK1820-Modul.
  • Kompatible RKNN3/RKLLM-Laufzeit mit rkllm3-server auf dem Board.
  • Python 3 und venv für die FastAPI-Oberfläche; Abhängigkeiten stehen in der requirements.txt des Projekts.
  • Separat bezogenes Modellpaket Qwen2.5-VL-3B_prune. Das eigenständige Projektarchiv enthält keine Modellbinärdateien.

Das Startskript erwartet in MODEL_DIR folgende Dateien:

text
llm_Qwen2.5-VL-3B_prune.rknn
llm_Qwen2.5-VL-3B_prune.weight
vision_Qwen2.5-VL-3B_prune.rknn
vision_Qwen2.5-VL-3B_prune.weight
Qwen2.5-VL-3B_prune.tokenizer.gguf
Qwen2.5-VL-3B_prune.embed.bin

Prüfen Sie vor dem Start, ob Modellpaket und Board-Laufzeit zueinander passen.

Studio starten

Klonen Sie das Repository und wechseln Sie in den Projektordner:

bash
git clone https://github.com/Seeed-Projects/Lab-Prooject-RK.git
cd Lab-Prooject-RK/projects/rk1820-vlm-creative
chmod +x *.sh

Starten Sie im ersten Terminal den VLM-Dienst mit dem tatsächlichen Modellverzeichnis:

bash
MODEL_DIR=/path/to/Qwen2.5-VL-3B_prune ./start_vlm_server.sh

Lassen Sie das Terminal laufen. Starten Sie in einem zweiten Terminal aus demselben Projektordner die Weboberfläche:

bash
./start_ui.sh

Öffnen Sie http://<RK3576-IP>:7861 in einem Browser desselben Netzwerks. Die Oberfläche verbindet sich standardmäßig mit dem Modelldienst unter http://127.0.0.1:8080. Beim ersten Start erstellt start_ui.sh eine virtuelle Umgebung und installiert Python-Abhängigkeiten; falls sie nicht im Cache liegen, müssen die Pakete erreichbar sein.

Hinweise

Im Projektrepository liegen Code und Startskripte. Betreiben Sie die Weboberfläche in einem vertrauenswürdigen lokalen Netzwerk oder ergänzen Sie eine Zugriffskontrolle, bevor Sie sie für andere Netzwerke freigeben. Modellpaket und kompatible Board-Laufzeit sind separat vorzubereiten.