inteintegrity2026-09-29

RK1820 Vision Story Studio

Maak van een afbeelding een ansichtkaart, kort verhaal, scènebeschrijving of creatieve prompts met lokaal Qwen2.5-VL-3B op reComputer RK3576 en RK1820.

Image UnderstandingVLMCreative AIGitHub

Vision Story Studio zet afbeeldingen om in creatieve tekst met een lokaal vision-language-model. Op een reComputer RK3576 met RK1820-versneller uploadt u een afbeelding, kiest u een schrijfrichting en ziet u het antwoord geleidelijk in de browser verschijnen. Het project gebruikt Qwen2.5-VL-3B_prune; wanneer de lokale modelservice draait, worden de afbeelding en de prompt op het apparaat verwerkt.

Projectbroncode en README

Afbeelding uploaden en lokaal VLM-antwoord op RK1820

De clip toont een verwante demo voor afbeeldingsbegrip met RK1820 en Qwen2.5-VL-3B_prune: na het uploaden van een afbeelding verschijnt het antwoord stap voor stap. Vision Story Studio gebruikt dezelfde combinatie van hardware en model voor creatieve schrijfopties.

Wat u kunt maken

Upload een JPG-, PNG- of WEBP-afbeelding en kies een van de ingebouwde opties:

  • een ansichtkaart geïnspireerd op de afbeelding;
  • een kort verhaal;
  • een beschrijving van de scène;
  • een reeks creatieve prompts.

U kunt de prompt wijzigen voordat u op Create Story klikt. Het antwoord wordt vanuit de lokale modelservice naar de browser gestreamd.

Hardware en modelbestanden

  • reComputer RK3576 met een geïnstalleerde en herkende RK1820-module.
  • Compatibele RKNN3/RKLLM-runtime met rkllm3-server beschikbaar op het apparaat.
  • Python 3 en venv voor de FastAPI-webinterface; de afhankelijkheden staan in de requirements.txt van het project.
  • Een afzonderlijk verkregen modelpakket Qwen2.5-VL-3B_prune. Het losse projectarchief bevat geen modelbinaries.

Het startscript verwacht deze bestanden in MODEL_DIR:

text
llm_Qwen2.5-VL-3B_prune.rknn
llm_Qwen2.5-VL-3B_prune.weight
vision_Qwen2.5-VL-3B_prune.rknn
vision_Qwen2.5-VL-3B_prune.weight
Qwen2.5-VL-3B_prune.tokenizer.gguf
Qwen2.5-VL-3B_prune.embed.bin

Controleer vóór het starten of het modelpakket bij de runtime van het apparaat past.

De studio starten

Kloon de repository en ga naar de projectmap:

bash
git clone https://github.com/Seeed-Projects/Lab-Prooject-RK.git
cd Lab-Prooject-RK/projects/rk1820-vlm-creative
chmod +x *.sh

Start in de eerste terminal de VLM-service met de werkelijke modelmap:

bash
MODEL_DIR=/path/to/Qwen2.5-VL-3B_prune ./start_vlm_server.sh

Laat die terminal draaien. Start in een tweede terminal vanuit dezelfde projectmap de webinterface:

bash
./start_ui.sh

Open http://<RK3576-IP>:7861 in een browser op hetzelfde netwerk. De interface verbindt standaard met de modelservice op http://127.0.0.1:8080. Bij de eerste start maakt start_ui.sh een virtuele omgeving en installeert Python-afhankelijkheden. Als ze niet zijn gecachet, moet het apparaat de pakketten kunnen ophalen.

Opmerkingen

De projectrepository bevat de code en startscripts. Gebruik de webinterface op een vertrouwd lokaal netwerk of voeg toegangscontrole toe voordat u deze voor andere netwerken beschikbaar maakt. Het modelpakket en een compatibele runtime op het apparaat moeten apart worden voorbereid.