inteintegrity2026-09-29

RK1820 Vision Story Studio

Transformez une image en carte postale, courte histoire, description de scène ou idées créatives avec Qwen2.5-VL-3B en local sur reComputer RK3576 et RK1820.

Image UnderstandingVLMCreative AIGitHub

Vision Story Studio transforme une image en texte créatif avec un modèle vision-langage local. Sur un reComputer RK3576 équipé d'un accélérateur RK1820, importez une image, choisissez une direction d'écriture et regardez la réponse apparaître progressivement dans le navigateur. Le modèle du projet est Qwen2.5-VL-3B_prune ; lorsque le service local fonctionne, l'image et le prompt restent traités sur l'appareil.

Code source et README du projet

Importation d'image et réponse locale du VLM sur RK1820

La séquence présente une démonstration voisine de compréhension d'image avec RK1820 et Qwen2.5-VL-3B_prune : une image est importée et la réponse s'affiche progressivement. Vision Story Studio emploie la même combinaison de matériel et de modèle pour ses préréglages d'écriture créative.

Créations possibles

Importez une image JPG, PNG ou WEBP, puis choisissez parmi les directions proposées :

  • une carte postale inspirée de l'image ;
  • une courte histoire ;
  • une description de la scène ;
  • un ensemble de prompts créatifs.

Vous pouvez aussi modifier le prompt avant de cliquer sur Create Story. La réponse est transmise du modèle local vers le navigateur.

Matériel et fichiers du modèle

  • reComputer RK3576 avec module RK1820 installé et reconnu.
  • Runtime RKNN3/RKLLM compatible et rkllm3-server disponible sur la carte.
  • Python 3 et venv pour l'interface FastAPI ; ses dépendances sont dans le requirements.txt du projet.
  • Paquet Qwen2.5-VL-3B_prune obtenu séparément. L'archive autonome du projet ne contient pas les binaires du modèle.

Le script de lancement attend les fichiers suivants dans MODEL_DIR :

text
llm_Qwen2.5-VL-3B_prune.rknn
llm_Qwen2.5-VL-3B_prune.weight
vision_Qwen2.5-VL-3B_prune.rknn
vision_Qwen2.5-VL-3B_prune.weight
Qwen2.5-VL-3B_prune.tokenizer.gguf
Qwen2.5-VL-3B_prune.embed.bin

Vérifiez la compatibilité entre le paquet du modèle et le runtime de la carte avant de démarrer le service.

Lancer le studio

Clonez le dépôt et entrez dans le dossier du projet :

bash
git clone https://github.com/Seeed-Projects/Lab-Prooject-RK.git
cd Lab-Prooject-RK/projects/rk1820-vlm-creative
chmod +x *.sh

Dans un premier terminal, indiquez le dossier du modèle et démarrez le service VLM :

bash
MODEL_DIR=/path/to/Qwen2.5-VL-3B_prune ./start_vlm_server.sh

Laissez ce terminal ouvert. Dans un second terminal, entrez dans le même dossier et lancez l'interface Web :

bash
./start_ui.sh

Ouvrez http://<RK3576-IP>:7861 depuis un navigateur du même réseau. Par défaut, l'interface se connecte au service local sur http://127.0.0.1:8080. Au premier lancement, start_ui.sh crée un environnement virtuel et installe les dépendances Python ; si elles ne sont pas en cache, la carte doit pouvoir télécharger ces paquets.

Remarques

Le dépôt du projet contient le code et les scripts de lancement. Utilisez l'interface sur un réseau local de confiance ou ajoutez un contrôle d'accès avant de l'exposer à d'autres réseaux. Le modèle et un runtime compatible doivent être préparés séparément.