RK1820 Vision Story Studio | reComputer AI Lab

Vision Story Studio は、ローカルの視覚言語モデルで画像を創作テキストに変えるプロジェクトです。RK1820 アクセラレーターを搭載した reComputer RK3576 で画像をアップロードし、創作の方向を選ぶと、回答がブラウザーに順次表示されます。プロジェクトで使用するモデルは Qwen2.5-VL-3B_prune です。ローカルモデルサービスの実行中、画像とプロンプトはボード上で処理されます。

プロジェクトのソースコードと README

RK1820 での画像アップロードとローカル VLM の回答

この映像は、RK1820 と Qwen2.5-VL-3B_prune を使用した関連する画像理解デモです。画像をアップロードすると回答が順次表示されます。Vision Story Studio は同じハードウェアとモデルの組み合わせを使い、創作向けのプリセットを提供します。

作成できるもの

JPG、PNG、WEBP 画像をアップロードし、次のプリセットから選べます。

画像から着想を得た絵はがきの文章
短い物語
画像の情景描写
創作プロンプトのセット

Create Story を押す前にプロンプトを編集することもできます。ローカルモデルサービスからの回答がブラウザーにストリーミング表示されます。

ハードウェアとモデルファイル

RK1820 モジュールを装着し、正常に認識している reComputer RK3576。
ボード上で rkllm3-server を実行できる互換性のある RKNN3/RKLLM ランタイム。
FastAPI の Web 画面用の Python 3 と venv。必要なパッケージはプロジェクト内の requirements.txt に記載されています。
別途入手する Qwen2.5-VL-3B_prune モデルパッケージ。独立配布のプロジェクトアーカイブにはモデルのバイナリは含まれません。

モデル起動スクリプトは MODEL_DIR に次のファイルがあることを想定しています。

text

llm_Qwen2.5-VL-3B_prune.rknn
llm_Qwen2.5-VL-3B_prune.weight
vision_Qwen2.5-VL-3B_prune.rknn
vision_Qwen2.5-VL-3B_prune.weight
Qwen2.5-VL-3B_prune.tokenizer.gguf
Qwen2.5-VL-3B_prune.embed.bin

サービスを起動する前に、モデルパッケージとボード上のランタイムの互換性を確認してください。

実行方法

リポジトリを取得し、プロジェクトディレクトリに移動します。

bash

git clone https://github.com/Seeed-Projects/Lab-Prooject-RK.git
cd Lab-Prooject-RK/projects/rk1820-vlm-creative
chmod +x *.sh

最初のターミナルでモデルディレクトリを指定し、VLM サービスを起動します。

bash

MODEL_DIR=/path/to/Qwen2.5-VL-3B_prune ./start_vlm_server.sh

このターミナルを起動したまま、2 つ目のターミナルで同じディレクトリに移動して Web 画面を起動します。

bash

./start_ui.sh

同じネットワークのブラウザーで http://<RK3576-IP>:7861 を開きます。Web 画面は既定で http://127.0.0.1:8080 のモデルサービスに接続します。start_ui.sh の初回実行時は仮想環境の作成と Python 依存関係のインストールが行われます。パッケージがキャッシュされていなければ、その取得手段が必要です。

注意事項

Seeed-Projects/Lab-Prooject-RK にコードと起動スクリプトがあります。Web 画面は信頼できるローカルネットワークで使い、他のネットワークに公開する場合はアクセス制御を追加してください。モデルパッケージと互換性のあるボード側ランタイムは別途準備が必要です。