Docker ベースの VLM モデルデプロイツール

Docker コンテナを使用して VLM モデルをデバイスにデプロイします。

RKLLM モデルデプロイツール

このドキュメントでは、ビルド済みイメージを使って自分の VLM モデルをデプロイする方法を紹介します。

#Docker のインストール

bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh

#モデルの準備

#reComputer RK3576 の場合

ここでは、reComputer RK3576 用に変換済みのモデルをダウンロードする例を示します。

bash
cd ~
mkdir models && cd models
wget https://huggingface.co/JiahaoLi/Qwen3-VL-RK3576/resolve/main/qwen3-vl-2b-instruct_w4a16_g128_rk3576.rkllm
wget https://huggingface.co/JiahaoLi/Qwen3-VL-RK3576/resolve/main/qwen3-vl-2b_vision_rk3576.rknn

#reComputer RK3588 の場合

ここでは、reComputer RK3588 用に変換済みのモデルをダウンロードする例を示します。

bash
cd ~
mkdir models && cd models
wget https://huggingface.co/JiahaoLi/Qwen3-VL-RK3588/resolve/main/qwen3-vl-2b-instruct_w8a8_rk3588.rkllm
wget https://huggingface.co/JiahaoLi/Qwen3-VL-RK3588/resolve/main/qwen3-vl-2b_vision_rk3588.rknn

#Docker のインストール

bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh

#モデルの実行

#reComputer RK3576 で実行

bash

sudo docker run -it --rm \
  --privileged --net=host \
  --device /dev/dri \
  --device /dev/dma_heap \
  --device /dev/rknpu \
  --device /dev/mali0 \
  -v /dev:/dev \
  -v /home/user/models:/models \
  ghcr.io/seeed-projects/deploy_llm:rk3576-latest \
  python3 /app/fastapi_server_vlm.py --encoder_model ./model/qwen3-vl-2b_vision_rk3576.rknn --llm_model ./model/qwen3-vl-2b-instruct_w8a8_rk3588.rkllm --target_platform rk3576 --port 8002

#reComputer RK3588 で実行

bash

sudo docker run -it --rm \
  --privileged --net=host \
  --device /dev/dri \
  --device /dev/dma_heap \
  --device /dev/rknpu \
  --device /dev/mali0 \
  -v /dev:/dev \
  -v /home/user/models:/models \
  ghcr.io/seeed-projects/deploy_llm:rk3588-latest \
  python3 /app/fastapi_server_vlm.py --encoder_model ./model/qwen3-vl-2b_vision_rk3588.rknn --llm_model ./model/qwen3-vl-2b-instruct_w8a8_rk3588.rkllm --target_platform rk3576 --port 8002