Outil de déploiement de modèles VLM basé sur Docker

Utilise un conteneur Docker pour déployer un modèle VLM sur l'appareil.


Ce document décrit comment utiliser l'image préconstruite pour déployer votre propre modèle VLM.

Installer Docker

bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh 

Préparer le modèle

Pour reComputer RK3576

À titre d'exemple, je télécharge ici le modèle déjà converti pour reComputer RK3576.

bash
cd ~
mkdir models && cd models
wget https://huggingface.co/JiahaoLi/Qwen3-VL-RK3576/resolve/main/qwen3-vl-2b-instruct_w4a16_g128_rk3576.rkllm
wget https://huggingface.co/JiahaoLi/Qwen3-VL-RK3576/resolve/main/qwen3-vl-2b_vision_rk3576.rknn

Pour reComputer RK3588

À titre d'exemple, je télécharge ici le modèle déjà converti pour reComputer RK3588.

bash
cd ~
mkdir models && cd models
wget https://huggingface.co/JiahaoLi/Qwen3-VL-RK3588/resolve/main/qwen3-vl-2b-instruct_w8a8_rk3588.rkllm
wget https://huggingface.co/JiahaoLi/Qwen3-VL-RK3588/resolve/main/qwen3-vl-2b_vision_rk3588.rknn

Installer Docker

bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh 

Exécuter le modèle

Exécuter sur reComputer RK3576

bash

sudo docker run -it --rm \
  --privileged --net=host \
  --device /dev/dri \
  --device /dev/dma_heap \
  --device /dev/rknpu \
  --device /dev/mali0 \
  -v /dev:/dev \
  -v /home/user/models:/models \
  ghcr.io/seeed-projects/deploy_llm:rk3576-latest \
  python3 /app/fastapi_server_vlm.py --encoder_model ./model/qwen3-vl-2b_vision_rk3576.rknn --llm_model ./model/qwen3-vl-2b-instruct_w8a8_rk3588.rkllm --target_platform rk3576 --port 8002

Exécuter sur reComputer RK3588

bash

sudo docker run -it --rm \
  --privileged --net=host \
  --device /dev/dri \
  --device /dev/dma_heap \
  --device /dev/rknpu \
  --device /dev/mali0 \
  -v /dev:/dev \
  -v /home/user/models:/models \
  ghcr.io/seeed-projects/deploy_llm:rk3588-latest \
  python3 /app/fastapi_server_vlm.py --encoder_model ./model/qwen3-vl-2b_vision_rk3588.rknn --llm_model ./model/qwen3-vl-2b-instruct_w8a8_rk3588.rkllm --target_platform rk3576 --port 8002