Outil de déploiement de modèles VLM basé sur Docker

Utilise un conteneur Docker pour déployer un modèle VLM sur l'appareil.

Outil de déploiement de modèles RKLLM

Ce document décrit comment utiliser l'image préconstruite pour déployer votre propre modèle VLM.

#Installer Docker

bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh

#Préparer le modèle

#Pour reComputer RK3576

À titre d'exemple, je télécharge ici le modèle déjà converti pour reComputer RK3576.

bash
cd ~
mkdir models && cd models
wget https://huggingface.co/JiahaoLi/Qwen3-VL-RK3576/resolve/main/qwen3-vl-2b-instruct_w4a16_g128_rk3576.rkllm
wget https://huggingface.co/JiahaoLi/Qwen3-VL-RK3576/resolve/main/qwen3-vl-2b_vision_rk3576.rknn

#Pour reComputer RK3588

À titre d'exemple, je télécharge ici le modèle déjà converti pour reComputer RK3588.

bash
cd ~
mkdir models && cd models
wget https://huggingface.co/JiahaoLi/Qwen3-VL-RK3588/resolve/main/qwen3-vl-2b-instruct_w8a8_rk3588.rkllm
wget https://huggingface.co/JiahaoLi/Qwen3-VL-RK3588/resolve/main/qwen3-vl-2b_vision_rk3588.rknn

#Installer Docker

bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh

#Exécuter le modèle

#Exécuter sur reComputer RK3576

bash

sudo docker run -it --rm \
  --privileged --net=host \
  --device /dev/dri \
  --device /dev/dma_heap \
  --device /dev/rknpu \
  --device /dev/mali0 \
  -v /dev:/dev \
  -v /home/user/models:/models \
  ghcr.io/seeed-projects/deploy_llm:rk3576-latest \
  python3 /app/fastapi_server_vlm.py --encoder_model ./model/qwen3-vl-2b_vision_rk3576.rknn --llm_model ./model/qwen3-vl-2b-instruct_w8a8_rk3588.rkllm --target_platform rk3576 --port 8002

#Exécuter sur reComputer RK3588

bash

sudo docker run -it --rm \
  --privileged --net=host \
  --device /dev/dri \
  --device /dev/dma_heap \
  --device /dev/rknpu \
  --device /dev/mali0 \
  -v /dev:/dev \
  -v /home/user/models:/models \
  ghcr.io/seeed-projects/deploy_llm:rk3588-latest \
  python3 /app/fastapi_server_vlm.py --encoder_model ./model/qwen3-vl-2b_vision_rk3588.rknn --llm_model ./model/qwen3-vl-2b-instruct_w8a8_rk3588.rkllm --target_platform rk3576 --port 8002