Outil de déploiement de modèles LLM basé sur Docker

Utilise un conteneur Docker pour déployer un modèle LLM sur l'appareil.


Ce document décrit comment utiliser l'image préconstruite pour déployer votre propre modèle LLM.

Installer Docker

bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh 

Préparer le modèle

Pour reComputer RK3576

À titre d'exemple, je télécharge ici le modèle déjà converti pour reComputer RK3576.

bash
cd ~
mkdir models && cd models
wget https://huggingface.co/JiahaoLi/Qwen3-RK3576/resolve/main/Qwen3-0.6B-rk3576-w4a16.rkllm

Pour reComputer RK3588

À titre d'exemple, je télécharge ici le modèle déjà converti pour reComputer RK3588.

bash
cd ~
mkdir models && cd models
wget https://huggingface.co/JiahaoLi/Qwen3-RK3588/resolve/main/Qwen3-0.6B-rk3588-w8a8.rkllm

Installer Docker

bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh 

Exécuter le modèle

Exécuter sur reComputer RK3576

bash

sudo docker run -it --rm \
  --privileged --net=host \
  --device /dev/dri \
  --device /dev/dma_heap \
  --device /dev/rknpu \
  --device /dev/mali0 \
  -v /dev:/dev \
  -v /home/user/models:/models \
  ghcr.io/seeed-projects/deploy_llm:rk3576-latest \
  python3 /app/fastapi_server_llm.py --rkllm_model_path /models/Qwen3-0.6B-rk3576-w4a16.rkllm--target_platform rk3576 --port 8001

Exécuter sur reComputer RK3588

bash

sudo docker run -it --rm \
  --privileged --net=host \
  --device /dev/dri \
  --device /dev/dma_heap \
  --device /dev/rknpu \
  --device /dev/mali0 \
  -v /dev:/dev \
  -v /home/user/models:/models \
  ghcr.io/seeed-projects/deploy_llm:rk3588-latest \
  python3 /app/fastapi_server_llm.py --rkllm_model_path /models/Qwen3-0.6B-rk3588-w8a8.rkllm --target_platform rk3588 --port 8001