Outil de déploiement de modèles LLM basé sur Docker

Utilise un conteneur Docker pour déployer un modèle LLM sur l'appareil.

Outil de déploiement de modèles RKLLM

Ce document décrit comment utiliser l'image préconstruite pour déployer votre propre modèle LLM.

#Installer Docker

bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh

#Préparer le modèle

#Pour reComputer RK3576

À titre d'exemple, je télécharge ici le modèle déjà converti pour reComputer RK3576.

bash
cd ~
mkdir models && cd models
wget https://huggingface.co/JiahaoLi/Qwen3-RK3576/resolve/main/Qwen3-0.6B-rk3576-w4a16.rkllm

#Pour reComputer RK3588

À titre d'exemple, je télécharge ici le modèle déjà converti pour reComputer RK3588.

bash
cd ~
mkdir models && cd models
wget https://huggingface.co/JiahaoLi/Qwen3-RK3588/resolve/main/Qwen3-0.6B-rk3588-w8a8.rkllm

#Installer Docker

bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh

#Exécuter le modèle

#Exécuter sur reComputer RK3576

bash

sudo docker run -it --rm \
  --privileged --net=host \
  --device /dev/dri \
  --device /dev/dma_heap \
  --device /dev/rknpu \
  --device /dev/mali0 \
  -v /dev:/dev \
  -v /home/user/models:/models \
  ghcr.io/seeed-projects/deploy_llm:rk3576-latest \
  python3 /app/fastapi_server_llm.py --rkllm_model_path /models/Qwen3-0.6B-rk3576-w4a16.rkllm--target_platform rk3576 --port 8001

#Exécuter sur reComputer RK3588

bash

sudo docker run -it --rm \
  --privileged --net=host \
  --device /dev/dri \
  --device /dev/dma_heap \
  --device /dev/rknpu \
  --device /dev/mali0 \
  -v /dev:/dev \
  -v /home/user/models:/models \
  ghcr.io/seeed-projects/deploy_llm:rk3588-latest \
  python3 /app/fastapi_server_llm.py --rkllm_model_path /models/Qwen3-0.6B-rk3588-w8a8.rkllm --target_platform rk3588 --port 8001