Outil de déploiement de modèles LLM basé sur Docker
Utilise un conteneur Docker pour déployer un modèle LLM sur l'appareil.
Ce document décrit comment utiliser l'image préconstruite pour déployer votre propre modèle LLM.
Installer Docker
bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh Préparer le modèle
Pour reComputer RK3576
À titre d'exemple, je télécharge ici le modèle déjà converti pour reComputer RK3576.
bash
cd ~
mkdir models && cd models
wget https://huggingface.co/JiahaoLi/Qwen3-RK3576/resolve/main/Qwen3-0.6B-rk3576-w4a16.rkllmPour reComputer RK3588
À titre d'exemple, je télécharge ici le modèle déjà converti pour reComputer RK3588.
bash
cd ~
mkdir models && cd models
wget https://huggingface.co/JiahaoLi/Qwen3-RK3588/resolve/main/Qwen3-0.6B-rk3588-w8a8.rkllmInstaller Docker
bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh Exécuter le modèle
Exécuter sur reComputer RK3576
bash
sudo docker run -it --rm \
--privileged --net=host \
--device /dev/dri \
--device /dev/dma_heap \
--device /dev/rknpu \
--device /dev/mali0 \
-v /dev:/dev \
-v /home/user/models:/models \
ghcr.io/seeed-projects/deploy_llm:rk3576-latest \
python3 /app/fastapi_server_llm.py --rkllm_model_path /models/Qwen3-0.6B-rk3576-w4a16.rkllm--target_platform rk3576 --port 8001
Exécuter sur reComputer RK3588
bash
sudo docker run -it --rm \
--privileged --net=host \
--device /dev/dri \
--device /dev/dma_heap \
--device /dev/rknpu \
--device /dev/mali0 \
-v /dev:/dev \
-v /home/user/models:/models \
ghcr.io/seeed-projects/deploy_llm:rk3588-latest \
python3 /app/fastapi_server_llm.py --rkllm_model_path /models/Qwen3-0.6B-rk3588-w8a8.rkllm --target_platform rk3588 --port 8001