Docker-basiertes LLM-Modell-Deployment-Tool

Verwendet einen Docker-Container, um ein LLM-Modell auf dem Gerät bereitzustellen.

RKLLM-Modell-Deployment-Tool

Dieses Dokument erklärt, wie du das vorgefertigte Image verwendest, um dein eigenes LLM-Modell bereitzustellen.

#Docker installieren

bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh

#Modell vorbereiten

#Für reComputer RK3576

Hier lade ich als Beispiel das bereits für reComputer RK3576 konvertierte Modell herunter.

bash
cd ~
mkdir models && cd models
wget https://huggingface.co/JiahaoLi/Qwen3-RK3576/resolve/main/Qwen3-0.6B-rk3576-w4a16.rkllm

#Für reComputer RK3588

Hier lade ich als Beispiel das bereits für reComputer RK3588 konvertierte Modell herunter.

bash
cd ~
mkdir models && cd models
wget https://huggingface.co/JiahaoLi/Qwen3-RK3588/resolve/main/Qwen3-0.6B-rk3588-w8a8.rkllm

#Docker installieren

bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh

#Modell ausführen

#Auf reComputer RK3576 ausführen

bash

sudo docker run -it --rm \
  --privileged --net=host \
  --device /dev/dri \
  --device /dev/dma_heap \
  --device /dev/rknpu \
  --device /dev/mali0 \
  -v /dev:/dev \
  -v /home/user/models:/models \
  ghcr.io/seeed-projects/deploy_llm:rk3576-latest \
  python3 /app/fastapi_server_llm.py --rkllm_model_path /models/Qwen3-0.6B-rk3576-w4a16.rkllm--target_platform rk3576 --port 8001

#Auf reComputer RK3588 ausführen

bash

sudo docker run -it --rm \
  --privileged --net=host \
  --device /dev/dri \
  --device /dev/dma_heap \
  --device /dev/rknpu \
  --device /dev/mali0 \
  -v /dev:/dev \
  -v /home/user/models:/models \
  ghcr.io/seeed-projects/deploy_llm:rk3588-latest \
  python3 /app/fastapi_server_llm.py --rkllm_model_path /models/Qwen3-0.6B-rk3588-w8a8.rkllm --target_platform rk3588 --port 8001