Herramienta de despliegue de modelos LLM basada en Docker

Usa un contenedor Docker para desplegar un modelo LLM en el dispositivo.

Herramienta de despliegue de modelos RKLLM

Este documento te muestra cómo usar la imagen prediseñada para desplegar tu propio modelo LLM.

#Instalar Docker

bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh

#Preparar el modelo

#Para reComputer RK3576

Aquí descargo, como ejemplo, el modelo ya convertido para reComputer RK3576.

bash
cd ~
mkdir models && cd models
wget https://huggingface.co/JiahaoLi/Qwen3-RK3576/resolve/main/Qwen3-0.6B-rk3576-w4a16.rkllm

#Para reComputer RK3588

Aquí descargo, como ejemplo, el modelo ya convertido para reComputer RK3588.

bash
cd ~
mkdir models && cd models
wget https://huggingface.co/JiahaoLi/Qwen3-RK3588/resolve/main/Qwen3-0.6B-rk3588-w8a8.rkllm

#Instalar Docker

bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh

#Ejecutar el modelo

#Ejecutar en reComputer RK3576

bash

sudo docker run -it --rm \
  --privileged --net=host \
  --device /dev/dri \
  --device /dev/dma_heap \
  --device /dev/rknpu \
  --device /dev/mali0 \
  -v /dev:/dev \
  -v /home/user/models:/models \
  ghcr.io/seeed-projects/deploy_llm:rk3576-latest \
  python3 /app/fastapi_server_llm.py --rkllm_model_path /models/Qwen3-0.6B-rk3576-w4a16.rkllm--target_platform rk3576 --port 8001

#Ejecutar en reComputer RK3588

bash

sudo docker run -it --rm \
  --privileged --net=host \
  --device /dev/dri \
  --device /dev/dma_heap \
  --device /dev/rknpu \
  --device /dev/mali0 \
  -v /dev:/dev \
  -v /home/user/models:/models \
  ghcr.io/seeed-projects/deploy_llm:rk3588-latest \
  python3 /app/fastapi_server_llm.py --rkllm_model_path /models/Qwen3-0.6B-rk3588-w8a8.rkllm --target_platform rk3588 --port 8001