Docker ベースの LLM モデルデプロイツール
Docker コンテナを使用して LLM モデルをデバイスにデプロイします。
このドキュメントでは、ビルド済みイメージを使って自分の LLM モデルをデプロイする方法を紹介します。
Docker のインストール
bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh モデルの準備
reComputer RK3576 の場合
ここでは、reComputer RK3576 用に変換済みのモデルをダウンロードする例を示します。
bash
cd ~
mkdir models && cd models
wget https://huggingface.co/JiahaoLi/Qwen3-RK3576/resolve/main/Qwen3-0.6B-rk3576-w4a16.rkllmreComputer RK3588 の場合
ここでは、reComputer RK3588 用に変換済みのモデルをダウンロードする例を示します。
bash
cd ~
mkdir models && cd models
wget https://huggingface.co/JiahaoLi/Qwen3-RK3588/resolve/main/Qwen3-0.6B-rk3588-w8a8.rkllmDocker のインストール
bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh モデルの実行
reComputer RK3576 で実行
bash
sudo docker run -it --rm \
--privileged --net=host \
--device /dev/dri \
--device /dev/dma_heap \
--device /dev/rknpu \
--device /dev/mali0 \
-v /dev:/dev \
-v /home/user/models:/models \
ghcr.io/seeed-projects/deploy_llm:rk3576-latest \
python3 /app/fastapi_server_llm.py --rkllm_model_path /models/Qwen3-0.6B-rk3576-w4a16.rkllm--target_platform rk3576 --port 8001
reComputer RK3588 で実行
bash
sudo docker run -it --rm \
--privileged --net=host \
--device /dev/dri \
--device /dev/dma_heap \
--device /dev/rknpu \
--device /dev/mali0 \
-v /dev:/dev \
-v /home/user/models:/models \
ghcr.io/seeed-projects/deploy_llm:rk3588-latest \
python3 /app/fastapi_server_llm.py --rkllm_model_path /models/Qwen3-0.6B-rk3588-w8a8.rkllm --target_platform rk3588 --port 8001