RK LLM 模型转换


本文介绍如何使用 reComputer RK 工具链转换你自己的 LLM 模型。

克隆 GitHub 仓库

bash
git clone https://github.com/airockchip/rknn-llm.git

cd rknn-llm/examples/rkllm_api_demo

安装依赖包

bash
python -m venv .env & source .env/bin/activate
wget https://github.com/airockchip/rknn-llm/raw/refs/heads/main/rkllm-toolkit/packages/rkllm_toolkit-1.2.3-cp310-cp310-linux_x86_64.whl
pip install .rkllm-toolkit

安装模型

下面以 deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B 为例。

bash
pip install huggingface-hub
huggingface-cli download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --local-dir ./DeepSeek-R1-Distill-Qwen-1.5B

转换模型

bash
cd export
python generate_data_quant.py -m /path/to/DeepSeek-R1-Distill-Qwen-1.5B
python export_rkllm.py

更多细节请参考 rkllm。