速度テストツール
LLM モデルの性能テスト用ツール。
このドキュメントでは、速度テストツールを使って大規模言語モデルの速度を測定する方法を紹介します。
Docker のインストール
bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh reComputer RK3576 で実行
bash
sudo docker run -it \
--privileged \
--net=host \
--device /dev/dri \
--device /dev/dma_heap \
--device /dev/rknpu \
--device /dev/mali0 \
-v /dev:/dev \
ghcr.io/seeed-projects/rk3576-deepseek-r1-distill-qwen:1.5b-fp16-latestreComputer RK3588 で実行
bash
sudo docker run -it \
--privileged \
--net=host \
--device /dev/dri \
--device /dev/dma_heap \
--device /dev/rknpu \
--device /dev/mali0 \
-v /dev:/dev \
ghcr.io/seeed-projects/rk3588-deepseek-r1-distill-qwen:1.5b-fp16-latestツールのインストール
bash
wget https://github.com/Seeed-Projects/reComputer-RK-LLM/raw/refs/heads/main/tools/llm_speed_test.py環境の作成
bash
python -m venv .env && source .enb/bin/activate
pip install -r requests速度のテスト
bash
python llm_speed_test.py