Snelheidstest-tool
Prestatietests voor LLM-modellen.
Dit document beschrijft hoe je de snelheidstest-tool gebruikt om de snelheid van grote taalmodellen te meten.
Docker installeren
bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh Uitvoeren op reComputer RK3576
bash
sudo docker run -it \
--privileged \
--net=host \
--device /dev/dri \
--device /dev/dma_heap \
--device /dev/rknpu \
--device /dev/mali0 \
-v /dev:/dev \
ghcr.io/seeed-projects/rk3576-deepseek-r1-distill-qwen:1.5b-fp16-latestUitvoeren op reComputer RK3588
bash
sudo docker run -it \
--privileged \
--net=host \
--device /dev/dri \
--device /dev/dma_heap \
--device /dev/rknpu \
--device /dev/mali0 \
-v /dev:/dev \
ghcr.io/seeed-projects/rk3588-deepseek-r1-distill-qwen:1.5b-fp16-latestTools installeren
bash
wget https://github.com/Seeed-Projects/reComputer-RK-LLM/raw/refs/heads/main/tools/llm_speed_test.pyOmgeving aanmaken
bash
python -m venv .env && source .enb/bin/activate
pip install -r requestsSnelheid testen
bash
python llm_speed_test.py