Herramienta de prueba de velocidad
Pruebas de rendimiento para modelos LLM.
Este documento describe cómo usar la herramienta de prueba de velocidad para medir la velocidad de modelos de lenguaje grandes.
Instalar Docker
bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh Ejecutar en reComputer RK3576
bash
sudo docker run -it \
--privileged \
--net=host \
--device /dev/dri \
--device /dev/dma_heap \
--device /dev/rknpu \
--device /dev/mali0 \
-v /dev:/dev \
ghcr.io/seeed-projects/rk3576-deepseek-r1-distill-qwen:1.5b-fp16-latestEjecutar en reComputer RK3588
bash
sudo docker run -it \
--privileged \
--net=host \
--device /dev/dri \
--device /dev/dma_heap \
--device /dev/rknpu \
--device /dev/mali0 \
-v /dev:/dev \
ghcr.io/seeed-projects/rk3588-deepseek-r1-distill-qwen:1.5b-fp16-latestInstalar las herramientas
bash
wget https://github.com/Seeed-Projects/reComputer-RK-LLM/raw/refs/heads/main/tools/llm_speed_test.pyCrear el entorno
bash
python -m venv .env && source .enb/bin/activate
pip install -r requestsProbar la velocidad
bash
python llm_speed_test.py