Herramienta de prueba de velocidad
Pruebas de rendimiento para modelos VLM.
Este documento describe cómo usar la herramienta de prueba de velocidad para medir la velocidad de modelos de lenguaje grandes.
Instalar Docker
bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh Ejecutar en reComputer RK3576
bash
sudo docker run -it --name --privileged \
--net=host \
--device /dev/dri \
--device /dev/dma_heap \
--device /dev/rknpu \
--device /dev/mali0 \
-v /dev:/dev \
ghcr.io/seeed-projects/rk3576-qwen2.5-vl:3b-w4a16-latestEjecutar en reComputer RK3588
bash
sudo docker run -it --name --privileged \
--net=host \
--device /dev/dri \
--device /dev/dma_heap \
--device /dev/rknpu \
--device /dev/mali0 \
-v /dev:/dev \
ghcr.io/seeed-projects/rk3588-qwen2.5-vl:3b-w8a8-latestInstalar las herramientas
bash
wget https://github.com/Seeed-Projects/reComputer-RK-LLM/raw/refs/heads/main/tools/vlm_speed_test.pyCrear el entorno
bash
python -m venv .env && source .enb/bin/activate
pip install requests numpyProbar la velocidad
bash
python vlm_speed_test.py