Herramienta de prueba de velocidad

Pruebas de rendimiento para modelos VLM.


Este documento describe cómo usar la herramienta de prueba de velocidad para medir la velocidad de modelos de lenguaje grandes.

Instalar Docker

bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh 

Ejecutar en reComputer RK3576

bash
    sudo docker run -it --name --privileged \
      --net=host \
      --device /dev/dri \
      --device /dev/dma_heap \
      --device /dev/rknpu \
      --device /dev/mali0 \
      -v /dev:/dev \
      ghcr.io/seeed-projects/rk3576-qwen2.5-vl:3b-w4a16-latest

Ejecutar en reComputer RK3588

bash
    sudo docker run -it --name --privileged \
      --net=host \
      --device /dev/dri \
      --device /dev/dma_heap \
      --device /dev/rknpu \
      --device /dev/mali0 \
      -v /dev:/dev \
      ghcr.io/seeed-projects/rk3588-qwen2.5-vl:3b-w8a8-latest

Instalar las herramientas

bash
wget https://github.com/Seeed-Projects/reComputer-RK-LLM/raw/refs/heads/main/tools/vlm_speed_test.py

Crear el entorno

bash
python -m venv .env && source .enb/bin/activate
pip install requests numpy

Probar la velocidad

bash
python vlm_speed_test.py