Outil de test de vitesse

Tests de performance pour les modèles VLM.


Ce document explique comment utiliser l'outil de test de vitesse pour mesurer la vitesse des grands modèles de langage.

Installer Docker

bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh 

Exécuter sur reComputer RK3576

bash
    sudo docker run -it --name --privileged \
      --net=host \
      --device /dev/dri \
      --device /dev/dma_heap \
      --device /dev/rknpu \
      --device /dev/mali0 \
      -v /dev:/dev \
      ghcr.io/seeed-projects/rk3576-qwen2.5-vl:3b-w4a16-latest

Exécuter sur reComputer RK3588

bash
    sudo docker run -it --name --privileged \
      --net=host \
      --device /dev/dri \
      --device /dev/dma_heap \
      --device /dev/rknpu \
      --device /dev/mali0 \
      -v /dev:/dev \
      ghcr.io/seeed-projects/rk3588-qwen2.5-vl:3b-w8a8-latest

Installer les outils

bash
wget https://github.com/Seeed-Projects/reComputer-RK-LLM/raw/refs/heads/main/tools/vlm_speed_test.py

Créer l'environnement

bash
python -m venv .env && source .enb/bin/activate
pip install requests numpy

Tester la vitesse

bash
python vlm_speed_test.py