Outil de test de vitesse

Tests de performance pour les modèles LLM.


Ce document explique comment utiliser l'outil de test de vitesse pour mesurer la vitesse des grands modèles de langage.

Installer Docker

bash
curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh 

Exécuter sur reComputer RK3576

bash
sudo docker run -it  \
        --privileged \
        --net=host \
        --device /dev/dri \
        --device /dev/dma_heap \
        --device /dev/rknpu \  
        --device /dev/mali0 \
        -v /dev:/dev \
        ghcr.io/seeed-projects/rk3576-deepseek-r1-distill-qwen:1.5b-fp16-latest

Exécuter sur reComputer RK3588

bash
sudo docker run -it  \
        --privileged \
        --net=host \
        --device /dev/dri \
        --device /dev/dma_heap \
        --device /dev/rknpu \  
        --device /dev/mali0 \
        -v /dev:/dev \
        ghcr.io/seeed-projects/rk3588-deepseek-r1-distill-qwen:1.5b-fp16-latest

Installer les outils

bash
wget https://github.com/Seeed-Projects/reComputer-RK-LLM/raw/refs/heads/main/tools/llm_speed_test.py

Créer l'environnement

bash
python -m venv .env && source .enb/bin/activate
pip install -r requests

Tester la vitesse

bash
python llm_speed_test.py