LLM-Geschwindigkeitstest

Dieses Dokument beschreibt, wie du das Geschwindigkeitstest-Tool verwendest, um die Geschwindigkeit großer Sprachmodelle zu messen.

#Docker installieren

bash

curl -fsSL https://get.docker.com -o get-docker.sh && sudo sh get-docker.sh

#Auf reComputer RK3576 ausführen

bash

    sudo docker run -it --name --privileged \
      --net=host \
      --device /dev/dri \
      --device /dev/dma_heap \
      --device /dev/rknpu \
      --device /dev/mali0 \
      -v /dev:/dev \
      ghcr.io/seeed-projects/rk3576-qwen2.5-vl:3b-w4a16-latest

#Auf reComputer RK3588 ausführen

bash

    sudo docker run -it --name --privileged \
      --net=host \
      --device /dev/dri \
      --device /dev/dma_heap \
      --device /dev/rknpu \
      --device /dev/mali0 \
      -v /dev:/dev \
      ghcr.io/seeed-projects/rk3588-qwen2.5-vl:3b-w8a8-latest

#Tools installieren

bash

wget https://github.com/Seeed-Projects/reComputer-RK-LLM/raw/refs/heads/main/tools/vlm_speed_test.py

#Umgebung erstellen

bash

python -m venv .env && source .enb/bin/activate
pip install requests numpy

#Geschwindigkeit testen

bash

python vlm_speed_test.py