CV / STARK

STARK-Lightning

reComputer R Series (CM5 + Hailo-8)

Einzelobjektverfolgung mit STARK-Lightning auf reComputer R Series mit Hailo-8.

3 Downloads
Größe
4.2 MB
Speicher
4GB+
Präzision
Hailo HEF

Wähle das Gerät, das du verwendest. Die Einrichtungsanleitung und Dokumentation werden entsprechend aktualisiert.

Erste Schritte

Bereitstellen
sudo docker run --rm \
  --name cm5-hailo-stark-lightning \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latest

REST API

Verwende die REST API für die Inferenz. Kopiere die folgenden Befehle.

Curl
curl http://localhost:8080/v1/chat/completions -d '{
  "model": "stark-lightning",
  "messages": [{"role": "user", "content": "Hello"}]
}'
Python
import requests

resp = requests.post(
    "http://localhost:8080/v1/chat/completions",
    json={"model": "stark-lightning", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())

Offizielle Benchmarks

Diese Werte stammen aus den offiziellen Benchmarks von Rockchip. Die Leistung in Ihrer Anwendung kann abweichen.

stark_lightning_repvgg_a0

reComputer R Series (CM5 + Hailo-8) · 320x320 · Hailo HEF

Float Success-plot AUC
56.9
Hardware Success-plot AUC
55.2
FPS (batch 1)
1074
Parameters (M)
4.62
Operations (G)
3.48

Modelldetails

STARK-Lightning-Einzelobjektverfolgung auf reComputer R Series (CM5 + Hailo-8)

STARK-Lightning verfolgt ein einzelnes Ziel in einem Video auf reComputer R Series mit CM5 und Hailo-8. Das offizielle Hailo-8-HEF erhält einen 128×128-Template-Crop und einen 320×320-Search-Crop. Die Anwendung initialisiert das Template aus der im ersten Frame gewählten Box und aktualisiert die Box in jedem weiteren Frame.

Hardware und Host-Vorbereitung

ElementWert
PlatinereComputer R Series mit Raspberry Pi CM5
BeschleunigerHailo-8 M.2 über PCIe, /dev/hailo0
OSRaspberry Pi OS Bookworm, aarch64
Host-Treiberapt-Paket hailo-all
HailoRT4.23.x; Treiber, Firmware, native Bibliothek und Wheel müssen dieselbe Haupt-/Nebenversion haben
bash
sudo apt update
sudo apt install hailo-all
sudo reboot

# Nach dem Neustart
hailortcli fw-control identify
ls /dev/hailo0

# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start docker

Mit Docker ausführen

Bauen Sie das Image im Modulverzeichnis:

bash
cd src/rpi5_hailo8_stark_lightning_repvgg_a0
sudo docker build -f ../../docker/hailo8/stark_lightning_repvgg_a0.dockerfile \
  -t rpi5-hailo8-stark:latest .

Starten Sie die WebUI:

bash
sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latest

Öffnen Sie http://<BOARD_IP>:8000, laden Sie ein Video hoch, ziehen Sie im ersten Frame eine Box um das Ziel und klicken Sie auf Run tracking.

Modell und Tracking-Pipeline

ElementWert
HEFstark_lightning_repvgg_a0.hef, 4.425.622 B, Model Zoo v2.20.0
HEF-SHA2567319ef5e0016e85510a71a86e8231a1fb0558a6475fa041e08919cc960c03299
Template-Eingabe128×128×3 RGB
Search-Eingabe320×320×3 RGB
Ausgabe4 normalisierte xyxy-Koordinaten im Search-Crop
Parameter / Operationen4,62M / 3,48G

Der erste Frame schneidet eine quadratische Region der 2x-Zielfläche um die gewählte Box aus und skaliert sie auf 128×128. Jeder weitere Frame schneidet eine 5x-Suchregion um den Mittelpunkt der vorherigen Box aus, skaliert sie auf 320×320 und führt beide Eingaben im HEF aus. Die beiden 20×20-Eckpunkt-Heatmaps werden mit einem Softmax pro Kanal und einem Soft-argmax auf dem 320×320-Raster dekodiert; die 4 Werte werden dann mit dem Search-Crop-Verhältnis skaliert, um die Crop-Position verschoben und auf das Bild begrenzt.

Das HEF normalisiert im Netz (Mittelwert [123.675, 116.28, 103.53], Standardabweichung [58.395, 57.12, 57.375], RGB-Reihenfolge), daher liefert die Anwendung rohe RGB-Pixel als float32.

HTTP-API

  • POST /api/video/upload — Video hochladen.
  • GET /api/video/first_frame?filename=... — JPEG des ersten Frames.
  • POST /api/video/analyze — Tracking mit filename, x, y, w, h starten.
  • POST /api/video/analyze/stop — Abbruch anfordern.
  • GET /api/video/status — Fortschritt und Ausgabename.
  • GET /api/video/download/{filename} — annotiertes MP4 herunterladen.
bash
curl -X POST "http://<BOARD_IP>:8000/api/video/analyze" \
  -F "filename=demo.mp4" -F "x=420" -F "y=180" -F "w=160" -F "h=240"

Leistung und Validierungsstatus

Offizielle Hailo-8-Ergebnisse auf LaSOT: 56,9 Success-plot AUC in voller Präzision und 55,2 auf Hardware, mit 1074 FPS bei Batch Size 1. Das sind Model-Zoo-Werte, keine Messungen dieser WebUI-Pipeline.

Statische Prüfungen, synthetische Crop-/Mapping-Tests und der Shape-Test bestehen. Laden auf der Platine, Ein-/Ausgabe-Layout und reale Tracking-Genauig- keit stehen noch aus; siehe TEST_REPORT.md des Moduls. Stellen Sie diese Seite erst nach Abschluss dieser Prüfungen als hardwarevalidiert dar.

Einschränkungen

  • Die Zielbox muss im ersten Frame ausgewählt werden; es gibt keine Neuinitialisierung und kein Multi-Objekt-Tracking.
  • Das Tracking läuft offline über hochgeladene Videos; es gibt keine Live-Kamera-Vorschau.
  • Das Modul wurde hier nicht auf echter Hailo-8-Hardware ausgeführt.
  • Der Webdienst ist für ein vertrauenswürdiges LAN gedacht und hat standardmäßig keine Authentifizierung und kein TLS.
  • Ausgabevideos haben keinen Ton; ungerade Abmessungen können für die Kodierung beschnitten werden.

Eingaben und Ausgaben

Eingabe: ein Video und eine Zielbox im ersten Frame. Ausgabe: eine verfolgte Box (x, y, w, h) pro Frame und ein annotiertes MP4.