CV / STARK
STARK-Lightning
reComputer R Series (CM5 + Hailo-8)
Einzelobjektverfolgung mit STARK-Lightning auf reComputer R Series mit Hailo-8.
Wähle das Gerät, das du verwendest. Die Einrichtungsanleitung und Dokumentation werden entsprechend aktualisiert.
Erste Schritte
sudo docker run --rm \
--name cm5-hailo-stark-lightning \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latestREST API
Verwende die REST API für die Inferenz. Kopiere die folgenden Befehle.
curl http://localhost:8080/v1/chat/completions -d '{
"model": "stark-lightning",
"messages": [{"role": "user", "content": "Hello"}]
}'import requests
resp = requests.post(
"http://localhost:8080/v1/chat/completions",
json={"model": "stark-lightning", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())Offizielle Benchmarks
Diese Werte stammen aus den offiziellen Benchmarks von Rockchip. Die Leistung in Ihrer Anwendung kann abweichen.
stark_lightning_repvgg_a0
reComputer R Series (CM5 + Hailo-8) · 320x320 · Hailo HEF
- Float Success-plot AUC
- 56.9
- Hardware Success-plot AUC
- 55.2
- FPS (batch 1)
- 1074
- Parameters (M)
- 4.62
- Operations (G)
- 3.48
Modelldetails
STARK-Lightning-Einzelobjektverfolgung auf reComputer R Series (CM5 + Hailo-8)
STARK-Lightning verfolgt ein einzelnes Ziel in einem Video auf reComputer R Series mit CM5 und Hailo-8. Das offizielle Hailo-8-HEF erhält einen 128×128-Template-Crop und einen 320×320-Search-Crop. Die Anwendung initialisiert das Template aus der im ersten Frame gewählten Box und aktualisiert die Box in jedem weiteren Frame.
Hardware und Host-Vorbereitung
| Element | Wert |
|---|---|
| Platine | reComputer R Series mit Raspberry Pi CM5 |
| Beschleuniger | Hailo-8 M.2 über PCIe, /dev/hailo0 |
| OS | Raspberry Pi OS Bookworm, aarch64 |
| Host-Treiber | apt-Paket hailo-all |
| HailoRT | 4.23.x; Treiber, Firmware, native Bibliothek und Wheel müssen dieselbe Haupt-/Nebenversion haben |
sudo apt update
sudo apt install hailo-all
sudo reboot
# Nach dem Neustart
hailortcli fw-control identify
ls /dev/hailo0
# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start dockerMit Docker ausführen
Bauen Sie das Image im Modulverzeichnis:
cd src/rpi5_hailo8_stark_lightning_repvgg_a0
sudo docker build -f ../../docker/hailo8/stark_lightning_repvgg_a0.dockerfile \
-t rpi5-hailo8-stark:latest .Starten Sie die WebUI:
sudo docker run --rm --privileged --net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latestÖffnen Sie http://<BOARD_IP>:8000, laden Sie ein Video hoch, ziehen Sie im
ersten Frame eine Box um das Ziel und klicken Sie auf Run tracking.
Modell und Tracking-Pipeline
| Element | Wert |
|---|---|
| HEF | stark_lightning_repvgg_a0.hef, 4.425.622 B, Model Zoo v2.20.0 |
| HEF-SHA256 | 7319ef5e0016e85510a71a86e8231a1fb0558a6475fa041e08919cc960c03299 |
| Template-Eingabe | 128×128×3 RGB |
| Search-Eingabe | 320×320×3 RGB |
| Ausgabe | 4 normalisierte xyxy-Koordinaten im Search-Crop |
| Parameter / Operationen | 4,62M / 3,48G |
Der erste Frame schneidet eine quadratische Region der 2x-Zielfläche um die
gewählte Box aus und skaliert sie auf 128×128. Jeder weitere Frame schneidet
eine 5x-Suchregion um den Mittelpunkt der vorherigen Box aus, skaliert sie auf
320×320 und führt beide Eingaben im HEF aus. Die beiden 20×20-Eckpunkt-Heatmaps werden mit einem Softmax pro Kanal und einem Soft-argmax auf dem 320×320-Raster dekodiert; die 4 Werte werden dann mit dem Search-Crop-Verhältnis skaliert, um die Crop-Position verschoben und auf das Bild begrenzt.
Das HEF normalisiert im Netz (Mittelwert [123.675, 116.28, 103.53],
Standardabweichung [58.395, 57.12, 57.375], RGB-Reihenfolge), daher liefert die
Anwendung rohe RGB-Pixel als float32.
HTTP-API
POST /api/video/upload— Video hochladen.GET /api/video/first_frame?filename=...— JPEG des ersten Frames.POST /api/video/analyze— Tracking mitfilename,x,y,w,hstarten.POST /api/video/analyze/stop— Abbruch anfordern.GET /api/video/status— Fortschritt und Ausgabename.GET /api/video/download/{filename}— annotiertes MP4 herunterladen.
curl -X POST "http://<BOARD_IP>:8000/api/video/analyze" \
-F "filename=demo.mp4" -F "x=420" -F "y=180" -F "w=160" -F "h=240"Leistung und Validierungsstatus
Offizielle Hailo-8-Ergebnisse auf LaSOT: 56,9 Success-plot AUC in voller Präzision und 55,2 auf Hardware, mit 1074 FPS bei Batch Size 1. Das sind Model-Zoo-Werte, keine Messungen dieser WebUI-Pipeline.
Statische Prüfungen, synthetische Crop-/Mapping-Tests und der Shape-Test
bestehen. Laden auf der Platine, Ein-/Ausgabe-Layout und reale Tracking-Genauig-
keit stehen noch aus; siehe TEST_REPORT.md des Moduls. Stellen Sie diese Seite
erst nach Abschluss dieser Prüfungen als hardwarevalidiert dar.
Einschränkungen
- Die Zielbox muss im ersten Frame ausgewählt werden; es gibt keine Neuinitialisierung und kein Multi-Objekt-Tracking.
- Das Tracking läuft offline über hochgeladene Videos; es gibt keine Live-Kamera-Vorschau.
- Das Modul wurde hier nicht auf echter Hailo-8-Hardware ausgeführt.
- Der Webdienst ist für ein vertrauenswürdiges LAN gedacht und hat standardmäßig keine Authentifizierung und kein TLS.
- Ausgabevideos haben keinen Ton; ungerade Abmessungen können für die Kodierung beschnitten werden.
Eingaben und Ausgaben
Eingabe: ein Video und eine Zielbox im ersten Frame. Ausgabe: eine verfolgte Box (x, y, w, h) pro Frame und ein annotiertes MP4.