CV / STARK
STARK-Lightning
reComputer R Series (CM5 + Hailo-8)
Tracking van één object met STARK-Lightning op reComputer R Series met Hailo-8.
Kies het apparaat dat je gebruikt. De installatiehandleiding en documentatie worden dienovereenkomstig bijgewerkt.
Aan de slag
sudo docker run --rm \
--name cm5-hailo-stark-lightning \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latestREST API
Gebruik de REST API om inferentie uit te voeren. Kopieer de onderstaande commando's.
curl http://localhost:8080/v1/chat/completions -d '{
"model": "stark-lightning",
"messages": [{"role": "user", "content": "Hello"}]
}'import requests
resp = requests.post(
"http://localhost:8080/v1/chat/completions",
json={"model": "stark-lightning", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())Officiële benchmarks
Deze cijfers komen uit de officiële benchmarks van Rockchip. De prestaties in je toepassing kunnen afwijken.
stark_lightning_repvgg_a0
reComputer R Series (CM5 + Hailo-8) · 320x320 · Hailo HEF
- Float Success-plot AUC
- 56.9
- Hardware Success-plot AUC
- 55.2
- FPS (batch 1)
- 1074
- Parameters (M)
- 4.62
- Operations (G)
- 3.48
Modeldetails
STARK-Lightning single-object tracking op reComputer R Series (CM5 + Hailo-8)
STARK-Lightning volgt één doel in een video op reComputer R Series met CM5 en Hailo-8. De officiële Hailo-8 HEF ontvangt een 128×128 template-crop en een 320×320 search-crop. De applicatie initialiseert het template uit de box die in het eerste frame is geselecteerd en werkt de box in elk volgend frame bij.
Hardware en hostvoorbereiding
| Item | Waarde |
|---|---|
| Board | reComputer R Series met Raspberry Pi CM5 |
| Accelerator | Hailo-8 M.2 via PCIe, /dev/hailo0 |
| OS | Raspberry Pi OS Bookworm, aarch64 |
| Hoststuurprogramma | apt-pakket hailo-all |
| HailoRT | 4.23.x; stuurprogramma, firmware, native bibliotheek en wheel moeten dezelfde major.minor hebben |
sudo apt update
sudo apt install hailo-all
sudo reboot
# Na de herstart
hailortcli fw-control identify
ls /dev/hailo0
# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start dockerUitvoeren met Docker
Bouw de image vanuit de modulemap:
cd src/rpi5_hailo8_stark_lightning_repvgg_a0
sudo docker build -f ../../docker/hailo8/stark_lightning_repvgg_a0.dockerfile \
-t rpi5-hailo8-stark:latest .Start de WebUI:
sudo docker run --rm --privileged --net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latestOpen http://<BOARD_IP>:8000, upload een video, sleep een box rond het doel in
het eerste frame en klik op Run tracking.
Model en trackingpipeline
| Item | Waarde |
|---|---|
| HEF | stark_lightning_repvgg_a0.hef, 4.425.622 B, Model Zoo v2.20.0 |
| HEF-SHA256 | 7319ef5e0016e85510a71a86e8231a1fb0558a6475fa041e08919cc960c03299 |
| Template-invoer | 128×128×3 RGB |
| Search-invoer | 320×320×3 RGB |
| Uitvoer | 4 genormaliseerde xyxy-coördinaten in de search-crop |
| Parameters / bewerkingen | 4,62M / 3,48G |
Het eerste frame cropt een vierkant gebied van 2x het doeloppervlak rond de
geselecteerde box en schaalt het naar 128×128. Elk volgend frame cropt een
5x-zoekgebied rond het midden van de vorige box, schaalt het naar 320×320 en
voert beide invoeren uit in de HEF. De twee 20×20 hoekpunt-heatmaps worden gedecodeerd met een softmax per kanaal en een soft-argmax op het 320×320-raster; de 4 waarden worden daarna geschaald met de search-cropverhouding, verschoven met de croppositie en binnen het beeld geklemd.
De HEF normaliseert in het netwerk (gemiddelde [123.675, 116.28, 103.53],
standaardafwijking [58.395, 57.12, 57.375], RGB-volgorde), dus de applicatie
levert ruwe RGB-pixels als float32.
HTTP-API
POST /api/video/upload— een video uploaden.GET /api/video/first_frame?filename=...— JPEG van het eerste frame.POST /api/video/analyze— tracking starten metfilename,x,y,w,h.POST /api/video/analyze/stop— annulering aanvragen.GET /api/video/status— voortgang en uitvoernaam.GET /api/video/download/{filename}— de geannoteerde MP4 downloaden.
curl -X POST "http://<BOARD_IP>:8000/api/video/analyze" \
-F "filename=demo.mp4" -F "x=420" -F "y=180" -F "w=160" -F "h=240"Prestaties en validatiestatus
Officiële Hailo-8-resultaten op LaSOT: 56,9 Success-plot AUC bij volledige precisie en 55,2 op hardware, met 1074 FPS bij batch size 1. Dit zijn Model Zoo-cijfers, geen metingen van deze WebUI-pipeline.
Statische controles, synthetische crop-/mappingtests en de shapetest slagen.
Laden op het board, invoer-/uitvoerlayout en echte trackingnauwkeurigheid staan
nog open; zie de TEST_REPORT.md van de module. Presenteer deze pagina pas als
hardwaregevalideerd nadat die controles zijn afgerond.
Beperkingen
- De doelbox moet in het eerste frame worden geselecteerd; er is geen herinitialisatie of multi-objecttracking.
- Tracking werkt offline op geüploade video; er is geen live cameravoorbeeld.
- De module is hier niet op echte Hailo-8-hardware uitgevoerd.
- De webservice is bedoeld voor een vertrouwd LAN en heeft standaard geen authenticatie of TLS.
- Uitvoervideo's hebben geen audio; oneven afmetingen kunnen voor de codering worden bijgesneden.
Invoer en uitvoer
Invoer: een video en één doelbox in het eerste frame. Uitvoer: een gevolgde box (x, y, w, h) per frame en een geannoteerde MP4.