CV / STARK

STARK-Lightning

reComputer R Series (CM5 + Hailo-8)

Tracking van één object met STARK-Lightning op reComputer R Series met Hailo-8.

3 downloads
Grootte
4.2 MB
Geheugen
4GB+
Precisie
Hailo HEF

Kies het apparaat dat je gebruikt. De installatiehandleiding en documentatie worden dienovereenkomstig bijgewerkt.

Aan de slag

Implementeren
sudo docker run --rm \
  --name cm5-hailo-stark-lightning \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latest

REST API

Gebruik de REST API om inferentie uit te voeren. Kopieer de onderstaande commando's.

Curl
curl http://localhost:8080/v1/chat/completions -d '{
  "model": "stark-lightning",
  "messages": [{"role": "user", "content": "Hello"}]
}'
Python
import requests

resp = requests.post(
    "http://localhost:8080/v1/chat/completions",
    json={"model": "stark-lightning", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())

Officiële benchmarks

Deze cijfers komen uit de officiële benchmarks van Rockchip. De prestaties in je toepassing kunnen afwijken.

stark_lightning_repvgg_a0

reComputer R Series (CM5 + Hailo-8) · 320x320 · Hailo HEF

Float Success-plot AUC
56.9
Hardware Success-plot AUC
55.2
FPS (batch 1)
1074
Parameters (M)
4.62
Operations (G)
3.48

Modeldetails

STARK-Lightning single-object tracking op reComputer R Series (CM5 + Hailo-8)

STARK-Lightning volgt één doel in een video op reComputer R Series met CM5 en Hailo-8. De officiële Hailo-8 HEF ontvangt een 128×128 template-crop en een 320×320 search-crop. De applicatie initialiseert het template uit de box die in het eerste frame is geselecteerd en werkt de box in elk volgend frame bij.

Hardware en hostvoorbereiding

ItemWaarde
BoardreComputer R Series met Raspberry Pi CM5
AcceleratorHailo-8 M.2 via PCIe, /dev/hailo0
OSRaspberry Pi OS Bookworm, aarch64
Hoststuurprogrammaapt-pakket hailo-all
HailoRT4.23.x; stuurprogramma, firmware, native bibliotheek en wheel moeten dezelfde major.minor hebben
bash
sudo apt update
sudo apt install hailo-all
sudo reboot

# Na de herstart
hailortcli fw-control identify
ls /dev/hailo0

# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start docker

Uitvoeren met Docker

Bouw de image vanuit de modulemap:

bash
cd src/rpi5_hailo8_stark_lightning_repvgg_a0
sudo docker build -f ../../docker/hailo8/stark_lightning_repvgg_a0.dockerfile \
  -t rpi5-hailo8-stark:latest .

Start de WebUI:

bash
sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latest

Open http://<BOARD_IP>:8000, upload een video, sleep een box rond het doel in het eerste frame en klik op Run tracking.

Model en trackingpipeline

ItemWaarde
HEFstark_lightning_repvgg_a0.hef, 4.425.622 B, Model Zoo v2.20.0
HEF-SHA2567319ef5e0016e85510a71a86e8231a1fb0558a6475fa041e08919cc960c03299
Template-invoer128×128×3 RGB
Search-invoer320×320×3 RGB
Uitvoer4 genormaliseerde xyxy-coördinaten in de search-crop
Parameters / bewerkingen4,62M / 3,48G

Het eerste frame cropt een vierkant gebied van 2x het doeloppervlak rond de geselecteerde box en schaalt het naar 128×128. Elk volgend frame cropt een 5x-zoekgebied rond het midden van de vorige box, schaalt het naar 320×320 en voert beide invoeren uit in de HEF. De twee 20×20 hoekpunt-heatmaps worden gedecodeerd met een softmax per kanaal en een soft-argmax op het 320×320-raster; de 4 waarden worden daarna geschaald met de search-cropverhouding, verschoven met de croppositie en binnen het beeld geklemd.

De HEF normaliseert in het netwerk (gemiddelde [123.675, 116.28, 103.53], standaardafwijking [58.395, 57.12, 57.375], RGB-volgorde), dus de applicatie levert ruwe RGB-pixels als float32.

HTTP-API

  • POST /api/video/upload — een video uploaden.
  • GET /api/video/first_frame?filename=... — JPEG van het eerste frame.
  • POST /api/video/analyze — tracking starten met filename, x, y, w, h.
  • POST /api/video/analyze/stop — annulering aanvragen.
  • GET /api/video/status — voortgang en uitvoernaam.
  • GET /api/video/download/{filename} — de geannoteerde MP4 downloaden.
bash
curl -X POST "http://<BOARD_IP>:8000/api/video/analyze" \
  -F "filename=demo.mp4" -F "x=420" -F "y=180" -F "w=160" -F "h=240"

Prestaties en validatiestatus

Officiële Hailo-8-resultaten op LaSOT: 56,9 Success-plot AUC bij volledige precisie en 55,2 op hardware, met 1074 FPS bij batch size 1. Dit zijn Model Zoo-cijfers, geen metingen van deze WebUI-pipeline.

Statische controles, synthetische crop-/mappingtests en de shapetest slagen. Laden op het board, invoer-/uitvoerlayout en echte trackingnauwkeurigheid staan nog open; zie de TEST_REPORT.md van de module. Presenteer deze pagina pas als hardwaregevalideerd nadat die controles zijn afgerond.

Beperkingen

  • De doelbox moet in het eerste frame worden geselecteerd; er is geen herinitialisatie of multi-objecttracking.
  • Tracking werkt offline op geüploade video; er is geen live cameravoorbeeld.
  • De module is hier niet op echte Hailo-8-hardware uitgevoerd.
  • De webservice is bedoeld voor een vertrouwd LAN en heeft standaard geen authenticatie of TLS.
  • Uitvoervideo's hebben geen audio; oneven afmetingen kunnen voor de codering worden bijgesneden.

Invoer en uitvoer

Invoer: een video en één doelbox in het eerste frame. Uitvoer: een gevolgde box (x, y, w, h) per frame en een geannoteerde MP4.