CV / STARK

STARK-Lightning

reComputer R Series (CM5 + Hailo-8)

Suivi d’un seul objet avec STARK-Lightning sur reComputer R Series avec Hailo-8.

3 téléchargements
Taille
4.2 MB
Mémoire
4GB+
Précision
Hailo HEF

Choisissez l'appareil que vous utilisez. Le guide de configuration et la documentation seront mis à jour en conséquence.

Pour commencer

Déployer
sudo docker run --rm \
  --name cm5-hailo-stark-lightning \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latest

API REST

Utilisez l'API REST pour exécuter l'inférence. Copiez les commandes ci-dessous.

Curl
curl http://localhost:8080/v1/chat/completions -d '{
  "model": "stark-lightning",
  "messages": [{"role": "user", "content": "Hello"}]
}'
Python
import requests

resp = requests.post(
    "http://localhost:8080/v1/chat/completions",
    json={"model": "stark-lightning", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())

Tests de performance officiels

Ces chiffres proviennent des tests officiels de Rockchip. Les performances dans votre application peuvent varier.

stark_lightning_repvgg_a0

reComputer R Series (CM5 + Hailo-8) · 320x320 · Hailo HEF

Float Success-plot AUC
56.9
Hardware Success-plot AUC
55.2
FPS (batch 1)
1074
Parameters (M)
4.62
Operations (G)
3.48

Détails du modèle

Suivi d’un seul objet avec STARK-Lightning sur reComputer R Series (CM5 + Hailo-8)

STARK-Lightning suit une seule cible dans une vidéo sur reComputer R Series avec CM5 et Hailo-8. Le HEF officiel Hailo-8 reçoit un recadrage de modèle 128×128 et un recadrage de recherche 320×320. L’application initialise le modèle à partir de la boîte sélectionnée sur la première image et met à jour la boîte à chaque image suivante.

Matériel et préparation de l’hôte

ÉlémentValeur
CartereComputer R Series avec Raspberry Pi CM5
AccélérateurHailo-8 M.2 en PCIe, /dev/hailo0
OSRaspberry Pi OS Bookworm, aarch64
Pilote hôtepaquet apt hailo-all
HailoRT4.23.x ; pilote, firmware, bibliothèque native et wheel doivent partager le même major.minor
bash
sudo apt update
sudo apt install hailo-all
sudo reboot

# Après le redémarrage
hailortcli fw-control identify
ls /dev/hailo0

# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start docker

Exécuter avec Docker

Construisez l’image depuis le répertoire du module :

bash
cd src/rpi5_hailo8_stark_lightning_repvgg_a0
sudo docker build -f ../../docker/hailo8/stark_lightning_repvgg_a0.dockerfile \
  -t rpi5-hailo8-stark:latest .

Lancez la WebUI :

bash
sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latest

Ouvrez http://<BOARD_IP>:8000, envoyez une vidéo, tracez une boîte autour de la cible sur la première image et cliquez sur Run tracking.

Modèle et pipeline de suivi

ÉlémentValeur
HEFstark_lightning_repvgg_a0.hef, 4 425 622 B, Model Zoo v2.20.0
SHA256 du HEF7319ef5e0016e85510a71a86e8231a1fb0558a6475fa041e08919cc960c03299
Entrée modèle128×128×3 RVB
Entrée recherche320×320×3 RVB
Sortie4 coordonnées xyxy normalisées dans le recadrage de recherche
Paramètres / opérations4,62M / 3,48G

La première image recadre une région carrée de 2x la surface de la cible autour de la boîte sélectionnée et la redimensionne en 128×128. Chaque image suivante recadre une région de recherche de 5x autour du centre de la boîte précédente, la redimensionne en 320×320 et exécute les deux entrées dans le HEF. Les deux cartes de chaleur de coins 20×20 sont décodées par un softmax par canal et un soft-argmax sur la grille 320×320 ; les 4 valeurs obtenues sont mises à l’échelle par le rapport du recadrage de recherche, décalées par la position du recadrage et limitées à l’image.

Le HEF applique la normalisation dans le réseau (moyenne [123.675, 116.28, 103.53], écart-type [58.395, 57.12, 57.375], ordre RVB), donc l’application envoie les pixels RVB bruts en float32.

API HTTP

  • POST /api/video/upload — envoyer une vidéo.
  • GET /api/video/first_frame?filename=... — JPEG de la première image.
  • POST /api/video/analyze — démarrer le suivi avec filename, x, y, w, h.
  • POST /api/video/analyze/stop — demander l’annulation.
  • GET /api/video/status — progression et nom de sortie.
  • GET /api/video/download/{filename} — télécharger le MP4 annoté.
bash
curl -X POST "http://<BOARD_IP>:8000/api/video/analyze" \
  -F "filename=demo.mp4" -F "x=420" -F "y=180" -F "w=160" -F "h=240"

Performances et état de validation

Résultats officiels Hailo-8 sur LaSOT : 56,9 Success-plot AUC en précision complète et 55,2 sur matériel, avec 1074 FPS en batch size 1. Ce sont des chiffres du Model Zoo, pas des mesures de ce pipeline WebUI.

Les vérifications statiques, les tests synthétiques de recadrage/remappage et le test de shape passent. Le chargement sur carte, la disposition des entrées/ sorties et la précision réelle de suivi restent à faire ; voir le TEST_REPORT.md du module. Ne présentez pas cette page comme validée sur matériel avant la fin de ces vérifications.

Limites

  • La boîte de la cible doit être sélectionnée sur la première image ; il n’y a ni réinitialisation ni suivi multi-objets.
  • Le suivi est hors ligne sur une vidéo envoyée ; il n’y a pas d’aperçu caméra en direct.
  • Le module n’a pas été exécuté sur du matériel Hailo-8 réel.
  • Le service web est destiné à un LAN de confiance et n’inclut pas d’authentification ni de TLS par défaut.
  • Les vidéos de sortie n’ont pas d’audio ; les dimensions impaires peuvent être recadrées pour l’encodage.

Entrées et sorties

Entrée : une vidéo et une boîte de cible sur la première image. Sortie : une boîte suivie (x, y, w, h) par image et un MP4 annoté.