CV / STARK
STARK-Lightning
reComputer R Series (CM5 + Hailo-8)
Suivi d’un seul objet avec STARK-Lightning sur reComputer R Series avec Hailo-8.
Choisissez l'appareil que vous utilisez. Le guide de configuration et la documentation seront mis à jour en conséquence.
Pour commencer
sudo docker run --rm \
--name cm5-hailo-stark-lightning \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latestAPI REST
Utilisez l'API REST pour exécuter l'inférence. Copiez les commandes ci-dessous.
curl http://localhost:8080/v1/chat/completions -d '{
"model": "stark-lightning",
"messages": [{"role": "user", "content": "Hello"}]
}'import requests
resp = requests.post(
"http://localhost:8080/v1/chat/completions",
json={"model": "stark-lightning", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())Tests de performance officiels
Ces chiffres proviennent des tests officiels de Rockchip. Les performances dans votre application peuvent varier.
stark_lightning_repvgg_a0
reComputer R Series (CM5 + Hailo-8) · 320x320 · Hailo HEF
- Float Success-plot AUC
- 56.9
- Hardware Success-plot AUC
- 55.2
- FPS (batch 1)
- 1074
- Parameters (M)
- 4.62
- Operations (G)
- 3.48
Détails du modèle
Suivi d’un seul objet avec STARK-Lightning sur reComputer R Series (CM5 + Hailo-8)
STARK-Lightning suit une seule cible dans une vidéo sur reComputer R Series avec CM5 et Hailo-8. Le HEF officiel Hailo-8 reçoit un recadrage de modèle 128×128 et un recadrage de recherche 320×320. L’application initialise le modèle à partir de la boîte sélectionnée sur la première image et met à jour la boîte à chaque image suivante.
Matériel et préparation de l’hôte
| Élément | Valeur |
|---|---|
| Carte | reComputer R Series avec Raspberry Pi CM5 |
| Accélérateur | Hailo-8 M.2 en PCIe, /dev/hailo0 |
| OS | Raspberry Pi OS Bookworm, aarch64 |
| Pilote hôte | paquet apt hailo-all |
| HailoRT | 4.23.x ; pilote, firmware, bibliothèque native et wheel doivent partager le même major.minor |
sudo apt update
sudo apt install hailo-all
sudo reboot
# Après le redémarrage
hailortcli fw-control identify
ls /dev/hailo0
# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start dockerExécuter avec Docker
Construisez l’image depuis le répertoire du module :
cd src/rpi5_hailo8_stark_lightning_repvgg_a0
sudo docker build -f ../../docker/hailo8/stark_lightning_repvgg_a0.dockerfile \
-t rpi5-hailo8-stark:latest .Lancez la WebUI :
sudo docker run --rm --privileged --net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latestOuvrez http://<BOARD_IP>:8000, envoyez une vidéo, tracez une boîte autour de
la cible sur la première image et cliquez sur Run tracking.
Modèle et pipeline de suivi
| Élément | Valeur |
|---|---|
| HEF | stark_lightning_repvgg_a0.hef, 4 425 622 B, Model Zoo v2.20.0 |
| SHA256 du HEF | 7319ef5e0016e85510a71a86e8231a1fb0558a6475fa041e08919cc960c03299 |
| Entrée modèle | 128×128×3 RVB |
| Entrée recherche | 320×320×3 RVB |
| Sortie | 4 coordonnées xyxy normalisées dans le recadrage de recherche |
| Paramètres / opérations | 4,62M / 3,48G |
La première image recadre une région carrée de 2x la surface de la cible autour
de la boîte sélectionnée et la redimensionne en 128×128. Chaque image suivante
recadre une région de recherche de 5x autour du centre de la boîte précédente,
la redimensionne en 320×320 et exécute les deux entrées dans le HEF. Les deux cartes de chaleur de coins 20×20 sont décodées par un softmax par canal et un soft-argmax sur la grille 320×320 ; les 4 valeurs obtenues sont mises à l’échelle par le rapport du recadrage de recherche, décalées par la position du recadrage et limitées à l’image.
Le HEF applique la normalisation dans le réseau (moyenne
[123.675, 116.28, 103.53], écart-type [58.395, 57.12, 57.375], ordre RVB),
donc l’application envoie les pixels RVB bruts en float32.
API HTTP
POST /api/video/upload— envoyer une vidéo.GET /api/video/first_frame?filename=...— JPEG de la première image.POST /api/video/analyze— démarrer le suivi avecfilename,x,y,w,h.POST /api/video/analyze/stop— demander l’annulation.GET /api/video/status— progression et nom de sortie.GET /api/video/download/{filename}— télécharger le MP4 annoté.
curl -X POST "http://<BOARD_IP>:8000/api/video/analyze" \
-F "filename=demo.mp4" -F "x=420" -F "y=180" -F "w=160" -F "h=240"Performances et état de validation
Résultats officiels Hailo-8 sur LaSOT : 56,9 Success-plot AUC en précision complète et 55,2 sur matériel, avec 1074 FPS en batch size 1. Ce sont des chiffres du Model Zoo, pas des mesures de ce pipeline WebUI.
Les vérifications statiques, les tests synthétiques de recadrage/remappage et le
test de shape passent. Le chargement sur carte, la disposition des entrées/
sorties et la précision réelle de suivi restent à faire ; voir le
TEST_REPORT.md du module. Ne présentez pas cette page comme validée sur
matériel avant la fin de ces vérifications.
Limites
- La boîte de la cible doit être sélectionnée sur la première image ; il n’y a ni réinitialisation ni suivi multi-objets.
- Le suivi est hors ligne sur une vidéo envoyée ; il n’y a pas d’aperçu caméra en direct.
- Le module n’a pas été exécuté sur du matériel Hailo-8 réel.
- Le service web est destiné à un LAN de confiance et n’inclut pas d’authentification ni de TLS par défaut.
- Les vidéos de sortie n’ont pas d’audio ; les dimensions impaires peuvent être recadrées pour l’encodage.
Entrées et sorties
Entrée : une vidéo et une boîte de cible sur la première image. Sortie : une boîte suivie (x, y, w, h) par image et un MP4 annoté.