NanoDet-RepVGG

NanoDet-RepVGG sur reComputer R Series (CM5 + Hailo-8)

NanoDet-RepVGG détecte les objets des 80 classes COCO sur Hailo-8 via HailoRT. La NMS s'exécute sur puce (Hailo HPP, meta_arch=yolov8) ; l'hôte analyse uniquement le tenseur après NMS. C'est la première variante de la famille nanodet (nanodet_repvgg / nanodet_repvgg_a12 / nanodet_repvgg_a1_640).

Cette page concerne reComputer R Series (CM5 + Hailo-8) équipé d'un accélérateur Hailo-8 PCIe.

Informations du modèle

La précision est une valeur de référence de Hailo Model Zoo, pas une mesure effectuée sur CM5.

Configuration du matériel et de l’hôte

Installez les paquets Hailo-8 sur l'hôte et vérifiez que le pilote et le périphérique sont prêts avant de démarrer le conteneur :

sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot

# After reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

La version HailoRT attendue pour cette image est 4.23.x.

Exécution avec la vidéo de démonstration

sudo docker run --rm \
  --name cm5-hailo8-nanodet-repvgg \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg:latest \
  python web_detection.py --model_path model/nanodet_repvgg.hef --video_path video/test.mp4

Ouvrez http://<Board_IP>:8000 pour afficher l'aperçu web.

Mode caméra USB

sudo docker run --rm \
  --name cm5-hailo8-nanodet-repvgg \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg:latest \
  python web_detection.py --model_path model/nanodet_repvgg.hef --camera_id 0

API REST

Point d'accès de prédiction :

POST http://<Board_IP>:8000/api/models/nanodet_repvgg/predict

Exemple de requête avec une image :

curl -X POST "http://<Board_IP>:8000/api/models/nanodet_repvgg/predict" \
  -F "file=@test.jpg"

Notes d’implémentation

• Le HEF exécute la NMS sur puce (device_pre_post_layers: nms=true, hpp=true, meta_arch=yolov8) ; l'application analyse uniquement le tenseur après NMS (selon le tf_postproc_nms officiel) et ignore donc nms_thresh (compatibilité de l'API uniquement).
• Les lignes après NMS sont [ymin, xmin, ymax, xmax, score], normalisées dans [0,1] par rapport à l'entrée 416x416 avec letterbox ; l'application convertit en pixels et annule le letterbox.
• normalize_in_net (ImageNet RGB mean/std) + input_conversion(bgr_to_rgb) sur puce : l'application applique un letterbox noir (0) et fournit des pixels BGR uint8 bruts, sans normalisation manuelle ni cvtColor (le HEF convertit BGR→RGB en interne).
• HailoRT renvoie le vstream NMS sous forme de listes de longueur variable par classe (NMS-by-score) ; l'analyseur gère aussi les formats object/dense. La première inférence journalise le type et la forme bruts pour vérification sur le matériel.
• Correspondance des classes : cls_id (0..79) → directement la liste standard des 80 classes COCO (meta_arch=yolov8, indices à partir de 0, sans labels_offset ni trous). Si les étiquettes semblent décalées, les redéduire du journal de la première inférence.
• Valeurs par défaut : confiance 0.25, IOU 0.45 (sans effet car la NMS est sur puce). L'évaluation Model Zoo utilise 0.05 / 0.6 ; abaissez le curseur de confiance pour voir davantage de résultats.

Notes de développement

• Module source : src/rpi5_hailo8_nanodet_repvgg/
• Dockerfile : docker/hailo8/nanodet_repvgg.dockerfile
• Conteneur : ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg:latest
• Le module utilise l'API VStreams de HailoRT 4.23 et un HEF propre à Hailo-8.
• Famille : nanodet (variantes nanodet_repvgg / nanodet_repvgg_a12 / nanodet_repvgg_a1_640 prévue) ; il s'agit de la compilation nanodet_repvgg.