EfficientDet-Lite0 sur reComputer R Series (CM5 + Hailo-8)

EfficientDet-Lite0 effectue la détection d’objets sur 80 classes COCO avec Hailo-8 via HailoRT. La NMS et la sigmoid s’exécutent sur la puce (Hailo HPP), de sorte que l’hôte n’analyse que le tenseur post-NMS. Il s’agit de la variante Lite0 de la famille efficientdet.

Cette page concerne reComputer R Series (CM5 + Hailo-8) avec un accélérateur Hailo-8 connecté via PCIe.

Informations sur le modèle

La valeur de précision est la référence du Hailo Model Zoo. Il ne s’agit pas d’une mesure effectuée sur CM5.

Configuration matérielle et de l’hôte

Installez les packages Hailo-8 sur l’hôte et vérifiez que le pilote et le périphérique sont prêts avant de démarrer le conteneur :

sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot

# After reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

La version HailoRT attendue pour cette image est 4.23.x.

Exécution avec une vidéo de démonstration

sudo docker run --rm \
  --name cm5-hailo8-efficientdet-lite0 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/efficientdet_lite0:latest \
  python web_detection.py --model_path model/efficientdet_lite0.hef --video_path video/test.mp4

Ouvrez http://<Board_IP>:8000 pour afficher l’aperçu Web.

Mode caméra USB

sudo docker run --rm \
  --name cm5-hailo8-efficientdet-lite0 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/efficientdet_lite0:latest \
  python web_detection.py --model_path model/efficientdet_lite0.hef --camera_id 0

REST API

Endpoint de prédiction :

POST http://<Board_IP>:8000/api/models/efficientdet_lite0/predict

Exemple de requête d’image :

curl -X POST "http://<Board_IP>:8000/api/models/efficientdet_lite0/predict" \
  -F "file=@test.jpg"

Notes d’implémentation

• Le HEF exécute la NMS sur la puce (device_pre_post_layers: nms=true, sigmoid=true, hpp=true) ; l’application analyse uniquement le tenseur post-NMS (conformément au tf_postproc_nms officiel), donc nms_thresh est ignoré (uniquement pour la parité de l’API).
• Les lignes post-NMS sont au format [ymin, xmin, ymax, xmax, score], normalisées sur [0,1] par rapport à l’entrée 320x320 avec letterboxing ; l’application les convertit en pixels et annule le letterboxing.
• normalize_in_net avec mean=127/std=128 et padding_color=127 : l’application applique un letterboxing avec un remplissage gris (127) et fournit des pixels RGB uint8 bruts — aucune normalisation manuelle.
  • HailoRT peut renvoyer le vstream NMS sous forme de liste par classe (NMS-by-score), de tableau d’objets ou de tenseur dense float32 (1,89,5,100)/(1,89,100,5). L’analyseur gère les trois formats ; la première inférence journalise le type et la forme bruts afin de permettre leur vérification sur le matériel.
  • Mappage des classes : cls_id (0..88) → ID de catégorie COCO cls_id+1 (labels_offset=1) ; les 10 IDs COCO inutilisés sont indiqués comme « N/A » et ne sont pas dessinés. Si les labels semblent décalés, déduisez à nouveau le mappage à partir du journal de la première inférence.
  • Valeurs par défaut : confiance 0.25, IOU 0.45 (IOU n’a aucun effet — NMS sur la puce). L’évaluation du Model Zoo utilise 0.001 / 0.5 — réduisez le curseur de confiance pour examiner davantage de détections.

Notes de développement

• Module source : src/rpi5_hailo8_efficientdet_lite0/
• Dockerfile : docker/hailo8/efficientdet_lite0.dockerfile
• Conteneur : ghcr.io/seeed-projects/recomputer-hailo8-cv/efficientdet_lite0:latest
• Le module utilise l’API VStreams HailoRT 4.23 et un HEF spécifique à Hailo-8.
• Famille : efficientdet (variantes lite0 / lite1 / lite2 prévues) ; il s’agit du build lite0.