YOLOv11-obb on reComputer R Series (CM5 + Hailo-10H)

YOLOv11n / YOLOv11s / YOLOv11m / YOLOv11x-OBB effectuent la détection d'objets orientés (boîtes orientées, DOTA v1, 15 classes) sur Hailo-10H via HailoRT. Le HEF compilé n'embarque pas de NMS sur puce : il expose neuf têtes brutes et l'hôte les décode et exécute le NMS à IoU probabiliste en rotation — le même décodage que le Hailo Model Zoo utilise pour son mAP DOTA publié.

Cette page cible reComputer R Series (CM5 + Hailo-10H) avec un accélérateur PCIe Hailo-10H.

Matériel et configuration de l'hôte

Installez les paquets Hailo-10H sur l'hôte et vérifiez que le pilote et le périphérique sont prêts avant de démarrer le conteneur :

sudo apt update
sudo apt install hailo-h10-all -y
sudo reboot

# After reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

La version HailoRT attendue pour ces images est 5.1.1.

Exécution avec la vidéo de démonstration

YOLOv11n_obb:

sudo docker run --rm \
  --name cm5-hailo10h-yolov11n_obb \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.5.1.1:/usr/lib/libhailort.so.5.1.1:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo10h-cv/yolov11n_obb:latest \
  python web_detection.py --model_path model/yolov11n_obb.hef --video_path video/test.mp4

YOLOv11s_obb:

sudo docker run --rm \
  --name cm5-hailo10h-yolov11s_obb \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.5.1.1:/usr/lib/libhailort.so.5.1.1:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo10h-cv/yolov11s_obb:latest \
  python web_detection.py --model_path model/yolov11s_obb.hef --video_path video/test.mp4

YOLOv11m_obb:

sudo docker run --rm \
  --name cm5-hailo10h-yolov11m_obb \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.5.1.1:/usr/lib/libhailort.so.5.1.1:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo10h-cv/yolov11m_obb:latest \
  python web_detection.py --model_path model/yolov11m_obb.hef --video_path video/test.mp4

YOLOv11x_obb:

sudo docker run --rm \
  --name cm5-hailo10h-yolov11x_obb \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.5.1.1:/usr/lib/libhailort.so.5.1.1:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo10h-cv/yolov11x_obb:latest \
  python web_detection.py --model_path model/yolov11x_obb.hef --video_path video/test.mp4

Ouvrez http://<Board_IP>:8000 pour afficher l'aperçu web.

Le clip de démonstration fourni est un court extrait aérien (drone) : le modèle entraîné sur DOTA détecte donc directement les véhicules et d'autres objets aériens, et les boîtes orientées apparaissent dans l'aperçu ; les classes du jeu de drones qui ne font pas partie de DOTA (par ex. les piétons) ne sont pas signalées.

Mode caméra USB

sudo docker run --rm \
  --name cm5-hailo10h-yolov11n_obb \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.5.1.1:/usr/lib/libhailort.so.5.1.1:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo10h-cv/yolov11n_obb:latest \
  python web_detection.py --model_path model/yolov11n_obb.hef --camera_id 0

Remplacez yolov11n_obb par yolov11s_obb, yolov11m_obb ou yolov11x_obb pour utiliser une autre variante.

Fichiers HEF

Les quatre variantes sont des builds Hailo-10H de Hailo Model Zoo v5.4.0 issus de la même famille YOLOv11-OBB THU-MIG / ultralytics (DOTA v1). Le mAP et les FPS sont les chiffres Hailo-10H publiés par le Model Zoo.

Source: https://hailo-model-zoo.s3.eu-west-2.amazonaws.com/ModelZoo/Compiled/v5.4.0/hailo10h/yolov11n_obb.hef (yolov11s_obb.hef, yolov11m_obb.hef, yolov11x_obb.hef in the same directory).

REST API

POST http://<Board_IP>:8000/api/models/yolov11n_obb/predict

curl -X POST "http://<Board_IP>:8000/api/models/yolov11n_obb/predict" \
  -F "file=@aerial.jpg" -F "conf=0.25" -F "iou=0.7"

Chaque prédiction renvoie la classe, la confiance et la boîte orientée :

{
  "predictions": [
    {
      "class": "ship",
      "confidence": 0.94,
      "obb": {"x_center": 450.0, "y_center": 320.0, "width": 180.0, "height": 420.0, "angle": 35.2}
    }
  ]
}

angle est en degrés (sens antihoraire depuis +x, plage [-45, 135)).

Notes d'implémentation

• Le Model Zoo base/yolo_obb.yaml définit device_pre_post_layers.sigmoid: false, meta_arch: yobb et score_threshold: 0.01, sans hpp ni NMS sur puce ; anchors utilise scale_factors [0.5, 0.5], regression_length 15 (16 bins DFL) et strides [8, 16, 32], et l'évaluation est DOTA v1 avec 15 classes.
• Disposition des têtes : neuf tenseurs bruts, identifiés par le nombre de canaux (boîte DFL 64 canaux / classe 15 canaux / angle 1 canal) et appariés par stride (128x128, 64x64, 32x32).
• Angle : theta = (sigmoid(a) - 0.25) * pi (plage [-pi/4, 3pi/4)), exactement comme dans YoloOBBPostProc du Model Zoo et la tête OBB d'ultralytics.
• Boîtes : l'espérance du softmax DFL sur les 16 bins donne les distances l/t/r/b en unités de stride ; w = l + r, h = t + b, le centre est l'ancre plus le décalage de demi-axe en rotation, et les distances sont mises à l'échelle par le stride.
• Sélection : meilleure classe par ancre au-dessus du curseur de confiance, puis Fast-NMS à IoU probabiliste avec un décalage par classe (max_wh 7680, au plus 30000 candidats en entrée et 300 boîtes en sortie) ; les curseurs de confiance et d'IOU sont tous deux actifs car le NMS s'exécute sur l'hôte.
• Le HEF intègre normalize_in_net (mean 0 / std 255) et padding_color=114 : l'application applique un letterbox gris (114) en 1024x1024 et transmet des pixels uint8 RGB bruts — aucune normalisation manuelle.
• Les IDs de classe 0..14 indexent la liste DOTA v1 (plane, ship, storage-tank, baseball-diamond, ...) comme dans dotav1_names.json du Model Zoo.
• Les diagnostics de première inférence sont désactivés en production (_DET_OUTPUT_LOGGED = True) ; passez-le à False dans web_detection.py pour afficher la disposition des têtes, les plages de valeurs et l'intervalle d'angle décodé lors de la validation d'un nouveau HEF.

Notes de développement

• Modules source : src/hailo10h_yolov11{n,s,m,x}_obb/ dans le dépôt reComputer-Hailo10H-CV
• Conteneurs : ghcr.io/seeed-projects/recomputer-hailo10h-cv/yolov11{n,s,m,x}_obb:latest
• Hailo-8 n'a pas de build OBB officiel (le Model Zoo liste Hailo-8/Hailo-8L comme NA pour la détection d'objets orientés) ; yolov11l_obb ne cible que Hailo-15L.
• Licence du modèle : AGPL-3.0 (amont ultralytics/ultralytics).