YOLOv11-obb on reComputer R Series (CM5 + Hailo-10H)

YOLOv11n / YOLOv11s / YOLOv11m / YOLOv11x-OBB realizan detección de objetos orientados (cajas rotadas, DOTA v1, 15 clases) en Hailo-10H mediante HailoRT. El HEF compilado no tiene NMS en chip: expone nueve cabezas en bruto y el host las decodifica y ejecuta el NMS de IoU probabilístico rotado — la misma decodificación que el Hailo Model Zoo usa para su mAP DOTA publicada.

Esta página está dirigida a reComputer R Series (CM5 + Hailo-10H) con un acelerador PCIe Hailo-10H.

Hardware y configuración del host

Instala los paquetes de Hailo-10H en el host y confirma que el driver y el dispositivo están listos antes de iniciar el contenedor:

sudo apt update
sudo apt install hailo-h10-all -y
sudo reboot

# After reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

La versión esperada de HailoRT para estas imágenes es 5.1.1.

Ejecución con el vídeo de demostración

YOLOv11n_obb:

sudo docker run --rm \
  --name cm5-hailo10h-yolov11n_obb \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.5.1.1:/usr/lib/libhailort.so.5.1.1:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo10h-cv/yolov11n_obb:latest \
  python web_detection.py --model_path model/yolov11n_obb.hef --video_path video/test.mp4

YOLOv11s_obb:

sudo docker run --rm \
  --name cm5-hailo10h-yolov11s_obb \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.5.1.1:/usr/lib/libhailort.so.5.1.1:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo10h-cv/yolov11s_obb:latest \
  python web_detection.py --model_path model/yolov11s_obb.hef --video_path video/test.mp4

YOLOv11m_obb:

sudo docker run --rm \
  --name cm5-hailo10h-yolov11m_obb \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.5.1.1:/usr/lib/libhailort.so.5.1.1:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo10h-cv/yolov11m_obb:latest \
  python web_detection.py --model_path model/yolov11m_obb.hef --video_path video/test.mp4

YOLOv11x_obb:

sudo docker run --rm \
  --name cm5-hailo10h-yolov11x_obb \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.5.1.1:/usr/lib/libhailort.so.5.1.1:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo10h-cv/yolov11x_obb:latest \
  python web_detection.py --model_path model/yolov11x_obb.hef --video_path video/test.mp4

Abre http://<Board_IP>:8000 para ver la vista previa web.

El clip de demostración incluido es una muestra breve aérea (dron), por lo que el modelo entrenado con DOTA detecta vehículos y otros objetos aéreos directamente y las cajas rotadas aparecen en la vista previa; las clases del conjunto de drones que no forman parte de DOTA (p. ej. peatones) no se informan.

Modo cámara USB

sudo docker run --rm \
  --name cm5-hailo10h-yolov11n_obb \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.5.1.1:/usr/lib/libhailort.so.5.1.1:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo10h-cv/yolov11n_obb:latest \
  python web_detection.py --model_path model/yolov11n_obb.hef --camera_id 0

Sustituye yolov11n_obb por yolov11s_obb, yolov11m_obb o yolov11x_obb para usar otra variante.

Archivos HEF

Las cuatro variantes son builds para Hailo-10H del Hailo Model Zoo v5.4.0 de la misma familia THU-MIG / ultralytics YOLOv11-OBB (DOTA v1). Los valores de mAP y FPS son los publicados por el Model Zoo para Hailo-10H.

Source: https://hailo-model-zoo.s3.eu-west-2.amazonaws.com/ModelZoo/Compiled/v5.4.0/hailo10h/yolov11n_obb.hef (yolov11s_obb.hef, yolov11m_obb.hef, yolov11x_obb.hef in the same directory).

REST API

POST http://<Board_IP>:8000/api/models/yolov11n_obb/predict

curl -X POST "http://<Board_IP>:8000/api/models/yolov11n_obb/predict" \
  -F "file=@aerial.jpg" -F "conf=0.25" -F "iou=0.7"

Cada predicción devuelve la clase, la confianza y la caja rotada:

{
  "predictions": [
    {
      "class": "ship",
      "confidence": 0.94,
      "obb": {"x_center": 450.0, "y_center": 320.0, "width": 180.0, "height": 420.0, "angle": 35.2}
    }
  ]
}

angle está en grados (en sentido antihorario desde +x, rango [-45, 135)).

Notas de implementación

• El Model Zoo base/yolo_obb.yaml establece device_pre_post_layers.sigmoid: false, meta_arch: yobb y score_threshold: 0.01, sin hpp y sin NMS en chip; anchors usa scale_factors [0.5, 0.5], regression_length 15 (16 bins DFL) y strides [8, 16, 32], y la evaluación es DOTA v1 con 15 clases.
• Disposición de las cabezas: nueve tensores en bruto, identificados por el número de canales (caja DFL de 64 canales / clase de 15 canales / ángulo de 1 canal) y emparejados por stride (128x128, 64x64, 32x32).
• Ángulo: theta = (sigmoid(a) - 0.25) * pi (rango [-pi/4, 3pi/4)), exactamente como en el YoloOBBPostProc del Model Zoo y la cabeza OBB de ultralytics.
• Cajas: la expectativa de la softmax DFL sobre los 16 bins da las distancias l/t/r/b en unidades de stride; w = l + r, h = t + b, el centro es el ancla más el desplazamiento del semieje rotado, y las distancias se escalan por el stride.
• Selección: la mejor clase por ancla por encima del deslizador de confianza, luego Fast-NMS de IoU probabilístico con un desplazamiento por clase (max_wh 7680, como máximo 30000 candidatos de entrada y 300 cajas de salida); los deslizadores de confianza e IOU están ambos activos porque el NMS se ejecuta en el host.
• El HEF incorpora normalize_in_net (mean 0 / std 255) y padding_color=114: la aplicación aplica letterbox a 1024x1024 con gris (114) y envía píxeles RGB uint8 en bruto — sin normalización manual.
• Los IDs de clase 0..14 indexan la lista DOTA v1 (plane, ship, storage-tank, baseball-diamond, ...) como en el dotav1_names.json del Model Zoo.
• Los diagnósticos de la primera inferencia están desactivados en producción (_DET_OUTPUT_LOGGED = True); ponlo a False en web_detection.py para volcar la disposición de las cabezas, los rangos de valores y el intervalo de ángulos decodificado al validar un HEF nuevo.

Notas de desarrollo

• Módulos fuente: src/hailo10h_yolov11{n,s,m,x}_obb/ en el repositorio reComputer-Hailo10H-CV
• Contenedores: ghcr.io/seeed-projects/recomputer-hailo10h-cv/yolov11{n,s,m,x}_obb:latest
• Hailo-8 no tiene compilación OBB oficial (el Model Zoo marca Hailo-8/Hailo-8L como NA para detección de objetos orientados); yolov11l_obb solo está dirigido a Hailo-15L.
• Licencia del modelo: AGPL-3.0 (upstream ultralytics/ultralytics).