EfficientDet-Lite0 en reComputer R Series (CM5 + Hailo-8)

EfficientDet-Lite0 realiza detección de objetos de 80 clases de COCO en Hailo-8 mediante HailoRT. NMS y sigmoid se ejecutan en el chip (Hailo HPP), por lo que el host solo analiza el tensor posterior a NMS. Esta es la variante Lite0 de la familia efficientdet.

Esta página está dirigida a reComputer R Series (CM5 + Hailo-8) con un acelerador Hailo-8 conectado mediante PCIe.

Información del modelo

El valor de precisión corresponde a la referencia de Hailo's Model Zoo. No se trata de un benchmark medido en CM5.

Configuración del hardware y del host

Instale los paquetes de Hailo-8 en el host y confirme que el controlador y el dispositivo estén listos antes de iniciar el contenedor:

sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot

# After reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

La versión esperada de HailoRT para esta imagen es 4.23.x.

Ejecución con el video de demostración

sudo docker run --rm \
  --name cm5-hailo8-efficientdet-lite0 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/efficientdet_lite0:latest \
  python web_detection.py --model_path model/efficientdet_lite0.hef --video_path video/test.mp4

Abra http://<Board_IP>:8000 para ver la vista previa web.

Modo de cámara USB

sudo docker run --rm \
  --name cm5-hailo8-efficientdet-lite0 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/efficientdet_lite0:latest \
  python web_detection.py --model_path model/efficientdet_lite0.hef --camera_id 0

REST API

Endpoint de predicción:

POST http://<Board_IP>:8000/api/models/efficientdet_lite0/predict

Solicitud de imagen de ejemplo:

curl -X POST "http://<Board_IP>:8000/api/models/efficientdet_lite0/predict" \
  -F "file=@test.jpg"

Notas de implementación

• El HEF ejecuta NMS en el chip (device_pre_post_layers: nms=true, sigmoid=true, hpp=true); la aplicación solo analiza el tensor posterior a NMS (según el tf_postproc_nms oficial), por lo que nms_thresh se ignora (solo se mantiene por compatibilidad con la API).
• Las filas posteriores a NMS tienen el formato [ymin, xmin, ymax, xmax, score], normalizado a [0,1] respecto de la entrada con letterbox de 320x320; la aplicación escala los valores a píxeles y elimina el letterbox.
• normalize_in_net con mean=127/std=128 + padding_color=127: la aplicación aplica letterbox con relleno gris (127) y proporciona píxeles RGB uint8 sin procesar; no realiza normalización manual.
• HailoRT puede devolver el vstream NMS como una lista por clase (NMS-by-score), un array de objetos o un float32 denso (1,89,5,100)/(1,89,100,5). El analizador admite los tres formatos; la primera inferencia registra el tipo/forma sin procesar para que pueda verificarse en el hardware.
• Mapeo de clases: cls_id (0..88) → ID de categoría de COCO cls_id+1 (labels_offset=1); los 10 IDs de COCO sin utilizar aparecen como "N/A" y no se dibujan. Si las etiquetas parecen desplazadas, vuelva a derivarlas a partir del registro de la primera inferencia.
• Valores predeterminados: confianza 0.25, IOU 0.45 (IOU no tiene efecto: NMS se ejecuta en el chip). La evaluación de Model Zoo utiliza 0.001 / 0.5; reduzca el control deslizante de confianza para inspeccionar más resultados.

Notas de desarrollo

• Módulo de origen: src/rpi5_hailo8_efficientdet_lite0/
• Dockerfile: docker/hailo8/efficientdet_lite0.dockerfile
• Contenedor: ghcr.io/seeed-projects/recomputer-hailo8-cv/efficientdet_lite0:latest
• El módulo utiliza la API HailoRT 4.23 VStreams y un HEF específico para Hailo-8.
• Familia: efficientdet (variantes lite0 / lite1 / lite2 planificadas); esta es la compilación lite0.