CenterNet (resnet_v1_18) en reComputer R Series (CM5 + Hailo-8)

CenterNet con backbone ResNet-18 realiza detección de objetos de 80 clases COCO en Hailo-8 mediante HailoRT, usando la variante de posprocesado max_finder integrada en chip.

Esta página está dirigida a la reComputer R Series (CM5 + Hailo-8) con un acelerador Hailo-8 PCIe.

Información del modelo

El valor de precisión proviene de la tabla de detección de objetos de Hailo Model Zoo para Hailo-8. No es una medición realizada en CM5.

Configuración de hardware y del host

Instala los paquetes correspondientes en el host y confirma que el driver y el dispositivo estén listos antes de iniciar el contenedor:

sudo apt update

# Ambos candidatos deben ser 4.23.x antes de la instalación.
apt-cache policy hailort hailort-pcie-driver

sudo apt install hailort=4.23.0 hailort-pcie-driver=4.23.0
sudo reboot

# Después de reiniciar
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

La versión esperada de HailoRT para esta imagen es 4.23.x. No continúes si apt-cache policy selecciona HailoRT 5.x; ese runtime corresponde a Hailo-10H y no es compatible con este contenedor Hailo-8.

Ejecutar con el vídeo de demostración

sudo docker run --rm \
  --name cm5-hailo8-centernet \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/centernet_resnet_v1_18_postprocess:latest \
  python web_detection.py --model_path model/centernet_resnet_v1_18_postprocess.hef --video_path video/test.mp4

Abre http://<Board_IP>:8000 para ver la vista previa web.

Modo cámara USB

sudo docker run --rm \
  --name cm5-hailo8-centernet \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/centernet_resnet_v1_18_postprocess:latest \
  python web_detection.py --model_path model/centernet_resnet_v1_18_postprocess.hef --camera_id 0

API REST

Punto de acceso de predicción:

POST http://<Board_IP>:8000/api/models/centernet_resnet_v1_18_postprocess/predict

Solicitud de imagen de ejemplo:

curl -X POST "http://<Board_IP>:8000/api/models/centernet_resnet_v1_18_postprocess/predict" \
  -F "file=@test.jpg"

| Punto de acceso | Método | Propósito | |---|---| | / | GET | Interfaz de vista previa web | | /api/models/centernet_resnet_v1_18_postprocess/predict | POST | Detecciones (JSON) | | /api/video_feed | GET | Flujo de vista previa MJPEG |

Notas de implementación

• El HEF se compiló con normalize_in_net=true (media/desviación estándar de ImageNet, RGB), por lo que la aplicación hace letterbox a 512x512, convierte BGR a RGB y alimenta píxeles uint8 sin procesar: sin normalización manual.
• La cabeza del mapa de calor ya es dispersa: el max_finder integrado más el umbral de puntuación (0.2) conservan solo los máximos locales por encima del umbral. El decodificador toma esos picos, lee wh/reg en cada pico y reconstruye las cajas con la fórmula oficial de Hailo Model Zoo (stride 4, mapa de características 128x128 → entrada 512x512), y luego deshace el letterbox hacia el fotograma original.
• Las dos cabezas de 2 canales (wh, reg) se asignan por nombre del vstream cuando el número de convolución está expuesto (conv3 → wh, conv5 → reg); en caso contrario, por el orden de salida de la red. La primera inferencia imprime el nombre y la forma de cada vstream y la asignación resuelta para verificarla en el hardware.

Notas de desarrollo

• Módulo fuente: src/rpi5_hailo8_centernet_resnet_v1_18_postprocess/
• Dockerfile: docker/hailo8/centernet_resnet_v1_18_postprocess.dockerfile
• Contenedor: ghcr.io/seeed-projects/recomputer-hailo8-cv/centernet_resnet_v1_18_postprocess:latest
• El módulo usa la API VStreams de HailoRT 4.23 y un HEF específico para Hailo-8.