SSD MobileNet V1

SSD MobileNet V1 en reComputer R Series (CM5 + Hailo-8)

SSD MobileNet V1 es el detector TensorFlow SSD clásico con red troncal MobileNet V1. Detecta las 80 clases COCO en Hailo-8. NMS se ejecuta en chip (Hailo HPP, meta_arch=ssd) con anclas predefinidas; el host solo interpreta el tensor posterior a NMS.

Esta página está dirigida a reComputer R Series (CM5 + Hailo-8) con un acelerador Hailo-8 PCIe.

Información del modelo

La precisión es un valor de referencia de Hailo Model Zoo, no una medición realizada en CM5.

Configuración del hardware y del host

Instale los paquetes Hailo-8 en el host y confirme que el controlador y el dispositivo estén preparados antes de iniciar el contenedor:

sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot

# After reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

La versión de HailoRT esperada para esta imagen es 4.23.x.

Ejecutar con vídeo de demostración

sudo docker run --rm \
  --name cm5-hailo8-ssd-mobilenet-v1 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v1:latest \
  python web_detection.py --model_path model/ssd_mobilenet_v1.hef --video_path video/test.mp4

Abra http://<Board_IP>:8000 para ver la vista previa web.

Modo de cámara USB

sudo docker run --rm \
  --name cm5-hailo8-ssd-mobilenet-v1 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v1:latest \
  python web_detection.py --model_path model/ssd_mobilenet_v1.hef --camera_id 0

API REST

Punto de acceso de predicción:

POST http://<Board_IP>:8000/api/models/ssd_mobilenet_v1/predict

Ejemplo de solicitud con imagen:

curl -X POST "http://<Board_IP>:8000/api/models/ssd_mobilenet_v1/predict" \
  -F "file=@test.jpg"

Notas de implementación

• El HEF ejecuta NMS en chip (device_pre_post_layers: nms=true); la aplicación solo interpreta el tensor posterior a NMS (según el tf_postproc_nms oficial), por lo que ignora nms_thresh (solo compatibilidad de API).
• Las filas posteriores a NMS son [ymin, xmin, ymax, xmax, score, ...], normalizadas a [0,1] respecto a la entrada 300x300 con letterbox; la aplicación convierte a píxeles y deshace el letterbox.
• normalize_in_net con mean=127.5/std=127.5 (normalización SSD clásica (pixel-127.5)/127.5); la aplicación proporciona píxeles RGB uint8 sin procesar tras el letterbox, sin normalización manual.
• HailoRT devuelve el vstream NMS como una lista de longitud variable por clase (NMS-by-score); el analizador también admite formatos object/dense. La primera inferencia registra el tipo y la forma sin procesar para verificarlos en hardware.
• Correspondencia de clases: cls_id (0..89) → ID de categoría COCO cls_id+1 (labels_offset=1); los 10 ID COCO no utilizados son «N/A» y no se dibujan.
• Valores predeterminados: confianza 0.25, IOU 0.45 (IOU no afecta porque NMS está en chip). La evaluación de Model Zoo usa 0.3 / 0.6; reduzca el deslizador de confianza para ver más resultados.

Notas de desarrollo

• Módulo fuente: src/rpi5_hailo8_ssd_mobilenet_v1/
• Dockerfile: docker/hailo8/ssd_mobilenet_v1.dockerfile
• Contenedor: ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v1:latest
• El módulo utiliza la API VStreams de HailoRT 4.23 y un HEF específico para Hailo-8.
• Familia: ssd (variantes ssd_mobilenet_v1 / ssd_mobilenet_v2 prevista); esta es la compilación V1.