CV / SSD

SSD MobileNet V2

reComputer R Series (CM5 + Hailo-8)

Detección de objetos de 80 clases COCO con SSD MobileNet V2 (NMS en el chip) en reComputer R Series con Hailo-8.

33 descargas

Tamaño

5.6 MB

Memoria

4GB+

Precisión

Hailo HEF / HailoRT

Elige el dispositivo que estás usando. La guía de configuración y la documentación se actualizarán en consecuencia.

Plataforma

Motor de inferencia

Primeros pasos

Desplegar

sudo docker run --rm \
  --name cm5-hailo8-ssd-mobilenet-v2 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest \
  python web_detection.py --model_path model/ssd_mobilenet_v2.hef --video_path video/test.mp4

API REST

Usa la API REST para ejecutar inferencia. Copia los comandos siguientes.

Curl

curl -X POST "http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict" \
  -F "file=@test.jpg"

Python

import requests

response = requests.post(
    "http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict",
    files={"file": open("test.jpg", "rb")},
    timeout=30,
)
print(response.json())

Detalles del modelo

SSD MobileNet V2 en reComputer R Series (CM5 + Hailo-8)

SSD MobileNet V2 es el detector TensorFlow SSD clásico con red troncal MobileNet V2. Detecta las 80 clases COCO en Hailo-8. Tiene las mismas entradas/salidas que V1, pero es más ligero y algo más preciso. NMS se ejecuta en chip (Hailo HPP, meta_arch=ssd); el host solo interpreta el tensor posterior a NMS.

Esta página está dirigida a reComputer R Series (CM5 + Hailo-8) con un acelerador Hailo-8 PCIe.

Información del modelo

Propiedad	Valor
Arquitectura	SSD + MobileNet V2
Tarea	Detección de objetos
Entrada	300x300x3 RGB (normalize_in_net mean=127.5/std=127.5)
Salida	Tensor NMS en chip, forma posterior a NMS 90x8x1
Clases	90 posiciones (ID COCO 1..90 con labels_offset=1; 10 sin uso)
Parámetros	4.46M
Operaciones	1.52G
Posprocesamiento	NMS en chip (HPP); el host interpreta el tensor posterior
HEF	Hailo Model Zoo v2.19.0, Hailo-8

Configuración del hardware y del host

Elemento	Valor
Placa	reComputer R Series con Raspberry Pi CM5
Acelerador	Hailo-8 por PCIe, disponible como `/dev/hailo0`
Entorno de ejecución	HailoRT 4.23.x
Python en el contenedor	3.11, aarch64

bash

sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

Ejecutar con vídeo de demostración

bash

sudo docker run --rm \
  --name cm5-hailo8-ssd-mobilenet-v2 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest \
  python web_detection.py --model_path model/ssd_mobilenet_v2.hef --video_path video/test.mp4

Abra http://<Board_IP>:8000 para ver la vista previa web.

Modo de cámara USB

bash

sudo docker run --rm \
  --name cm5-hailo8-ssd-mobilenet-v2 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest \
  python web_detection.py --model_path model/ssd_mobilenet_v2.hef --camera_id 0

API REST

text

POST http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict

bash

curl -X POST "http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict" \
  -F "file=@test.jpg"

Punto de acceso	Método	Finalidad
`/`	GET	Interfaz de vista previa web
`/api/models/ssd_mobilenet_v2/predict`	POST	Detecciones (JSON)
`/api/video_feed`	GET	Flujo de vista previa MJPEG

Notas de implementación

Mismo contrato de entradas/salidas y posprocesamiento que V1; solo cambia la red troncal (MobileNet V2 → más ligero, algo más preciso).
El HEF ejecuta NMS en chip; la aplicación solo interpreta el tensor posterior a NMS (tf_postproc_nms), por lo que ignora nms_thresh (solo compatibilidad de API).
normalize_in_net mean=127.5/std=127.5 (normalización SSD clásica); la aplicación proporciona píxeles RGB uint8 sin procesar tras el letterbox, sin normalización manual.
HailoRT devuelve el vstream NMS como una lista de longitud variable por clase (NMS-by-score); el analizador admite formatos ragged/object/dense. La primera inferencia registra el tipo y la forma sin procesar para verificarlos en hardware.
Correspondencia de clases: cls_id (0..89) → ID de categoría COCO cls_id+1 (labels_offset=1); 10 ID COCO no utilizados son «N/A» y no se dibujan.
Valores predeterminados: confianza 0.25, IOU 0.45 (IOU sin efecto porque NMS está en chip). La evaluación usa 0.3 / 0.6.

Notas de desarrollo

Módulo fuente: src/rpi5_hailo8_ssd_mobilenet_v2/
Dockerfile: docker/hailo8/ssd_mobilenet_v2.dockerfile
Contenedor: ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest
Familia: ssd (variantes ssd_mobilenet_v1 / ssd_mobilenet_v2); esta es la compilación V2.

Entradas y salidas

Input: image, video, or USB camera frame. Output: COCO 80-class detection boxes with confidences, plus an annotated MJPEG preview.