NanoDet-RepVGG

NanoDet-RepVGG en reComputer R Series (CM5 + Hailo-8)

NanoDet-RepVGG realiza detección de objetos de las 80 clases COCO en Hailo-8 mediante HailoRT. NMS se ejecuta en chip (Hailo HPP, meta_arch=yolov8); el host solo interpreta el tensor posterior a NMS. Es la primera variante de la familia nanodet (nanodet_repvgg / nanodet_repvgg_a12 / nanodet_repvgg_a1_640).

Esta página está dirigida a reComputer R Series (CM5 + Hailo-8) con un acelerador Hailo-8 PCIe.

Información del modelo

La precisión es un valor de referencia de Hailo Model Zoo, no una medición realizada en CM5.

Configuración del hardware y del host

Instale los paquetes Hailo-8 en el host y confirme que el controlador y el dispositivo estén preparados antes de iniciar el contenedor:

sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot

# After reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

La versión de HailoRT esperada para esta imagen es 4.23.x.

Ejecutar con vídeo de demostración

sudo docker run --rm \
  --name cm5-hailo8-nanodet-repvgg \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg:latest \
  python web_detection.py --model_path model/nanodet_repvgg.hef --video_path video/test.mp4

Abra http://<Board_IP>:8000 para ver la vista previa web.

Modo de cámara USB

sudo docker run --rm \
  --name cm5-hailo8-nanodet-repvgg \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg:latest \
  python web_detection.py --model_path model/nanodet_repvgg.hef --camera_id 0

API REST

Punto de acceso de predicción:

POST http://<Board_IP>:8000/api/models/nanodet_repvgg/predict

Ejemplo de solicitud con imagen:

curl -X POST "http://<Board_IP>:8000/api/models/nanodet_repvgg/predict" \
  -F "file=@test.jpg"

Notas de implementación

• El HEF ejecuta NMS en chip (device_pre_post_layers: nms=true, hpp=true, meta_arch=yolov8); la aplicación solo interpreta el tensor posterior a NMS (según el tf_postproc_nms oficial), por lo que ignora nms_thresh (solo compatibilidad de API).
• Las filas posteriores a NMS son [ymin, xmin, ymax, xmax, score], normalizadas a [0,1] respecto a la entrada 416x416 con letterbox; la aplicación convierte a píxeles y deshace el letterbox.
• normalize_in_net (ImageNet RGB mean/std) + input_conversion(bgr_to_rgb) en chip: la aplicación aplica letterbox negro (0) y proporciona píxeles BGR uint8 sin procesar, sin normalización manual ni cvtColor (el HEF convierte BGR→RGB internamente).
• HailoRT devuelve el vstream NMS como una lista de longitud variable por clase (NMS-by-score); el analizador también admite formatos object/dense. La primera inferencia registra el tipo y la forma sin procesar para verificarlos en hardware.
• Correspondencia de clases: cls_id (0..79) → lista estándar de 80 clases COCO directamente (meta_arch=yolov8, índices desde 0, sin labels_offset ni huecos). Si las etiquetas aparecen desplazadas, vuelva a deducirlas del registro de la primera inferencia.
• Valores predeterminados: confianza 0.25, IOU 0.45 (IOU no afecta porque NMS está en chip). La evaluación de Model Zoo usa 0.05 / 0.6; reduzca el deslizador de confianza para ver más resultados.

Notas de desarrollo

• Módulo fuente: src/rpi5_hailo8_nanodet_repvgg/
• Dockerfile: docker/hailo8/nanodet_repvgg.dockerfile
• Contenedor: ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg:latest
• El módulo utiliza la API VStreams de HailoRT 4.23 y un HEF específico para Hailo-8.
• Familia: nanodet (variantes nanodet_repvgg / nanodet_repvgg_a12 / nanodet_repvgg_a1_640 prevista); esta es la compilación nanodet_repvgg.