CV / NanoDet

NanoDet-RepVGG-a12

reComputer R Series (CM5 + Hailo-8)

Detección de objetos de 80 clases COCO con nanodet_repvgg_a12 (basado en YOLOX, NMS en chip) en reComputer R Series con Hailo-8 o Hailo-10H.

21 descargas

Tamaño

7.5 MB

Memoria

4GB+

Precisión

Hailo HEF / HailoRT

Elige el dispositivo que estás usando. La guía de configuración y la documentación se actualizarán en consecuencia.

Plataforma

Motor de inferencia

Primeros pasos

Desplegar

sudo docker run --rm \
  --name cm5-hailo8-nanodet-repvgg-a12 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg_a12:latest \
  python web_detection.py --model_path model/nanodet_repvgg_a12.hef --video_path video/test.mp4

API REST

Usa la API REST para ejecutar inferencia. Copia los comandos siguientes.

Curl

curl -X POST "http://<Board_IP>:8000/api/models/nanodet_repvgg_a12/predict" \
  -F "file=@test.jpg"

Python

import requests

response = requests.post(
    "http://<Board_IP>:8000/api/models/nanodet_repvgg_a12/predict",
    files={"file": open("test.jpg", "rb")},
    timeout=30,
)
print(response.json())

Detalles del modelo

reComputer R Series (CM5 + Hailo-8)

NanoDet-RepVGG-a12 en reComputer R Series (CM5 + Hailo-8)

nanodet_repvgg_a12 realiza detección de objetos de las 80 clases COCO en Hailo-8 mediante HailoRT. Pese al nombre «nanodet», esta variante utiliza la arquitectura YOLOX (base/yolox.yaml) y entrada 640x640. NMS se ejecuta en chip (Hailo HPP, meta_arch=yolox); el host solo interpreta el tensor posterior a NMS.

Esta página está dirigida a reComputer R Series (CM5 + Hailo-8) con un acelerador Hailo-8 PCIe.

Información del modelo

Propiedad	Valor
Arquitectura	Basado en YOLOX (base/yolox.yaml) + red troncal RepVGG-A12
Tarea	Detección de objetos
Entrada	640x640x3 BGR (input_conversion bgr_to_rgb + normalize_in_net sin cambios)
Salida	Tensor NMS en chip, forma posterior a NMS 80x5x100
Clases	80 (COCO, índices desde 0; labels_offset=1 solo para evaluación)
Parámetros	5.13M
Operaciones	28.23G
Posprocesamiento	NMS en chip (HPP); el host interpreta el tensor posterior
HEF	Hailo Model Zoo v2.19.0, Hailo-8

La precisión es un valor de referencia de Hailo Model Zoo, no una medición realizada en CM5.

Configuración del hardware y del host

Elemento	Valor
Placa	reComputer R Series con Raspberry Pi CM5
Acelerador	Hailo-8 por PCIe, disponible como `/dev/hailo0`
Entorno de ejecución	HailoRT 4.23.x
Python en el contenedor	3.11, aarch64

Instale los paquetes Hailo-8 en el host y confirme que el controlador y el dispositivo estén preparados antes de iniciar el contenedor:

bash

sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot

# After reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

La versión de HailoRT esperada para esta imagen es 4.23.x.

Ejecutar con vídeo de demostración

bash

sudo docker run --rm \
  --name cm5-hailo8-nanodet-repvgg-a12 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg_a12:latest \
  python web_detection.py --model_path model/nanodet_repvgg_a12.hef --video_path video/test.mp4

Abra http://<Board_IP>:8000 para ver la vista previa web.

Modo de cámara USB

bash

sudo docker run --rm \
  --name cm5-hailo8-nanodet-repvgg-a12 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg_a12:latest \
  python web_detection.py --model_path model/nanodet_repvgg_a12.hef --camera_id 0

API REST

Punto de acceso de predicción:

text

POST http://<Board_IP>:8000/api/models/nanodet_repvgg_a12/predict

Ejemplo de solicitud con imagen:

bash

curl -X POST "http://<Board_IP>:8000/api/models/nanodet_repvgg_a12/predict" \
  -F "file=@test.jpg"

Punto de acceso	Método	Finalidad
`/`	GET	Interfaz de vista previa web
`/api/models/nanodet_repvgg_a12/predict`	POST	Detecciones (JSON)
`/api/video_feed`	GET	Flujo de vista previa MJPEG

Notas de implementación

Mismo posprocesamiento NMS en chip (HPP) que nanodet_repvgg (análisis HPP de 80 clases), pero esta variante usa base/yolox.yaml: meta_arch=yolox, entrada 640x640 y padding_color=114 (gris, según la convención YOLOX).
El HEF ejecuta NMS en chip (device_pre_post_layers: nms=true, hpp=true); la aplicación solo interpreta el tensor posterior a NMS (según el tf_postproc_nms oficial), por lo que ignora nms_thresh (solo compatibilidad de API).
Las filas posteriores a NMS son [ymin, xmin, ymax, xmax, score], normalizadas a [0,1] respecto a la entrada 640x640 con letterbox; la aplicación convierte a píxeles y deshace el letterbox.
normalize_in_net no modifica los datos (mean=0/std=1) + input_conversion(bgr_to_rgb) en chip: la aplicación aplica letterbox gris (114) y proporciona píxeles BGR uint8 sin procesar, sin normalización manual ni cvtColor.
HailoRT devuelve el vstream NMS como una lista de longitud variable por clase (NMS-by-score); el analizador también admite formatos object/dense. La primera inferencia registra el tipo y la forma sin procesar para verificarlos en hardware.
Correspondencia de clases: cls_id (0..79) → lista estándar de 80 clases COCO directamente (labels_offset=1 solo para evaluación; si las etiquetas aparecen desplazadas, vuelva a deducirlas del registro de la primera inferencia).
Valores predeterminados: confianza 0.25, IOU 0.45 (IOU no afecta porque NMS está en chip). La evaluación de Model Zoo usa 0.01 / 0.65; reduzca el deslizador de confianza para ver más resultados.

Notas de desarrollo

Módulo fuente: src/rpi5_hailo8_nanodet_repvgg_a12/
Dockerfile: docker/hailo8/nanodet_repvgg_a12.dockerfile
Contenedor: ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg_a12:latest
El módulo utiliza la API VStreams de HailoRT 4.23 y un HEF específico para Hailo-8.
Familia: nanodet (variantes nanodet_repvgg / nanodet_repvgg_a12 / nanodet_repvgg_a1_640); esta es la compilación nanodet_repvgg_a12.

Entradas y salidas

Input: image, video, or USB camera frame. Output: COCO 80-class detection boxes with confidences, plus an annotated MJPEG preview.