NanoDet-RepVGG-a1-640

NanoDet-RepVGG-a1-640 en reComputer R Series (CM5 + Hailo-8)

nanodet_repvgg_a1_640 realiza detección de objetos de las 80 clases COCO en Hailo-8 mediante HailoRT. Usa la misma base (base/nanodet.yaml) que nanodet_repvgg, pero con una red troncal RepVGG-A1 mayor y entrada 640x640 para mejorar la precisión. NMS se ejecuta en chip (Hailo HPP, meta_arch=yolov8); el host solo interpreta el tensor posterior a NMS.

Esta página está dirigida a reComputer R Series (CM5 + Hailo-8) con un acelerador Hailo-8 PCIe.

Información del modelo

La precisión es un valor de referencia de Hailo Model Zoo, no una medición realizada en CM5.

Configuración del hardware y del host

Instale los paquetes Hailo-8 en el host y confirme que el controlador y el dispositivo estén preparados antes de iniciar el contenedor:

sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot

# After reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

La versión de HailoRT esperada para esta imagen es 4.23.x.

Ejecutar con vídeo de demostración

sudo docker run --rm \
  --name cm5-hailo8-nanodet-repvgg-a1-640 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg_a1_640:latest \
  python web_detection.py --model_path model/nanodet_repvgg_a1_640.hef --video_path video/test.mp4

Abra http://<Board_IP>:8000 para ver la vista previa web.

Modo de cámara USB

sudo docker run --rm \
  --name cm5-hailo8-nanodet-repvgg-a1-640 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg_a1_640:latest \
  python web_detection.py --model_path model/nanodet_repvgg_a1_640.hef --camera_id 0

API REST

Punto de acceso de predicción:

POST http://<Board_IP>:8000/api/models/nanodet_repvgg_a1_640/predict

Ejemplo de solicitud con imagen:

curl -X POST "http://<Board_IP>:8000/api/models/nanodet_repvgg_a1_640/predict" \
  -F "file=@test.jpg"

Notas de implementación

• Misma base (base/nanodet.yaml) y posprocesamiento NMS en chip (HPP) que nanodet_repvgg; solo cambian la red troncal (RepVGG-A1) y el tamaño de entrada (640x640).
• El HEF ejecuta NMS en chip (device_pre_post_layers: nms=true, hpp=true, meta_arch=yolov8); la aplicación solo interpreta el tensor posterior a NMS, por lo que ignora nms_thresh (se mantiene únicamente por compatibilidad de API).
• Las filas posteriores a NMS son [ymin, xmin, ymax, xmax, score], normalizadas a [0,1] respecto a la entrada 640x640 con letterbox; la aplicación convierte a píxeles y deshace el letterbox.
• normalize_in_net + input_conversion(bgr_to_rgb) en chip: la aplicación aplica letterbox con relleno negro (0) y proporciona píxeles BGR uint8 sin procesar, sin normalización manual ni cvtColor.
• HailoRT devuelve el vstream NMS como una lista de longitud variable por clase (NMS-by-score); el analizador también admite formatos object/dense. La primera inferencia registra el tipo y la forma sin procesar para verificarlos en hardware.
• Correspondencia de clases: cls_id (0..79) → lista estándar de 80 clases COCO directamente.
• Valores predeterminados: confianza 0.25, IOU 0.45 (IOU no afecta porque NMS está en chip). La evaluación de Model Zoo usa 0.05 / 0.6; reduzca el deslizador de confianza para ver más resultados.

Notas de desarrollo

• Módulo fuente: src/rpi5_hailo8_nanodet_repvgg_a1_640/
• Dockerfile: docker/hailo8/nanodet_repvgg_a1_640.dockerfile
• Contenedor: ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg_a1_640:latest
• El módulo utiliza la API VStreams de HailoRT 4.23 y un HEF específico para Hailo-8.
• Familia: nanodet (variantes nanodet_repvgg / nanodet_repvgg_a12 / nanodet_repvgg_a1_640); esta es la compilación nanodet_repvgg_a1_640.