CV / EfficientDet

EfficientDet-Lite1

EfficientDet-Lite1 con un cabezal BiFPN detecta 80 clases de objetos de COCO en Hailo-8. NMS y sigmoid se ejecutan en el chip (Hailo HPP), por lo que la aplicación solo analiza el tensor posterior a NMS. Variante Lite1 de la familia EfficientDet, con un backbone más grande y una entrada de 384x384 para ofrecer mayor precisión que Lite0.

1 descargas

Tamaño

16 MB

Memoria

4GB+

Precisión

Hailo HEF / HailoRT 4.23.x

Elige el dispositivo que estás usando. La guía de configuración y la documentación se actualizarán en consecuencia.

Plataforma

Motor de inferencia

Primeros pasos

Desplegar

sudo docker run --rm \
  --name cm5-hailo8-efficientdet-lite1 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/efficientdet_lite1:latest \
  python web_detection.py --model_path model/efficientdet_lite1.hef --video_path video/test.mp4

API REST

Usa la API REST para ejecutar inferencia. Copia los comandos siguientes.

Curl

curl -X POST "http://<Board_IP>:8000/api/models/efficientdet_lite1/predict" \
  -F "file=@test.jpg"

Python

import requests

response = requests.post(
    "http://<Board_IP>:8000/api/models/efficientdet_lite1/predict",
    files={"file": open("test.jpg", "rb")},
    timeout=30,
)
print(response.json())

Detalles del modelo

EfficientDet-Lite1 en reComputer R Series (CM5 + Hailo-8)

EfficientDet-Lite1 realiza detección de objetos de 80 clases de COCO en Hailo-8 mediante HailoRT. NMS y sigmoid se ejecutan en el chip (Hailo HPP), por lo que el host solo analiza el tensor posterior a NMS. Esta es la variante Lite1 de la familia efficientdet, con un backbone más grande y una entrada de 384x384 para lograr mayor precisión que Lite0.

Esta página está dirigida a reComputer R Series (CM5 + Hailo-8) con un acelerador Hailo-8 mediante PCIe.

Información del modelo

Propiedad	Valor
Arquitectura	EfficientDet-Lite1 (BiFPN)
Tarea	Detección de objetos
Entrada	RGB 384x384x3 (normalización compilada en el HEF: mean=127, std=128)
Salida	tensor NMS en el chip, forma posterior a NMS 89x5x100
Clases	89 posiciones (ID de categorías COCO 1..89 mediante labels_offset=1; 10 sin usar)
Parámetros	4.73M
Operaciones	4G
Posprocesamiento	NMS en el chip (HPP) + sigmoid; el host analiza el tensor posterior a NMS
HEF	Hailo Model Zoo v2.19.0, Hailo-8

El valor de precisión es la referencia de Model Zoo de Hailo. No es un benchmark medido en CM5.

Configuración del hardware y del host

Elemento	Valor
Placa	reComputer R Series con Raspberry Pi CM5
Acelerador	Hailo-8 mediante PCIe, expuesto como `/dev/hailo0`
Entorno de ejecución	HailoRT 4.23.x
Python en el contenedor	3.11, aarch64

Instale los paquetes de Hailo-8 en el host y confirme que el controlador y el dispositivo estén listos antes de iniciar el contenedor:

bash

sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot

# After reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

La versión esperada de HailoRT para esta imagen es 4.23.x.

Ejecución con un vídeo de demostración

bash

sudo docker run --rm \
  --name cm5-hailo8-efficientdet-lite1 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/efficientdet_lite1:latest \
  python web_detection.py --model_path model/efficientdet_lite1.hef --video_path video/test.mp4

Abra http://<Board_IP>:8000 para ver la vista previa web.

Modo de cámara USB

bash

sudo docker run --rm \
  --name cm5-hailo8-efficientdet-lite1 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/efficientdet_lite1:latest \
  python web_detection.py --model_path model/efficientdet_lite1.hef --camera_id 0

REST API

Endpoint de predicción:

text

POST http://<Board_IP>:8000/api/models/efficientdet_lite1/predict

Ejemplo de solicitud con una imagen:

bash

curl -X POST "http://<Board_IP>:8000/api/models/efficientdet_lite1/predict" \
  -F "file=@test.jpg"

Endpoint	Método	Finalidad
`/`	GET	Interfaz de vista previa web
`/api/models/efficientdet_lite1/predict`	POST	Detecciones (JSON)
`/api/video_feed`	GET	Flujo de vista previa MJPEG

Notas de implementación

El contrato de entrada/salida y el posprocesamiento son idénticos a los de la compilación Lite0; solo difieren el backbone y el tamaño de entrada (384x384, 4.73M parámetros → mayor precisión).
El HEF ejecuta NMS en el chip (device_pre_post_layers: nms=true, sigmoid=true, hpp=true); la aplicación solo analiza el tensor posterior a NMS (según el tf_postproc_nms oficial), por lo que nms_thresh se ignora (solo para mantener la paridad de la API).
Las filas posteriores a NMS tienen el formato [ymin, xmin, ymax, xmax, score], normalizado al intervalo [0,1] de la entrada de 384x384 con letterboxing; la aplicación escala a píxeles y revierte el letterboxing.
normalize_in_net con mean=127/std=128 + padding_color=127: la aplicación aplica letterboxing con relleno gris (127) y proporciona píxeles RGB uint8 sin procesar, sin normalización manual.
HailoRT devuelve el vstream de NMS como una lista irregular por clase (NMS por puntuación); el analizador admite este formato, además de las disposiciones de objetos y densas. La primera inferencia registra el tipo y la forma sin procesar para que puedan verificarse en el hardware.
Asignación de clases: cls_id (0..88) → ID de categoría COCO cls_id+1 (labels_offset=1); los 10 ID de COCO sin usar son "N/A" y no se dibujan. Si las etiquetas parecen desplazadas, vuelva a derivarlas a partir del registro de la primera inferencia.
Valores predeterminados: confianza 0.25, IOU 0.45 (IOU no tiene efecto, ya que NMS se ejecuta en el chip). La evaluación de Model Zoo utiliza 0.001 / 0.5; reduzca el control deslizante de confianza para examinar más detecciones.

Notas de desarrollo

Módulo fuente: src/rpi5_hailo8_efficientdet_lite1/
Dockerfile: docker/hailo8/efficientdet_lite1.dockerfile
Contenedor: ghcr.io/seeed-projects/recomputer-hailo8-cv/efficientdet_lite1:latest
El módulo utiliza la API VStreams de HailoRT 4.23 y un HEF específico para Hailo-8.
Familia: efficientdet (variantes lite0 / lite1 / lite2); esta es la compilación lite1.

Entradas y salidas

Entrada: imagen, vídeo o fotograma de una cámara USB. Salida: cuadros de detección de 80 clases de COCO con niveles de confianza, además de una vista previa MJPEG con anotaciones.