EfficientDet-Lite2 op reComputer R Series (CM5 + Hailo-8)

EfficientDet-Lite2 voert objectdetectie met 80 COCO-klassen uit op Hailo-8 via HailoRT. NMS en sigmoid worden op de chip uitgevoerd (Hailo HPP), zodat de host alleen de post-NMS-tensor verwerkt. Dit is de Lite2-variant van de efficientdet-familie — met de grootste backbone en een invoer van 448x448 voor de hoogste nauwkeurigheid van de drie (lite0/lite1/ lite2).

Deze pagina is bedoeld voor reComputer R Series (CM5 + Hailo-8) met een PCIe Hailo-8- accelerator.

Modelinformatie

De nauwkeurigheidswaarde is de referentiewaarde uit Hailo's Model Zoo. Dit is geen benchmark die op CM5 is gemeten.

Hardware- en hostconfiguratie

Installeer de Hailo-8-pakketten op de host en controleer of het stuurprogramma en apparaat gereed zijn voordat u de container start:

sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot

# After reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

De verwachte HailoRT-versie voor deze image is 4.23.x.

Uitvoeren met demovideo

sudo docker run --rm \
  --name cm5-hailo8-efficientdet-lite2 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/efficientdet_lite2:latest \
  python web_detection.py --model_path model/efficientdet_lite2.hef --video_path video/test.mp4

Open http://<Board_IP>:8000 om de webpreview te bekijken.

USB-cameramodus

sudo docker run --rm \
  --name cm5-hailo8-efficientdet-lite2 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/efficientdet_lite2:latest \
  python web_detection.py --model_path model/efficientdet_lite2.hef --camera_id 0

REST API

Voorspellingsendpoint:

POST http://<Board_IP>:8000/api/models/efficientdet_lite2/predict

Voorbeeld van een afbeeldingsverzoek:

curl -X POST "http://<Board_IP>:8000/api/models/efficientdet_lite2/predict" \
  -F "file=@test.jpg"

Implementatieopmerkingen

• Identiek invoer-/uitvoercontract en dezelfde nabewerking als de Lite0/Lite1- builds; alleen de backbone en invoergrootte verschillen (448x448, 5.93M parameters → de hoogste nauwkeurigheid van de drie).
• De HEF voert NMS op de chip uit (device_pre_post_layers: nms=true, sigmoid=true, hpp=true); de app verwerkt alleen de post-NMS-tensor (volgens de officiële tf_postproc_nms), waardoor nms_thresh wordt genegeerd (alleen voor API-pariteit).
• Post-NMS-rijen zijn [ymin, xmin, ymax, xmax, score], genormaliseerd naar [0,1] van de 448x448-invoer met letterboxing; de app schaalt naar pixels en maakt de letterboxing ongedaan.
• normalize_in_net met mean=127/std=128 + padding_color=127: de app past letterboxing toe met grijze opvulling (127) en voert onbewerkte uint8 RGB-pixels in — zonder handmatige normalisatie.
• HailoRT retourneert de NMS-vstream als een onregelmatige lijst per klasse (NMS-by-score); de parser verwerkt zowel deze indeling als object-/dense-indelingen. De eerste inferentie logt het onbewerkte type en de vorm, zodat deze op de hardware kunnen worden geverifieerd.
• Klassetoewijzing: cls_id (0..88) → COCO-categorie-ID cls_id+1 (labels_offset=1); de 10 ongebruikte COCO-ID's zijn "N/A" en worden niet getekend. Als labels verschoven lijken, leidt u de toewijzing opnieuw af uit het logboek van de eerste inferentie.
• Standaardwaarden: betrouwbaarheid 0.25, IOU 0.45 (IOU heeft geen effect — NMS wordt op de chip uitgevoerd). Model Zoo-evaluatie gebruikt 0.001 / 0.5 — verlaag de betrouwbaarheidsschuifregelaar om meer te bekijken.

Ontwikkelopmerkingen

• Bronmodule: src/rpi5_hailo8_efficientdet_lite2/
• Dockerfile: docker/hailo8/efficientdet_lite2.dockerfile
• Container: ghcr.io/seeed-projects/recomputer-hailo8-cv/efficientdet_lite2:latest
• De module gebruikt de HailoRT 4.23 VStreams API en een Hailo-8-specifieke HEF.
• Familie: efficientdet (varianten lite0 / lite1 / lite2); dit is de lite2- build.