NanoDet-RepVGG

NanoDet-RepVGG auf reComputer R Series (CM5 + Hailo-8)

NanoDet-RepVGG erkennt über HailoRT auf Hailo-8 Objekte der 80 COCO-Klassen. NMS läuft auf dem Chip (Hailo HPP, meta_arch=yolov8); der Host analysiert nur den Post-NMS-Tensor. Dies ist die erste Variante der nanodet-Familie (nanodet_repvgg / nanodet_repvgg_a12 / nanodet_repvgg_a1_640).

Diese Seite richtet sich an reComputer R Series (CM5 + Hailo-8) mit einem PCIe-Hailo-8-Beschleuniger.

Modellinformationen

Der Genauigkeitswert ist eine Referenz aus Hailo Model Zoo, kein auf CM5 gemessener Benchmark.

Hardware- und Hosteinrichtung

Installieren Sie die Hailo-8-Pakete auf dem Host und prüfen Sie vor dem Containerstart, ob Treiber und Gerät bereit sind:

sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot

# After reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

Die für dieses Image erwartete HailoRT-Version ist 4.23.x.

Mit Demovideo ausführen

sudo docker run --rm \
  --name cm5-hailo8-nanodet-repvgg \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg:latest \
  python web_detection.py --model_path model/nanodet_repvgg.hef --video_path video/test.mp4

Öffnen Sie http://<Board_IP>:8000 für die Webvorschau.

USB-Kameramodus

sudo docker run --rm \
  --name cm5-hailo8-nanodet-repvgg \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg:latest \
  python web_detection.py --model_path model/nanodet_repvgg.hef --camera_id 0

REST-API

Vorhersage-Endpunkt:

POST http://<Board_IP>:8000/api/models/nanodet_repvgg/predict

Beispiel einer Bildanfrage:

curl -X POST "http://<Board_IP>:8000/api/models/nanodet_repvgg/predict" \
  -F "file=@test.jpg"

Implementierungshinweise

• Das HEF führt NMS auf dem Chip aus (device_pre_post_layers: nms=true, hpp=true, meta_arch=yolov8); die Anwendung analysiert nur den Post-NMS-Tensor (gemäß offiziellem tf_postproc_nms). nms_thresh wird deshalb ignoriert (nur API-Kompatibilität).
• Post-NMS-Zeilen sind [ymin, xmin, ymax, xmax, score], normalisiert auf [0,1] der 416x416-Letterbox-Eingabe; die Anwendung skaliert zu Pixeln und entfernt die Letterbox-Transformation.
• normalize_in_net (ImageNet RGB mean/std) + input_conversion(bgr_to_rgb) auf dem Chip: Die Anwendung verwendet schwarzes (0) Letterbox-Padding und liefert rohe uint8-BGR-Pixel, ohne manuelle Normalisierung oder cvtColor (das HEF wandelt BGR intern in RGB um).
• HailoRT liefert den NMS-vstream als unterschiedlich lange Liste je Klasse (NMS-by-score); der Parser unterstützt auch object/dense-Layouts. Die erste Inferenz protokolliert Rohtyp und Form zur Prüfung auf der Hardware.
• Klassenzuordnung: cls_id (0..79) → direkt die standardmäßige Liste der 80 COCO-Klassen (meta_arch=yolov8, 0-basiert, ohne labels_offset oder Lücken). Bei verschobenen Labels aus dem ersten Inferenzprotokoll neu ableiten.
• Standardwerte: Konfidenz 0.25, IOU 0.45 (ohne Wirkung, da NMS auf dem Chip läuft). Model-Zoo-Evaluation verwendet 0.05 / 0.6; senken Sie den Konfidenzregler für mehr Ergebnisse.

Entwicklungshinweise

• Quellmodul: src/rpi5_hailo8_nanodet_repvgg/
• Dockerfile: docker/hailo8/nanodet_repvgg.dockerfile
• Container: ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg:latest
• Das Modul verwendet die HailoRT-4.23-VStreams-API und ein Hailo-8-spezifisches HEF.
• Familie: nanodet (Varianten nanodet_repvgg / nanodet_repvgg_a12 / nanodet_repvgg_a1_640 geplant); dies ist der nanodet_repvgg-Build.