NanoDet-RepVGG-a1-640

NanoDet-RepVGG-a1-640 op reComputer R Series (CM5 + Hailo-8)

nanodet_repvgg_a1_640 detecteert objecten van de 80 COCO-klassen op Hailo-8 via HailoRT. Dezelfde basis (base/nanodet.yaml) als nanodet_repvgg, maar met een grotere RepVGG-A1-backbone en 640x640-invoer voor hogere nauwkeurigheid. NMS draait op de chip (Hailo HPP, meta_arch=yolov8); de host verwerkt alleen de tensor na NMS.

Deze pagina is bedoeld voor reComputer R Series (CM5 + Hailo-8) met een PCIe-Hailo-8-versneller.

Modelinformatie

De nauwkeurigheid is een referentiewaarde uit Hailo Model Zoo, geen op CM5 gemeten benchmark.

Hardware- en hostinstellingen

Installeer de Hailo-8-pakketten op de host en controleer vóór het starten van de container of het stuurprogramma en apparaat gereed zijn:

sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot

# After reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

De verwachte HailoRT-versie voor dit image is 4.23.x.

Uitvoeren met demovideo

sudo docker run --rm \
  --name cm5-hailo8-nanodet-repvgg-a1-640 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg_a1_640:latest \
  python web_detection.py --model_path model/nanodet_repvgg_a1_640.hef --video_path video/test.mp4

Open http://<Board_IP>:8000 voor het webvoorbeeld.

USB-cameramodus

sudo docker run --rm \
  --name cm5-hailo8-nanodet-repvgg-a1-640 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg_a1_640:latest \
  python web_detection.py --model_path model/nanodet_repvgg_a1_640.hef --camera_id 0

REST-API

Voorspellingsendpoint:

POST http://<Board_IP>:8000/api/models/nanodet_repvgg_a1_640/predict

Voorbeeld van een afbeeldingsverzoek:

curl -X POST "http://<Board_IP>:8000/api/models/nanodet_repvgg_a1_640/predict" \
  -F "file=@test.jpg"

Implementatienotities

• Dezelfde basis (base/nanodet.yaml) en NMS-nabewerking op de chip (HPP) als nanodet_repvgg; alleen de backbone (RepVGG-A1) en invoergrootte (640x640) verschillen.
• Het HEF voert NMS op de chip uit (device_pre_post_layers: nms=true, hpp=true, meta_arch=yolov8); de toepassing verwerkt alleen de tensor na NMS en negeert daarom nms_thresh (alleen voor API-compatibiliteit).
• Rijen na NMS zijn [ymin, xmin, ymax, xmax, score], genormaliseerd naar [0,1] van de 640x640-letterboxinvoer; de toepassing schaalt naar pixels en maakt de letterboxtransformatie ongedaan.
• normalize_in_net + input_conversion(bgr_to_rgb) op de chip: de toepassing gebruikt zwarte (0) letterboxopvulling en levert ruwe uint8-BGR-pixels, zonder handmatige normalisatie of cvtColor.
• HailoRT retourneert de NMS-vstream als lijsten van wisselende lengte per klasse (NMS-by-score); de parser ondersteunt ook object/dense-indelingen. De eerste inferentie registreert het ruwe type en de vorm voor controle op hardware.
• Klassekoppeling: cls_id (0..79) → rechtstreeks de standaardlijst van 80 COCO-klassen.
• Standaardwaarden: betrouwbaarheid 0.25, IOU 0.45 (zonder effect omdat NMS op de chip draait). Model Zoo-evaluatie gebruikt 0.05 / 0.6; verlaag de betrouwbaarheidsschuifregelaar om meer resultaten te bekijken.

Ontwikkelnotities

• Bronmodule: src/rpi5_hailo8_nanodet_repvgg_a1_640/
• Dockerfile: docker/hailo8/nanodet_repvgg_a1_640.dockerfile
• Container: ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg_a1_640:latest
• De module gebruikt de HailoRT 4.23 VStreams-API en een Hailo-8-specifiek HEF.
• Familie: nanodet (varianten nanodet_repvgg / nanodet_repvgg_a12 / nanodet_repvgg_a1_640); dit is de nanodet_repvgg_a1_640-build.