CenterNet (resnet_v1_18) auf reComputer R Series (CM5 + Hailo-8)

CenterNet mit ResNet-18-Backbone führt COCO-Objekterkennung über 80 Klassen auf Hailo-8 über HailoRT durch, mit der On-Chip-max_finder-Nachbearbeitungsvariante.

Diese Seite richtet sich an die reComputer R Series (CM5 + Hailo-8) mit einem PCIe-Hailo-8-Beschleuniger.

Modellinformationen

Der Genauigkeitswert stammt aus der Hailo Model Zoo Objekterkennungstabelle für Hailo-8. Es ist keine auf CM5 gemessene Benchmark.

Hardware- und Host-Einrichtung

Installieren Sie die entsprechenden Pakete auf dem Host und stellen Sie sicher, dass Treiber und Gerät bereit sind, bevor Sie den Container starten:

sudo apt update

# Beide Kandidaten müssen vor der Installation 4.23.x sein.
apt-cache policy hailort hailort-pcie-driver

sudo apt install hailort=4.23.0 hailort-pcie-driver=4.23.0
sudo reboot

# Nach dem Neustart
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

Die erwartete HailoRT-Version für dieses Image ist 4.23.x. Fahren Sie nicht fort, wenn apt-cache policy HailoRT 5.x auswählt; diese Runtime zielt auf Hailo-10H und passt nicht zu diesem Hailo-8-Container.

Mit Demovideo ausführen

sudo docker run --rm \
  --name cm5-hailo8-centernet \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/centernet_resnet_v1_18_postprocess:latest \
  python web_detection.py --model_path model/centernet_resnet_v1_18_postprocess.hef --video_path video/test.mp4

Öffnen Sie http://<Board_IP>:8000, um die Webvorschau anzuzeigen.

USB-Kameramodus

sudo docker run --rm \
  --name cm5-hailo8-centernet \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/centernet_resnet_v1_18_postprocess:latest \
  python web_detection.py --model_path model/centernet_resnet_v1_18_postprocess.hef --camera_id 0

REST-API

Vorhersage-Endpunkt:

POST http://<Board_IP>:8000/api/models/centernet_resnet_v1_18_postprocess/predict

Beispiel-Bildanfrage:

curl -X POST "http://<Board_IP>:8000/api/models/centernet_resnet_v1_18_postprocess/predict" \
  -F "file=@test.jpg"

| Endpunkt | Methode | Zweck | |---|---| | / | GET | Webvorschau-Oberfläche | | /api/models/centernet_resnet_v1_18_postprocess/predict | POST | Erkennungen (JSON) | | /api/video_feed | GET | MJPEG-Vorschaustream |

Implementierungshinweise

• Das HEF wurde mit normalize_in_net=true (ImageNet-Mittelwert/-Standardabweichung, RGB) kompiliert; die App letterboxt daher auf 512x512, konvertiert BGR zu RGB und speist rohe uint8-Pixel ein — keine manuelle Normalisierung.
• Der Heatmap-Kopf ist bereits dünnbesetzt: der On-Chip-max_finder plus Score-Schwelle (0.2) behalten nur lokale Maxima über der Schwelle. Der Decoder nimmt diese Peaks, liest wh/reg an jedem Peak und rekonstruiert Boxen mit der offiziellen Hailo Model Zoo-Formel (Stride 4, 128x128-Featuremap → 512x512-Eingabe) und rechnet das Letterboxing auf das Originalbild zurück.
• Die beiden 2-Kanal-Köpfe (wh, reg) werden über den vstream-Namen zugeordnet, wenn die Conv-Nummer verfügbar ist (conv3 → wh, conv5 → reg), andernfalls über die Netzwerkausgabereihenfolge. Die erste Inferenz gibt Name/Form jedes vstreams und die aufgelöste Zuordnung aus, damit sie auf der Hardware überprüft werden kann.

Entwicklungsnotizen

• Quellmodul: src/rpi5_hailo8_centernet_resnet_v1_18_postprocess/
• Dockerfile: docker/hailo8/centernet_resnet_v1_18_postprocess.dockerfile
• Container: ghcr.io/seeed-projects/recomputer-hailo8-cv/centernet_resnet_v1_18_postprocess:latest
• Das Modul verwendet die VStreams-API von HailoRT 4.23 und ein Hailo-8-spezifisches HEF.