CV / SSD

SSD MobileNet V2

reComputer R Series (CM5 + Hailo-8)

COCO-Objekterkennung mit 80 Klassen durch SSD MobileNet V2 (NMS auf dem Chip) auf reComputer R Series mit Hailo-8.

64 Downloads
Größe
5.6 MB
Speicher
4GB+
Präzision
Hailo HEF / HailoRT

Wähle das Gerät, das du verwendest. Die Einrichtungsanleitung und Dokumentation werden entsprechend aktualisiert.

Erste Schritte

Bereitstellen
sudo docker run --rm \
  --name cm5-hailo8-ssd-mobilenet-v2 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest \
  python web_detection.py --model_path model/ssd_mobilenet_v2.hef --video_path video/test.mp4

REST API

Verwende die REST API für die Inferenz. Kopiere die folgenden Befehle.

Curl
curl -X POST "http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict" \
  -F "file=@test.jpg"
Python
import requests

response = requests.post(
    "http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict",
    files={"file": open("test.jpg", "rb")},
    timeout=30,
)
print(response.json())

Modelldetails

SSD MobileNet V2 auf reComputer R Series (CM5 + Hailo-8)

SSD MobileNet V2 ist der klassische TensorFlow-SSD-Detektor mit MobileNet-V2-Backbone. Er erkennt auf Hailo-8 die 80 COCO-Klassen. Gleiche Ein-/Ausgabe wie V1, aber leichter und etwas genauer. NMS läuft auf dem Chip (Hailo HPP, meta_arch=ssd); der Host analysiert nur den Post-NMS-Tensor.

Diese Seite richtet sich an reComputer R Series (CM5 + Hailo-8) mit einem PCIe-Hailo-8-Beschleuniger.

Modellinformationen

EigenschaftWert
ArchitekturSSD + MobileNet V2
AufgabeObjekterkennung
Eingabe300x300x3 RGB (normalize_in_net mean=127.5/std=127.5)
AusgabeNMS-Tensor auf dem Chip, Post-NMS-Form 90x8x1
Klassen90 Plätze (COCO-IDs 1..90 über labels_offset=1; 10 ungenutzt)
Parameter4.46M
Operationen1.52G
NachverarbeitungNMS auf dem Chip (HPP); Host analysiert Post-NMS-Tensor
HEFHailo Model Zoo v2.19.0, Hailo-8

Hardware- und Hosteinrichtung

EintragWert
BoardreComputer R Series mit Raspberry Pi CM5
BeschleunigerHailo-8 über PCIe, verfügbar als /dev/hailo0
LaufzeitHailoRT 4.23.x
Python im Container3.11, aarch64
bash
sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

Mit Demovideo ausführen

bash
sudo docker run --rm \
  --name cm5-hailo8-ssd-mobilenet-v2 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest \
  python web_detection.py --model_path model/ssd_mobilenet_v2.hef --video_path video/test.mp4

Öffnen Sie http://<Board_IP>:8000 für die Webvorschau.

USB-Kameramodus

bash
sudo docker run --rm \
  --name cm5-hailo8-ssd-mobilenet-v2 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest \
  python web_detection.py --model_path model/ssd_mobilenet_v2.hef --camera_id 0

REST-API

text
POST http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict
bash
curl -X POST "http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict" \
  -F "file=@test.jpg"
EndpunktMethodeZweck
/GETWebvorschau-Oberfläche
/api/models/ssd_mobilenet_v2/predictPOSTErkennungen (JSON)
/api/video_feedGETMJPEG-Vorschaustream

Implementierungshinweise

  • Gleicher Ein-/Ausgabevertrag und gleiche Nachverarbeitung wie V1; nur das Backbone unterscheidet sich (MobileNet V2 → leichter, etwas genauer).
  • Das HEF führt NMS auf dem Chip aus; die Anwendung analysiert nur den Post-NMS-Tensor (tf_postproc_nms). nms_thresh wird deshalb ignoriert (nur API-Kompatibilität).
  • normalize_in_net mean=127.5/std=127.5 (klassische SSD-Normalisierung); die Anwendung liefert nach Letterboxing rohe uint8-RGB-Pixel, ohne manuelle Normalisierung.
  • HailoRT liefert den NMS-vstream als unterschiedlich lange Liste je Klasse (NMS-by-score); der Parser unterstützt ragged/object/dense-Layouts. Die erste Inferenz protokolliert Rohtyp und Form zur Prüfung auf der Hardware.
  • Klassenzuordnung: cls_id (0..89) → COCO-Kategorie-ID cls_id+1 (labels_offset=1); 10 ungenutzte COCO-IDs sind „N/A“ und werden nicht gezeichnet.
  • Standardwerte: Konfidenz 0.25, IOU 0.45 (IOU ohne Wirkung, NMS auf dem Chip). Evaluation verwendet 0.3 / 0.6.

Entwicklungshinweise

  • Quellmodul: src/rpi5_hailo8_ssd_mobilenet_v2/
  • Dockerfile: docker/hailo8/ssd_mobilenet_v2.dockerfile
  • Container: ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest
  • Familie: ssd (Varianten ssd_mobilenet_v1 / ssd_mobilenet_v2); dies ist der V2-Build.

Eingaben und Ausgaben

Input: image, video, or USB camera frame. Output: COCO 80-class detection boxes with confidences, plus an annotated MJPEG preview.