CV / SSD
SSD MobileNet V2
reComputer R Series (CM5 + Hailo-8)
COCO-Objekterkennung mit 80 Klassen durch SSD MobileNet V2 (NMS auf dem Chip) auf reComputer R Series mit Hailo-8.
Wähle das Gerät, das du verwendest. Die Einrichtungsanleitung und Dokumentation werden entsprechend aktualisiert.
Erste Schritte
sudo docker run --rm \
--name cm5-hailo8-ssd-mobilenet-v2 \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest \
python web_detection.py --model_path model/ssd_mobilenet_v2.hef --video_path video/test.mp4REST API
Verwende die REST API für die Inferenz. Kopiere die folgenden Befehle.
curl -X POST "http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict" \
-F "file=@test.jpg"import requests
response = requests.post(
"http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict",
files={"file": open("test.jpg", "rb")},
timeout=30,
)
print(response.json())Modelldetails
SSD MobileNet V2 auf reComputer R Series (CM5 + Hailo-8)
SSD MobileNet V2 ist der klassische TensorFlow-SSD-Detektor mit MobileNet-V2-Backbone. Er erkennt auf Hailo-8 die 80 COCO-Klassen. Gleiche Ein-/Ausgabe wie V1, aber leichter und etwas genauer. NMS läuft auf dem Chip (Hailo HPP, meta_arch=ssd); der Host analysiert nur den Post-NMS-Tensor.
Diese Seite richtet sich an reComputer R Series (CM5 + Hailo-8) mit einem PCIe-Hailo-8-Beschleuniger.
Modellinformationen
| Eigenschaft | Wert |
|---|---|
| Architektur | SSD + MobileNet V2 |
| Aufgabe | Objekterkennung |
| Eingabe | 300x300x3 RGB (normalize_in_net mean=127.5/std=127.5) |
| Ausgabe | NMS-Tensor auf dem Chip, Post-NMS-Form 90x8x1 |
| Klassen | 90 Plätze (COCO-IDs 1..90 über labels_offset=1; 10 ungenutzt) |
| Parameter | 4.46M |
| Operationen | 1.52G |
| Nachverarbeitung | NMS auf dem Chip (HPP); Host analysiert Post-NMS-Tensor |
| HEF | Hailo Model Zoo v2.19.0, Hailo-8 |
Hardware- und Hosteinrichtung
| Eintrag | Wert |
|---|---|
| Board | reComputer R Series mit Raspberry Pi CM5 |
| Beschleuniger | Hailo-8 über PCIe, verfügbar als /dev/hailo0 |
| Laufzeit | HailoRT 4.23.x |
| Python im Container | 3.11, aarch64 |
sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0Mit Demovideo ausführen
sudo docker run --rm \
--name cm5-hailo8-ssd-mobilenet-v2 \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest \
python web_detection.py --model_path model/ssd_mobilenet_v2.hef --video_path video/test.mp4Öffnen Sie http://<Board_IP>:8000 für die Webvorschau.
USB-Kameramodus
sudo docker run --rm \
--name cm5-hailo8-ssd-mobilenet-v2 \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
--device /dev/video0:/dev/video0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest \
python web_detection.py --model_path model/ssd_mobilenet_v2.hef --camera_id 0REST-API
POST http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predictcurl -X POST "http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict" \
-F "file=@test.jpg"| Endpunkt | Methode | Zweck |
|---|---|---|
/ | GET | Webvorschau-Oberfläche |
/api/models/ssd_mobilenet_v2/predict | POST | Erkennungen (JSON) |
/api/video_feed | GET | MJPEG-Vorschaustream |
Implementierungshinweise
- Gleicher Ein-/Ausgabevertrag und gleiche Nachverarbeitung wie V1; nur das Backbone unterscheidet sich (MobileNet V2 → leichter, etwas genauer).
- Das HEF führt NMS auf dem Chip aus; die Anwendung analysiert nur den Post-NMS-Tensor (
tf_postproc_nms).nms_threshwird deshalb ignoriert (nur API-Kompatibilität). normalize_in_netmean=127.5/std=127.5 (klassische SSD-Normalisierung); die Anwendung liefert nach Letterboxing rohe uint8-RGB-Pixel, ohne manuelle Normalisierung.- HailoRT liefert den NMS-vstream als unterschiedlich lange Liste je Klasse (NMS-by-score); der Parser unterstützt ragged/object/dense-Layouts. Die erste Inferenz protokolliert Rohtyp und Form zur Prüfung auf der Hardware.
- Klassenzuordnung:
cls_id(0..89) → COCO-Kategorie-IDcls_id+1(labels_offset=1); 10 ungenutzte COCO-IDs sind „N/A“ und werden nicht gezeichnet. - Standardwerte: Konfidenz 0.25, IOU 0.45 (IOU ohne Wirkung, NMS auf dem Chip). Evaluation verwendet 0.3 / 0.6.
Entwicklungshinweise
- Quellmodul:
src/rpi5_hailo8_ssd_mobilenet_v2/ - Dockerfile:
docker/hailo8/ssd_mobilenet_v2.dockerfile - Container:
ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest - Familie: ssd (Varianten ssd_mobilenet_v1 / ssd_mobilenet_v2); dies ist der V2-Build.
Eingaben und Ausgaben
Eingabe: Bild, Video oder USB-Kamerabild. Ausgabe: COCO-Erkennungsboxen für 80 Klassen mit Konfidenzen sowie eine annotierte MJPEG-Vorschau.