CV / SSD
SSD MobileNet V2
reComputer R Series (CM5 + Hailo-8)
COCO-objectdetectie voor 80 klassen met SSD MobileNet V2 (NMS op de chip) op reComputer R Series met Hailo-8.
Kies het apparaat dat je gebruikt. De installatiehandleiding en documentatie worden dienovereenkomstig bijgewerkt.
Aan de slag
sudo docker run --rm \
--name cm5-hailo8-ssd-mobilenet-v2 \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest \
python web_detection.py --model_path model/ssd_mobilenet_v2.hef --video_path video/test.mp4REST API
Gebruik de REST API om inferentie uit te voeren. Kopieer de onderstaande commando's.
curl -X POST "http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict" \
-F "file=@test.jpg"import requests
response = requests.post(
"http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict",
files={"file": open("test.jpg", "rb")},
timeout=30,
)
print(response.json())Modeldetails
SSD MobileNet V2 op reComputer R Series (CM5 + Hailo-8)
SSD MobileNet V2 is de klassieke TensorFlow SSD-detector met een MobileNet V2-backbone. Hij detecteert de 80 COCO-klassen op Hailo-8. Dezelfde in-/uitvoer als V1, maar lichter en iets nauwkeuriger. NMS draait op de chip (Hailo HPP, meta_arch=ssd); de host verwerkt alleen de tensor na NMS.
Deze pagina is bedoeld voor reComputer R Series (CM5 + Hailo-8) met een PCIe-Hailo-8-versneller.
Modelinformatie
| Eigenschap | Waarde |
|---|---|
| Architectuur | SSD + MobileNet V2 |
| Taak | Objectdetectie |
| Invoer | 300x300x3 RGB (normalize_in_net mean=127.5/std=127.5) |
| Uitvoer | NMS-tensor op de chip, vorm na NMS 90x8x1 |
| Klassen | 90 posities (COCO-ID’s 1..90 via labels_offset=1; 10 ongebruikt) |
| Parameters | 4.46M |
| Bewerkingen | 1.52G |
| Nabewerking | NMS op de chip (HPP); host verwerkt tensor na NMS |
| HEF | Hailo Model Zoo v2.19.0, Hailo-8 |
Hardware- en hostinstellingen
| Onderdeel | Waarde |
|---|---|
| Bord | reComputer R Series met Raspberry Pi CM5 |
| Versneller | Hailo-8 via PCIe, beschikbaar als /dev/hailo0 |
| Runtime | HailoRT 4.23.x |
| Python in container | 3.11, aarch64 |
sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0Uitvoeren met demovideo
sudo docker run --rm \
--name cm5-hailo8-ssd-mobilenet-v2 \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest \
python web_detection.py --model_path model/ssd_mobilenet_v2.hef --video_path video/test.mp4Open http://<Board_IP>:8000 voor het webvoorbeeld.
USB-cameramodus
sudo docker run --rm \
--name cm5-hailo8-ssd-mobilenet-v2 \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
--device /dev/video0:/dev/video0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest \
python web_detection.py --model_path model/ssd_mobilenet_v2.hef --camera_id 0REST-API
POST http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predictcurl -X POST "http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict" \
-F "file=@test.jpg"| Endpoint | Methode | Doel |
|---|---|---|
/ | GET | Webvoorbeeldinterface |
/api/models/ssd_mobilenet_v2/predict | POST | Detecties (JSON) |
/api/video_feed | GET | MJPEG-voorbeeldstream |
Implementatienotities
- Hetzelfde in-/uitvoercontract en dezelfde nabewerking als V1; alleen de backbone verschilt (MobileNet V2 → lichter, iets nauwkeuriger).
- Het HEF voert NMS op de chip uit; de toepassing verwerkt alleen de tensor na NMS (
tf_postproc_nms) en negeert daaromnms_thresh(alleen API-compatibiliteit). normalize_in_netmean=127.5/std=127.5 (klassieke SSD-normalisatie); de toepassing levert na letterbox ruwe uint8-RGB-pixels, zonder handmatige normalisatie.- HailoRT retourneert de NMS-vstream als lijsten van wisselende lengte per klasse (NMS-by-score); de parser ondersteunt ragged/object/dense-indelingen. De eerste inferentie registreert het ruwe type en de vorm voor controle op hardware.
- Klassekoppeling:
cls_id(0..89) → COCO-categorie-IDcls_id+1(labels_offset=1); 10 ongebruikte COCO-ID's zijn ‘N/A’ en worden niet getekend. - Standaardwaarden: betrouwbaarheid 0.25, IOU 0.45 (IOU zonder effect, NMS op de chip). Evaluatie gebruikt 0.3 / 0.6.
Ontwikkelnotities
- Bronmodule:
src/rpi5_hailo8_ssd_mobilenet_v2/ - Dockerfile:
docker/hailo8/ssd_mobilenet_v2.dockerfile - Container:
ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest - Familie: ssd (varianten ssd_mobilenet_v1 / ssd_mobilenet_v2); dit is de V2-build.
Invoer en uitvoer
Invoer: afbeelding, video of een frame van een USB-camera. Uitvoer: detectiekaders voor 80 COCO-klassen met betrouwbaarheidswaarden, plus een geannoteerde MJPEG-preview.