CV / SSD

SSD MobileNet V2

reComputer R Series (CM5 + Hailo-8)

COCO-objectdetectie voor 80 klassen met SSD MobileNet V2 (NMS op de chip) op reComputer R Series met Hailo-8.

64 downloads
Grootte
5.6 MB
Geheugen
4GB+
Precisie
Hailo HEF / HailoRT

Kies het apparaat dat je gebruikt. De installatiehandleiding en documentatie worden dienovereenkomstig bijgewerkt.

Aan de slag

Implementeren
sudo docker run --rm \
  --name cm5-hailo8-ssd-mobilenet-v2 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest \
  python web_detection.py --model_path model/ssd_mobilenet_v2.hef --video_path video/test.mp4

REST API

Gebruik de REST API om inferentie uit te voeren. Kopieer de onderstaande commando's.

Curl
curl -X POST "http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict" \
  -F "file=@test.jpg"
Python
import requests

response = requests.post(
    "http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict",
    files={"file": open("test.jpg", "rb")},
    timeout=30,
)
print(response.json())

Modeldetails

SSD MobileNet V2 op reComputer R Series (CM5 + Hailo-8)

SSD MobileNet V2 is de klassieke TensorFlow SSD-detector met een MobileNet V2-backbone. Hij detecteert de 80 COCO-klassen op Hailo-8. Dezelfde in-/uitvoer als V1, maar lichter en iets nauwkeuriger. NMS draait op de chip (Hailo HPP, meta_arch=ssd); de host verwerkt alleen de tensor na NMS.

Deze pagina is bedoeld voor reComputer R Series (CM5 + Hailo-8) met een PCIe-Hailo-8-versneller.

Modelinformatie

EigenschapWaarde
ArchitectuurSSD + MobileNet V2
TaakObjectdetectie
Invoer300x300x3 RGB (normalize_in_net mean=127.5/std=127.5)
UitvoerNMS-tensor op de chip, vorm na NMS 90x8x1
Klassen90 posities (COCO-ID’s 1..90 via labels_offset=1; 10 ongebruikt)
Parameters4.46M
Bewerkingen1.52G
NabewerkingNMS op de chip (HPP); host verwerkt tensor na NMS
HEFHailo Model Zoo v2.19.0, Hailo-8

Hardware- en hostinstellingen

OnderdeelWaarde
BordreComputer R Series met Raspberry Pi CM5
VersnellerHailo-8 via PCIe, beschikbaar als /dev/hailo0
RuntimeHailoRT 4.23.x
Python in container3.11, aarch64
bash
sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

Uitvoeren met demovideo

bash
sudo docker run --rm \
  --name cm5-hailo8-ssd-mobilenet-v2 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest \
  python web_detection.py --model_path model/ssd_mobilenet_v2.hef --video_path video/test.mp4

Open http://<Board_IP>:8000 voor het webvoorbeeld.

USB-cameramodus

bash
sudo docker run --rm \
  --name cm5-hailo8-ssd-mobilenet-v2 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest \
  python web_detection.py --model_path model/ssd_mobilenet_v2.hef --camera_id 0

REST-API

text
POST http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict
bash
curl -X POST "http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict" \
  -F "file=@test.jpg"
EndpointMethodeDoel
/GETWebvoorbeeldinterface
/api/models/ssd_mobilenet_v2/predictPOSTDetecties (JSON)
/api/video_feedGETMJPEG-voorbeeldstream

Implementatienotities

  • Hetzelfde in-/uitvoercontract en dezelfde nabewerking als V1; alleen de backbone verschilt (MobileNet V2 → lichter, iets nauwkeuriger).
  • Het HEF voert NMS op de chip uit; de toepassing verwerkt alleen de tensor na NMS (tf_postproc_nms) en negeert daarom nms_thresh (alleen API-compatibiliteit).
  • normalize_in_net mean=127.5/std=127.5 (klassieke SSD-normalisatie); de toepassing levert na letterbox ruwe uint8-RGB-pixels, zonder handmatige normalisatie.
  • HailoRT retourneert de NMS-vstream als lijsten van wisselende lengte per klasse (NMS-by-score); de parser ondersteunt ragged/object/dense-indelingen. De eerste inferentie registreert het ruwe type en de vorm voor controle op hardware.
  • Klassekoppeling: cls_id (0..89) → COCO-categorie-ID cls_id+1 (labels_offset=1); 10 ongebruikte COCO-ID's zijn ‘N/A’ en worden niet getekend.
  • Standaardwaarden: betrouwbaarheid 0.25, IOU 0.45 (IOU zonder effect, NMS op de chip). Evaluatie gebruikt 0.3 / 0.6.

Ontwikkelnotities

  • Bronmodule: src/rpi5_hailo8_ssd_mobilenet_v2/
  • Dockerfile: docker/hailo8/ssd_mobilenet_v2.dockerfile
  • Container: ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest
  • Familie: ssd (varianten ssd_mobilenet_v1 / ssd_mobilenet_v2); dit is de V2-build.

Invoer en uitvoer

Invoer: afbeelding, video of een frame van een USB-camera. Uitvoer: detectiekaders voor 80 COCO-klassen met betrouwbaarheidswaarden, plus een geannoteerde MJPEG-preview.