CV / ResNet

ResNet v1

reComputer R Series (CM5 + Hailo-8)

ImageNet-Klassifikation mit ResNet v1-18/v1-34/v1-50 auf reComputer R Series mit Hailo-8 oder Hailo-10H.

9 Downloads
Größe
12.5 MB
Speicher
4GB+
Präzision
Hailo HEF

Wähle das Gerät, das du verwendest. Die Einrichtungsanleitung und Dokumentation werden entsprechend aktualisiert.

Erste Schritte

Bereitstellen
sudo docker run --rm \
  --name pi5-hailo8-resnet-v1-18 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_18:latest \
  python web_detection.py --model_path model/resnet_v1_18.hef --video_path video/test.mp4

Modelldetails

reComputer R Series (CM5 + Hailo-8)

ResNet v1-18/v1-34/v1-50 ImageNet-Klassifizierung auf reComputer R Series (CM5 + Hailo-8)

ResNet v1-18/v1-34/v1-50 klassifizieren 1000 ImageNet-Klassen auf Hailo-8 über HailoRT 4.23. Jede HEF nimmt ein 224×224-RGB-Bild entgegen und gibt 1000 Scores zurück; der Host wendet Softmax an, glättet die Scores über die Zeit und blendet ein Top-K-Panel in die MJPEG-Vorschau ein. Alle drei Varianten nutzen denselben Webdienst und dasselbe offizielle Hailo-Demovideo.

Modellinformationen

VarianteEingabeMitgelieferte HEFTop-1 Float / Hailo-8Parameter / OpsContainer
ResNet v1-18224×224×3 RGB12.5 MB71.3 / 71.111.68M / 3.64Gresnet_v1_18
ResNet v1-34224×224×3 RGB15.7 MB72.7 / 72.221.79M / 7.34Gresnet_v1_34
ResNet v1-50224×224×3 RGB18.0 MB75.2 / 74.725.53M / 6.98Gresnet_v1_50

Hardware- und Host-Einrichtung

ElementWert
BoardreComputer R Series mit Raspberry Pi CM5
BeschleunigerHailo-8 über PCIe, verfügbar als /dev/hailo0
LaufzeitumgebungHailoRT 4.23.x (Host / Container müssen dieselbe Major-/Minor-Version verwenden)
Python im Container3.11, aarch64
bash
sudo apt update
sudo apt install hailo-all -y
sudo reboot

# After reboot
hailortcli fw-control identify
ls /dev/hailo0

# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start docker

Mit Demovideo ausführen

Wählen Sie den Befehl passend zur Modellvariante aus.

ResNet v1-18

bash
sudo docker run --rm \
  --name pi5-hailo8-resnet-v1-18 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_18:latest \
  python web_detection.py --model_path model/resnet_v1_18.hef --video_path video/test.mp4

ResNet v1-34

bash
sudo docker run --rm \
  --name pi5-hailo8-resnet-v1-34 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_34:latest \
  python web_detection.py --model_path model/resnet_v1_34.hef --video_path video/test.mp4

ResNet v1-50

bash
sudo docker run --rm \
  --name pi5-hailo8-resnet-v1-50 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_50:latest \
  python web_detection.py --model_path model/resnet_v1_50.hef --video_path video/test.mp4

Öffnen Sie http://<Board_IP>:8000, um das Top-K-Overlay anzuzeigen. Das mitgelieferte video/test.mp4 ist Hailos offizieller Klassifizierungs-Democlip (example.mp4, eine Straßenszene mit Autos und Personen).

USB-Kameramodus

bash
sudo docker run --rm \
  --name pi5-hailo8-resnet-v1-18 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_18:latest \
  python web_detection.py --model_path model/resnet_v1_18.hef --camera_id 0

REST API

Jede Variante hat ihren eigenen Endpunkt:

VarianteEndpunkt
ResNet v1-18POST /api/models/resnet_v1_18/predict
ResNet v1-34POST /api/models/resnet_v1_34/predict
ResNet v1-50POST /api/models/resnet_v1_50/predict
bash
curl -X POST "http://<Board_IP>:8000/api/models/resnet_v1_18/predict" \
  -F "file=@test.jpg" -F "conf=0.30" -F "iou=5"

Die Antwort enthält predictions-Einträge mit dem ImageNet-Klassennamen, einem kurzen Label und der Konfidenz. iou wird als Top-K-Anzahl wiederverwendet, um die API-Kompatibilität mit den Erkennungsmodulen zu wahren.

Implementierungshinweise

  • Jede HEF stellt einen einzelnen 1000-dimensionalen Score-Vektor bereit; softmax und argmax sind bei der Kompilierung deaktiviert, daher führt der Host Softmax und Top-K aus.
  • Die Vorverarbeitung besteht aus einem einfachen Resize auf 224×224 und BGR→RGB; die ImageNet-Mean/Std-Normalisierung ist in die HEF kompiliert. Letterboxing wird nicht verwendet.
  • Die Live-Vorschau glättet den Wahrscheinlichkeitsvektor (0.6 vorheriger Wert + 0.4 aktueller Wert), um das Flackern der Labels zu verhindern, und zeichnet anschließend das Top-K-Panel.
  • Die Eingabegröße der HEF wird beim Start ausgelesen (224×224).

Entwicklungshinweise

  • Quellen: src/rpi5_hailo8_resnet_v1_{18,34,50}/
  • Dockerfiles: docker/hailo8/resnet_v1_{18,34,50}.dockerfile
  • Container: ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_{18,34,50}:latest
  • HEFs: Hailo Model Zoo v2.20.0 (hailo8), Größen und SHA256 in der model/README.md des jeweiligen Moduls dokumentiert
  • Demovideo: https://hailo-csdata.s3.eu-west-2.amazonaws.com/resources/video/example.mp4 (aus hailo-ai/hailo-apps, MIT)

Eingaben und Ausgaben

Eingabe: Bild, Video oder USB-Kameraframe. Ausgabe: Top-K-ImageNet-Klassen und Konfidenz.