CV / MSPN Pose

MSPN RegNetX-800MF

MSPN Einzelpersonen-Posenschätzung mit 17 COCO-Schlüsselpunkten auf reComputer R Series mit Hailo-8 oder Hailo-10H.

51 Downloads

Größe

5.8 MB

Speicher

4GB+

Präzision

Hailo HEF / HailoRT

Wähle das Gerät, das du verwendest. Die Einrichtungsanleitung und Dokumentation werden entsprechend aktualisiert.

Plattform

Inferenz-Engine

Erste Schritte

Bereitstellen

sudo docker run --rm \
  --name cm5-hailo8-mspn-regnetx-800mf \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/mspn_regnetx_800mf:latest \
  python web_detection.py --model_path model/mspn_regnetx_800mf.hef --video_path video/test.mp4

REST API

Verwende die REST API für die Inferenz. Kopiere die folgenden Befehle.

Curl

curl -X POST "http://<Board_IP>:8000/api/models/mspn_regnetx_800mf/predict" \
  -F "file=@test.jpg"

Python

import requests

resp = requests.post(
    "http://<Board_IP>:8000/api/models/mspn_regnetx_800mf/predict",
    files={"file": open("test.jpg", "rb")},
    timeout=30,
)
print(resp.json())

Modelldetails

reComputer R Series

MSPN RegNetX-800MF auf reComputer R Series (CM5 + Hailo-8)

MSPN (Multi-Stage Pose Network) mit RegNetX-800MF-Backbone führt die Posenschätzung für eine Einzelperson mit 17 COCO-Schlüsselpunkten durch. Das HEF gibt eine Heatmap 64x48x17 aus; die App nimmt das Argmax pro Kanal, skaliert in den Eingaberaum und zeichnet das COCO-Skelett.

Diese Seite zielt auf die reComputer R Series (CM5 + Hailo-8) mit einem PCIe-Hailo-8-Beschleuniger ab.

Modellinformationen

Eigenschaft	Wert
Architektur	MSPN + RegNetX-800MF
Aufgabe	Posenschätzung einer Einzelperson
Eingabe	256x192x3 RGB (normalize_in_net ImageNet RGB)
Ausgabe	Heatmap 64x48x17 (17 COCO-Schlüsselpunkte)
Parameter	7.17M
Operationen	2.94G
Hardware-AP	70.3%
FPS	2126
HEF	Hailo Model Zoo v2.19.0, Hailo-8

Hardware- und Host-Einrichtung

Der Hailo-8-Treiber, die Firmware, die Host-libhailort.so und das Python-Wheel im Image müssen übereinstimmende HailoRT-Haupt-/Nebenversionen (4.23.x) verwenden.

bash

sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot

hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

Mit Demovideo ausführen

bash

sudo docker run --rm \
  --name cm5-hailo8-mspn-regnetx-800mf \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/mspn_regnetx_800mf:latest \
  python web_detection.py --model_path model/mspn_regnetx_800mf.hef --video_path video/test.mp4

Öffnen Sie http://<Board_IP>:8000, um die Webvorschau mit dem überlagerten Schlüsselpunkt-Skelett zu sehen.

USB-Kameramodus

bash

sudo docker run --rm \
  --name cm5-hailo8-mspn-regnetx-800mf \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/mspn_regnetx_800mf:latest \
  python web_detection.py --model_path model/mspn_regnetx_800mf.hef --camera_id 0

REST-API

bash

curl -X POST "http://<Board_IP>:8000/api/models/mspn_regnetx_800mf/predict" \
  -F "file=@test.jpg"

Endpunkt	Methode	Zweck
`/api/models/mspn_regnetx_800mf/predict`	POST	17 COCO-Schlüsselpunkte (JSON)
`/api/video_feed`	GET	MJPEG-Vorschaustream

Implementierungsdetails

Quellmodul: src/rpi5_hailo8_mspn_regnetx_800mf/
Dockerfile: docker/hailo8/mspn_regnetx_800mf.dockerfile
normalize_in_net mit ImageNet-RGB-Mittelwert/Standardabweichung; keine input_conversion — rohe uint8-RGB nach dem Letterboxing.
Dekodierung: Argmax pro Heatmap-Kanal → (x, y) im 64x48-Raum → Skalierung auf 256x192 → Letterbox-Rückrechnung auf das Originalbild. Das rohe vstream-Layout wird bei der ersten Inferenz einmal ausgegeben.
Einzelpersonenmodell: setzt eine zentrierte Person voraus. Bei mehreren Personen zuerst einen Detektor ausführen und jede Person zuschneiden.
Die Model-Zoo-Referenzimplementierung ergänzt eine 5x5-Gauß-Unschärfe und eine Viertelpixel-Verschiebung; diese Demo lässt beides weg.

Fehlerbehebung

HEF lädt nicht: Prüfen Sie, ob HailoRT 4.23.x ist und die eingebundene libhailort.so zum Host-Treiber passt.
Kein /dev/hailo0: Prüfen Sie lsmod | grep hailo und installieren Sie hailort-pcie-driver neu.
Kein Skelett gezeichnet: Verringern Sie den Konfidenzregler für Schlüsselpunkte (Standard 0.30).
Falsche Schlüsselpunktpositionen: Prüfen Sie, ob die ausgegebenen Ein-/Ausgabe-Shapes zur 256x192-Eingabe und Heatmap 64x48x17 passen.

Eingaben und Ausgaben

Eingabe: Bild (256x192 RGB). Ausgabe: 17 Keypoints mit x, y, Konfidenz (COCO-Format).