CV / CenterPose

CenterPose RegNetX-800MF

Posenschätzung für mehrere Personen mit CenterPose RegNetX-800MF und 17 COCO-Keypoints auf reComputer R Series mit Hailo-8 oder Hailo-10H.

15 Downloads

Größe

13.93 MB

Speicher

4GB+

Präzision

Hailo HEF / HailoRT

Wähle das Gerät, das du verwendest. Die Einrichtungsanleitung und Dokumentation werden entsprechend aktualisiert.

Plattform

Inferenz-Engine

Erste Schritte

Bereitstellen

sudo docker run --rm \
  --name pi5-hailo8-centerpose \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/centerpose_regnetx_800mf:latest \
  python web_detection.py --model_path model/centerpose_regnetx_800mf.hef --video_path video/test.mp4

REST API

Verwende die REST API für die Inferenz. Kopiere die folgenden Befehle.

Curl

curl -X POST "http://<Board_IP>:8000/api/models/centerpose_regnetx_800mf/predict" \
  -F "file=@test.jpg"

Python

import requests

response = requests.post(
    "http://<Board_IP>:8000/api/models/centerpose_regnetx_800mf/predict",
    files={"file": open("test.jpg", "rb")},
    timeout=30,
)
print(response.json())

Modelldetails

reComputer R Series (CM5 + Hailo-8)

CenterPose RegNetX-800MF auf reComputer R Series (CM5 + Hailo-8)

CenterPose RegNetX-800MF führt eine Bottom-up-Posenschätzung für mehrere Personen in einem einzigen Netzwerkdurchlauf durch. Die Demo auf Hailo-8 liefert Personenboxen und 17 COCO-Körper-Keypoints sowie Live-MJPEG-Vorschau, Bildinferenz und Offline-Videoanalyse über einen FastAPI-Dienst.

Modellinformationen

Eigenschaft	Wert
Architektur	CenterPose mit RegNetX-800MF-Backbone
Aufgabe	Posenschätzung für mehrere Personen
Eingabe	512×512×3 BGR
Ausgabe	Personenboxen und 17 COCO-Keypoints
Parameter	12.31M
HEF-Quelle	Hailo Model Zoo v2.19.0, kompiliert für Hailo-8
Runtime	HailoRT 4.23.x

Hardware- und Host-Einrichtung

Element	Wert
Board	reComputer R Series mit Raspberry Pi CM5
Beschleuniger	Hailo-8 über PCIe, verfügbar als `/dev/hailo0`
OS	Raspberry Pi OS, aarch64
Validiertes Runtime	HailoRT 4.23.x

bash

sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot

# Nach dem Neustart prüfen
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

Treiber, Geräte-Firmware, Host-libhailort.so und Python-Wheel im Container müssen dieselbe HailoRT-Haupt-/Nebenversion verwenden.

Mit dem mitgelieferten Demovideo ausführen

Das Video wird wie gewünscht aus der yolov8_pose-Anwendung wiederverwendet.

bash

sudo docker run --rm \
  --name pi5-hailo8-centerpose \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/centerpose_regnetx_800mf:latest \
  python web_detection.py \
    --model_path model/centerpose_regnetx_800mf.hef \
    --video_path video/test.mp4

Öffnen Sie http://<Board_IP>:8000, um den annotierten Stream und die Videoanalyse-Oberfläche zu sehen.

USB-Kameramodus

bash

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/centerpose_regnetx_800mf:latest \
  python web_detection.py \
    --model_path model/centerpose_regnetx_800mf.hef \
    --camera_id 0

REST-API

text

POST http://<Board_IP>:8000/api/models/centerpose_regnetx_800mf/predict

bash

curl -X POST "http://<Board_IP>:8000/api/models/centerpose_regnetx_800mf/predict" \
  -F "file=@test.jpg"

| Endpunkt | Methode | Zweck | |---|---| | / | GET | Webvorschau-Oberfläche | | /api/models/centerpose_regnetx_800mf/predict | POST | Posenschätzung für ein Einzelbild | | /api/video_feed | GET | Annotierter MJPEG-Stream | | /api/config | GET / POST | Konfidenz-/NMS-Schwellen lesen oder ändern | | /api/video/upload | POST | Quellvideo hochladen | | /api/video/analyze | POST | Offline-Videoanalyse starten | | /api/video/status | GET | Analysefortschritt lesen | | /api/video/download/{filename} | GET | Annotiertes Ergebnis herunterladen |

Implementierungsdetails

Quelle: src/rpi5_hailo8_centerpose_regnetx_800mf/
Dockerfile: docker/hailo8/centerpose_regnetx_800mf.dockerfile
HEF: model/centerpose_regnetx_800mf.hef (14,609,405 Bytes)
Der Decoder verarbeitet die CenterPose-Köpfe hm, wh, hps, reg, hm_hp und hp_offset und rechnet die Detektionen über die Letterbox-Transformation der Eingabe zurück.
CenterPose verwendet die ursprüngliche OpenCV-BGR-Reihenfolge, da die Normalisierung in diesem HEF integriert ist.

Eingaben und Ausgaben

Eingabe: Bild, Video oder Frame einer USB-Kamera. Ausgabe: Personen-Bounding-Boxes, Konfidenzwerte, 17 COCO-Schlüsselpunkte und annotierte MJPEG-Vorschau.