CV / CenterPose

CenterPose RegNetX-800MF

Pose-estimatie voor meerdere personen met CenterPose RegNetX-800MF en 17 COCO-keypoints op reComputer R Series met Hailo-8 of Hailo-10H.

15 downloads

Grootte

13.93 MB

Geheugen

4GB+

Precisie

Hailo HEF / HailoRT

Kies het apparaat dat je gebruikt. De installatiehandleiding en documentatie worden dienovereenkomstig bijgewerkt.

Platform

Inferentie-engine

Aan de slag

Implementeren

sudo docker run --rm \
  --name pi5-hailo8-centerpose \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/centerpose_regnetx_800mf:latest \
  python web_detection.py --model_path model/centerpose_regnetx_800mf.hef --video_path video/test.mp4

REST API

Gebruik de REST API om inferentie uit te voeren. Kopieer de onderstaande commando's.

Curl

curl -X POST "http://<Board_IP>:8000/api/models/centerpose_regnetx_800mf/predict" \
  -F "file=@test.jpg"

Python

import requests

response = requests.post(
    "http://<Board_IP>:8000/api/models/centerpose_regnetx_800mf/predict",
    files={"file": open("test.jpg", "rb")},
    timeout=30,
)
print(response.json())

Modeldetails

reComputer R Series (CM5 + Hailo-8)

CenterPose RegNetX-800MF op reComputer R Series (CM5 + Hailo-8)

CenterPose RegNetX-800MF voert bottom-up pose-estimatie voor meerdere personen uit in één netwerkpass. De demo op Hailo-8 levert persoonsboxen en 17 COCO-lichaamskeypoints, en biedt live MJPEG-preview, beeldinferentie en offline video-analyse via een FastAPI-service.

Modelinformatie

Eigenschap	Waarde
Architectuur	CenterPose met RegNetX-800MF-backbone
Taak	Pose-estimatie voor meerdere personen
Invoer	512×512×3 BGR
Uitvoer	Persoonsboxen en 17 COCO-keypoints
Parameters	12.31M
HEF-bron	Hailo Model Zoo v2.19.0, gecompileerd voor Hailo-8
Runtime	HailoRT 4.23.x

Hardware- en hostconfiguratie

Item	Waarde
Board	reComputer R Series met Raspberry Pi CM5
Versneller	Hailo-8 via PCIe, beschikbaar als `/dev/hailo0`
OS	Raspberry Pi OS, aarch64
Gevalideerde runtime	HailoRT 4.23.x

bash

sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot

# Controleer na herstart
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

De driver, firmware, host-libhailort.so en het Python-wheel in de container moeten dezelfde HailoRT-major/minor-versie delen.

Uitvoeren met de meegeleverde demovideo

De video wordt zoals gevraagd hergebruikt uit de yolov8_pose-applicatie.

bash

sudo docker run --rm \
  --name pi5-hailo8-centerpose \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/centerpose_regnetx_800mf:latest \
  python web_detection.py \
    --model_path model/centerpose_regnetx_800mf.hef \
    --video_path video/test.mp4

Open http://<Board_IP>:8000 om de geannoteerde stream en de video-analyse-interface te bekijken.

USB-cameramodus

bash

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/centerpose_regnetx_800mf:latest \
  python web_detection.py \
    --model_path model/centerpose_regnetx_800mf.hef \
    --camera_id 0

REST-API

text

POST http://<Board_IP>:8000/api/models/centerpose_regnetx_800mf/predict

bash

curl -X POST "http://<Board_IP>:8000/api/models/centerpose_regnetx_800mf/predict" \
  -F "file=@test.jpg"

| Eindpunt | Methode | Doel | |---|---| | / | GET | Webpreview-interface | | /api/models/centerpose_regnetx_800mf/predict | POST | Pose-inferentie op één frame | | /api/video_feed | GET | Geannoteerde MJPEG-stream | | /api/config | GET / POST | Confidence-/NMS-drempels lezen of wijzigen | | /api/video/upload | POST | Bronvideo uploaden | | /api/video/analyze | POST | Offline video-analyse starten | | /api/video/status | GET | Analysevoortgang lezen | | /api/video/download/{filename} | GET | Het geannoteerde resultaat downloaden |

Implementatiedetails

Bron: src/rpi5_hailo8_centerpose_regnetx_800mf/
Dockerfile: docker/hailo8/centerpose_regnetx_800mf.dockerfile
HEF: model/centerpose_regnetx_800mf.hef (14,609,405 bytes)
De decoder verwerkt de CenterPose-koppen hm, wh, hps, reg, hm_hp en hp_offset en zet de detecties terug via de letterbox-transformatie van de invoer.
CenterPose gebruikt de oorspronkelijke OpenCV BGR-volgorde omdat de normalisatie in deze HEF is ingebouwd.

Invoer en uitvoer

Invoer: afbeelding, video of frame van een USB-camera. Uitvoer: persoonskaders, betrouwbaarheidswaarden, 17 COCO-sleutelpunten en een geannoteerde MJPEG-voorvertoning.