CV / Pose MSPN

MSPN RegNetX-800MF

Estimation de pose MSPN à personne unique avec 17 points clés COCO sur reComputer série R avec Hailo-8 ou Hailo-10H.

51 téléchargements

Taille

5.8 MB

Mémoire

4GB+

Précision

Hailo HEF / HailoRT

Choisissez l'appareil que vous utilisez. Le guide de configuration et la documentation seront mis à jour en conséquence.

Plateforme

Moteur d'inférence

Pour commencer

Déployer

sudo docker run --rm \
  --name cm5-hailo8-mspn-regnetx-800mf \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/mspn_regnetx_800mf:latest \
  python web_detection.py --model_path model/mspn_regnetx_800mf.hef --video_path video/test.mp4

API REST

Utilisez l'API REST pour exécuter l'inférence. Copiez les commandes ci-dessous.

Curl

curl -X POST "http://<Board_IP>:8000/api/models/mspn_regnetx_800mf/predict" \
  -F "file=@test.jpg"

Python

import requests

resp = requests.post(
    "http://<Board_IP>:8000/api/models/mspn_regnetx_800mf/predict",
    files={"file": open("test.jpg", "rb")},
    timeout=30,
)
print(resp.json())

Détails du modèle

reComputer série R

MSPN RegNetX-800MF sur reComputer R Series (CM5 + Hailo-8)

MSPN (Multi-Stage Pose Network) avec squelette RegNetX-800MF réalise l'estimation de pose d'une personne unique avec 17 points clés COCO. Le HEF produit une carte thermique 64x48x17 ; l'application prend l'argmax par canal, met à l'échelle vers l'espace d'entrée et dessine le squelette COCO.

Cette page cible la reComputer R Series (CM5 + Hailo-8) avec un accélérateur Hailo-8 PCIe.

Informations sur le modèle

Propriété	Valeur
Architecture	MSPN + RegNetX-800MF
Tâche	Estimation de pose d'une personne unique
Entrée	256x192x3 RGB (normalize_in_net ImageNet RGB)
Sortie	Carte thermique 64x48x17 (17 points clés COCO)
Paramètres	7.17M
Opérations	2.94G
AP matériel	70.3%
FPS	2126
HEF	Hailo Model Zoo v2.19.0, Hailo-8

Configuration matérielle et de l'hôte

Le pilote Hailo-8, le firmware, le libhailort.so de l'hôte et la roue Python dans l'image doivent utiliser des versions majeures/mineures HailoRT identiques (4.23.x).

bash

sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot

hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

Exécuter avec la vidéo de démonstration

bash

sudo docker run --rm \
  --name cm5-hailo8-mspn-regnetx-800mf \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/mspn_regnetx_800mf:latest \
  python web_detection.py --model_path model/mspn_regnetx_800mf.hef --video_path video/test.mp4

Ouvrez http://<Board_IP>:8000 pour voir l'aperçu web avec le squelette de points clés superposé.

Mode caméra USB

bash

sudo docker run --rm \
  --name cm5-hailo8-mspn-regnetx-800mf \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/mspn_regnetx_800mf:latest \
  python web_detection.py --model_path model/mspn_regnetx_800mf.hef --camera_id 0

API REST

bash

curl -X POST "http://<Board_IP>:8000/api/models/mspn_regnetx_800mf/predict" \
  -F "file=@test.jpg"

Point de terminaison	Méthode	Objectif
`/api/models/mspn_regnetx_800mf/predict`	POST	17 points clés COCO (JSON)
`/api/video_feed`	GET	Flux d'aperçu MJPEG

Détails d'implémentation

Module source : src/rpi5_hailo8_mspn_regnetx_800mf/
Dockerfile : docker/hailo8/mspn_regnetx_800mf.dockerfile
normalize_in_net avec moyenne/écart-type RGB ImageNet ; pas d'input_conversion — alimentation en RGB uint8 brut après le letterbox.
Décodage : argmax par canal de la carte thermique → (x, y) dans l'espace 64x48 → mise à l'échelle vers 256x192 → suppression du letterbox vers l'image d'origine. La disposition brute du vstream est affichée une fois à la première inférence.
Modèle mono-personne : suppose une personne centrée. Pour plusieurs personnes, exécutez d'abord un détecteur et recadrez chaque personne.
L'implémentation de référence du Model Zoo ajoute un flou gaussien 5x5 et un décalage d'un quart de pixel ; cette démo les omet.

Dépannage

Le HEF ne se charge pas : vérifiez que HailoRT est en 4.23.x et que le libhailort.so monté correspond au pilote de l'hôte.
Pas de /dev/hailo0 : vérifiez lsmod | grep hailo et réinstallez hailort-pcie-driver.
Aucun squelette dessiné : baissez le curseur de confiance des points clés (0.30 par défaut).
Positions de points clés incorrectes : vérifiez que les formes d'entrée/sortie affichées correspondent à l'entrée 256x192 et à la carte thermique 64x48x17.

Entrées et sorties

Entrée : image (256x192 RGB). Sortie : 17 points clés avec x, y, confiance (format COCO).