YOLOv8-pose

YOLOv8 Pose auf reComputer R Series (CM5 + Hailo-10H)

YOLOv8 Pose schätzt menschliche Keypoints über HailoRT auf Hailo-10H. Das Modell erkennt Personen, liefert pro Person eine Box mit 17 COCO-Keypoints und bietet Browser-Vorschau, Einzelbild-API und Offline-Videoanalyse.

Diese Seite richtet sich an reComputer R Series (CM5 + Hailo-10H) mit einem PCIe-Hailo-10H-Beschleuniger.

Modellinformationen

Der Hailo Model Zoo veröffentlicht für Hailo-10H die Größen s und m. Jede Größe hat ihr eigenes Image (yolov8s_pose und yolov8m_pose), das Image benennt also das Modell.

Hardware und Host-Setup

Installieren Sie die Hailo-10H-Pakete auf dem Host und prüfen Sie Treiber und Gerät, bevor Sie den Container starten:

sudo apt update
sudo apt install hailo-h10-all -y
sudo reboot

# Nach dem Neustart
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

Ausführung mit dem Demo-Video

sudo docker run --rm \
  --name cm5-hailo10h-yolov8s-pose \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.5.1.1:/usr/lib/libhailort.so.5.1.1:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo10h-cv/yolov8s_pose:latest \
  python web_detection.py --model_path model/yolov8s_pose.hef --video_path video/test.mp4

Öffnen Sie http://<Board_IP>:8000 für die Vorschau: Personenboxen mit eingezeichnetem COCO-Skelett.

Größeres Modell

sudo docker run --rm \
  --name cm5-hailo10h-yolov8m-pose \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.5.1.1:/usr/lib/libhailort.so.5.1.1:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo10h-cv/yolov8m_pose:latest \
  python web_detection.py --model_path model/yolov8m_pose.hef --video_path video/test.mp4

USB-Kameramodus

sudo docker run --rm \
  --name cm5-hailo10h-yolov8s-pose \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.5.1.1:/usr/lib/libhailort.so.5.1.1:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo10h-cv/yolov8s_pose:latest \
  python web_detection.py --model_path model/yolov8s_pose.hef --camera_id 0

REST API

POST http://<Board_IP>:8000/api/models/yolov8_pose/predict

curl -X POST "http://<Board_IP>:8000/api/models/yolov8_pose/predict" \
  -F "file=@test.jpg"

{
  "success": true,
  "source": "uploaded image",
  "predictions": [
    {
      "class": "person",
      "confidence": 0.91,
      "box": {"x1": 120, "y1": 80, "x2": 360, "y2": 520},
      "keypoints": [{"x": 180, "y": 120, "score": 0.87}]
    }
  ],
  "image": {"width": 1280, "height": 720}
}

Keypoints unterhalb des Schwellenwerts (0,30) werden in der Antwort weggelassen.

Implementierungshinweise

• Das HEF gibt die rohen Pose-Heads aus, ohne On-Chip-NMS: neun Tensoren auf drei Feature-Map-Ebenen, jeweils bbox DFL (64 Kanäle), score (1) und keypoints (51).
• Die Dekodierung folgt dem ultralytics-/Model-Zoo-Pose-Head: Sigmoid für Scores, DFL-Softmax für die Box-Abstände, Keypoints als (2 * raw + grid) * stride in der Reihenfolge (x, y, score); das NMS läuft auf dem Host.
• Werte, die bereits in [0, 1] liegen, bleiben Wahrscheinlichkeiten, sonst wird Sigmoid angewendet – der Decoder passt damit zu beiden kompilierten Formen.

Entwicklungshinweise

• Quellmodul: src/hailo10h_yolov8s_pose/, src/hailo10h_yolov8m_pose/
• Dockerfile: docker/hailo10h/yolov8s_pose.dockerfile, docker/hailo10h/yolov8m_pose.dockerfile
• Container: ghcr.io/seeed-projects/recomputer-hailo10h-cv/yolov8s_pose:latest, ghcr.io/seeed-projects/recomputer-hailo10h-cv/yolov8m_pose:latest
• Das Modul nutzt die HailoRT-5.1.1-InferModel-API und ein Hailo-10H-spezifisches HEF.
• Unit-Tests (gemockte HailoRT + Pose-Postprocessing-Regression) laufen ohne Gerät: python -m unittest discover -s tests -v.