YOLOv8-seg auf reComputer R Series (CM5 + Hailo-8)

YOLOv8n/s/m-seg läuft auf dem Hailo-8 über HailoRT 4.23. Das HEF legt rohe Heads offen (kein On-Chip-NMS): Der Host dekodiert die DFL-Boxen, wendet Sigmoid und NMS pro Klasse an und setzt die Prototyp-Masken zusammen (32 Koeffizienten × 160×160×32-Prototyp, auf jede Box zugeschnitten) für 80 COCO-Klassen.

Modellinformationen

Hardware- und Host-Setup

sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot

# After reboot
hailortcli fw-control identify
ls /dev/hailo0

# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start docker

Mit Demo-Video ausführen

Wählen Sie den Befehl passend zur Modellvariante.

YOLOv8n-seg

sudo docker run --rm \
  --name cm5-hailo8-yolov8n-seg \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/yolov8n_seg:latest \
  python web_detection.py --model_path model/yolov8n_seg.hef --video_path video/test.mp4

YOLOv8s-seg

sudo docker run --rm \
  --name cm5-hailo8-yolov8s-seg \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/yolov8s_seg:latest \
  python web_detection.py --model_path model/yolov8s_seg.hef --video_path video/test.mp4

YOLOv8m-seg

sudo docker run --rm \
  --name cm5-hailo8-yolov8m-seg \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/yolov8m_seg:latest \
  python web_detection.py --model_path model/yolov8m_seg.hef --video_path video/test.mp4

Öffnen Sie http://<Board_IP>:8000, um die Web-Vorschau zu sehen (Instanzmasken pro Klasse überlagert + Erkennungsboxen).

USB-Kameramodus

sudo docker run --rm \
  --name cm5-hailo8-yolov8n-seg \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/yolov8n_seg:latest \
  python web_detection.py --model_path model/yolov8n_seg.hef --camera_id 0

REST API

Jede Variante hat ihren eigenen Endpoint:

Beispiel:

curl -X POST "http://<Board_IP>:8000/api/models/yolov8n_seg/predict" \
  -F "file=@test.jpg"

Die Antwort enthält predictions-Einträge mit den Feldern class, confidence und box (box ist x1/y1/x2/y2 in Pixeln des Originalbilds). Instanzmasken werden in der MJPEG-Vorschau dargestellt; /api/video_feed liefert den annotierten Stream.

Implementierungshinweise

• Das HEF legt 10 rohe Tensoren offen: pro Stride (32/16/8) ein 64-Kanal-DFL-Box-Head, ein 80-Kanal-Klassen-Head und ein 32-Kanal-Maskenkoeffizienten-Head, plus ein 160×160×32-Prototyp. Die erste Inferenz protokolliert jeden Tensornamen, jede Form und jeden Wertebereich.
• Die Box-Dekodierung verwendet die DFL-Softmax-Erwartung (16 Bins) über der Zellmitte; eine Kompilierung, die das DFL wegklappt (4-Kanal-Head), wird direkt dekodiert.
• Die Klassen-Heads können auf dem Gerät bereits sigmoid-aktiviert sein (Model Zoo alls script); das Modul wendet Sigmoid nur an, wenn die Werte rohe Logits sind.
• Die one2many-Vorhersagen durchlaufen ein NMS pro Klasse, gesteuert durch die Konfidenz- und IoU-Slider; Masken sind sigmoid(coeffs @ proto), auf die Eingabe hochskaliert und auf jede Box zugeschnitten (Schwelle 0.5).
• Letterbox-Padding ist 114 (Model Zoo base/yolo.yaml); die Normalisierung Mittelwert 0 / Std 255 ist in das HEF kompiliert.

Entwicklungshinweise

• Der Executor ist der HailoRT-4.23-InferVStreams-Wrapper (Python 3.11 + das mitgelieferte cp311-Wheel); das native libhailort.so kommt vom Host.
• HEFs: Hailo-Model-Zoo-v2.19.0-Hailo-8-Builds.
• Die referenzierten mAP-Werte (COCO-Instanzsegmentierung) sind die Full-Precision-Angaben des Model Zoo, keine Messungen auf diesem Board.