CV / ViTPose

ViTPose-Small-BN

reComputer R Series (CM5 + Hailo-10H)

reComputer R Series + Hailo-8 上で動作する ViTPose-Small-BN 単一人物 2D 姿勢推定モデル。

100 ダウンロード

サイズ

31 MB

メモリ

4GB+

精度

Hailo HEF / HailoRT 4.23.x (Hailo-8) / 5.1.1 (Hailo-10H)

使用しているデバイスを選択してください。セットアップガイドとドキュメントがそれに応じて更新されます。

プラットフォーム

推論エンジン

はじめる

デプロイ

sudo docker run --rm \
  --name cm5-hailo10h-vit-pose-bn \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.5.1.1:/usr/lib/libhailort.so.5.1.1:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo10h-cv/vit_pose_small_bn:latest \
  python web_detection.py --model_path model/vit_pose_small_bn.hef --video_path video/test.mp4

REST API

REST API を使用して推論を実行します。以下のコマンドをコピーしてください。

Curl

curl -X POST "http://<Board_IP>:8000/api/models/vit_pose_small_bn/predict" \
  -F "file=@test.jpg"

Python

import requests
response = requests.post(
    "http://<Board_IP>:8000/api/models/vit_pose_small_bn/predict",
    files={"file": open("test.jpg", "rb")},
    timeout=30,
)
print(response.json())

モデル詳細

reComputer R Series (CM5 + Hailo-10H)

reComputer R Series（CM5 + Hailo-10H）上の ViTPose-Small-BN

ViTPose-Small-BN は単人物の 2D 姿勢推定を行います。HEF は 64x48x17 のヒートマップを出力し、アプリはチャネルごとに argmax を取って座標を 256x192 の入力に拡大し、元画像へ戻して 17 個の COCO キーポイントを描画します。

本ページは PCIe Hailo-10H アクセラレータを搭載した reComputer R Series（CM5 + Hailo-10H） を対象とします。

モデル情報

項目	値
アーキテクチャ	ViTPose-Small-BN（Vision Transformer バックボーン）
タスク	単人物の姿勢推定（17 個の COCO キーポイント）
入力	256x192x3 RGB（レターボックス、正規化は HEF に内蔵）
出力	ヒートマップ 64x48x17（argmax デコード、オンチップ NMS なし）
パラメータ数	24.32M
演算量	17.17G
HEF	Hailo Model Zoo v5.4.0, Hailo-10H (23,314,432 bytes)

ハードウェアとホスト設定

項目	値
ボード	reComputer R Series（Raspberry Pi CM5 搭載）
アクセラレータ	PCIe 接続の Hailo-10H（`/dev/hailo0`）
ランタイム	HailoRT 5.1.1
コンテナ内 Python	3.13, aarch64

ホストに Hailo-10H パッケージをインストールし、コンテナ起動前にドライバーとデバイスを確認します：

bash

sudo apt update
sudo apt install hailo-h10-all -y
sudo reboot

# 再起動後
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

同梱デモ映像での実行

bash

sudo docker run --rm \
  --name cm5-hailo10h-vit-pose-small-bn \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.5.1.1:/usr/lib/libhailort.so.5.1.1:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo10h-cv/vit_pose_small_bn:latest \
  python web_detection.py --model_path model/vit_pose_small_bn.hef --video_path video/test.mp4

http://<Board_IP>:8000 を開くとプレビューが表示され、人物に COCO スケルトンが重ねて描画されます。

USB カメラモード

bash

sudo docker run --rm \
  --name cm5-hailo10h-vit-pose-small-bn \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.5.1.1:/usr/lib/libhailort.so.5.1.1:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo10h-cv/vit_pose_small_bn:latest \
  python web_detection.py --model_path model/vit_pose_small_bn.hef --camera_id 0

REST API

text

POST http://<Board_IP>:8000/api/models/vit_pose_small_bn/predict

bash

curl -X POST "http://<Board_IP>:8000/api/models/vit_pose_small_bn/predict" \
  -F "file=@test.jpg"

エンドポイント	メソッド	用途
`/`	GET	Web プレビュー UI
`/api/models/vit_pose_small_bn/predict`	POST	17 個の COCO キーポイント（JSON）
`/api/video_feed`	GET	MJPEG プレビュー配信
`/api/config`	GET / POST	実行時しきい値の取得・変更
`/api/video/upload`	POST	ソース映像のアップロード
`/api/video/analyze`	POST	オフライン映像解析の開始
`/api/video/status`	GET	解析進捗の取得
`/api/video/download/{filename}`	GET	注釈付き結果のダウンロード

スコアがしきい値（0.30）未満のキーポイントはスケルトン描画から除外されます。

実装メモ

単人物モデル：人物がクロップ中央にある前提のため、複数人の場面では検出器で各人を切り出す必要があります。
前処理は 256x192 へ黒パディング付きレターボックス、BGR→RGB、uint8 のまま入力します。ImageNet 正規化（RGB の平均 [123.675, 116.28, 103.53]、標準偏差 [58.395, 57.12, 57.375]）は HEF に内蔵されています。
後処理は各ヒートマップチャネルの argmax で 64x48 上の (x, y) を得て、256x192 入力に拡大しレターボックス情報で元画像へ戻します。オンチップ NMS も DARK によるサブピクセル補正もありません。
初回推論で生の出力 shape を 1 回だけ出力します（[ViTPose] raw output shape=...）。実機でレイアウトを確認できます。

開発メモ

ソースモジュール：src/hailo10h_vit_pose_small_bn/
Dockerfile：docker/hailo10h/vit_pose_small_bn.dockerfile
イメージ：ghcr.io/seeed-projects/recomputer-hailo10h-cv/vit_pose_small_bn:latest
モジュールは HailoRT 5.1.1 の InferModel API と Hailo-10H 向け HEF を使用します。
ユニットテストはデバイスなしで実行できます：python -m unittest discover -s tests -v。

入力と出力

入力：画像、動画、または USB カメラフレーム。出力：17 個の COCO キーポイント（x、y、スコア）と骨格オーバーレイ。