CV / SSD

SSD MobileNet V2

reComputer R Series (CM5 + Hailo-8)

Hailo-8 搭載の reComputer R Series で、SSD MobileNet V2 による COCO 80 クラスの物体検出を実行します(オンチップ NMS)。

64 ダウンロード
サイズ
5.6 MB
メモリ
4GB+
精度
Hailo HEF / HailoRT

使用しているデバイスを選択してください。セットアップガイドとドキュメントがそれに応じて更新されます。

はじめる

デプロイ
sudo docker run --rm \
  --name cm5-hailo8-ssd-mobilenet-v2 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest \
  python web_detection.py --model_path model/ssd_mobilenet_v2.hef --video_path video/test.mp4

REST API

REST API を使用して推論を実行します。以下のコマンドをコピーしてください。

Curl
curl -X POST "http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict" \
  -F "file=@test.jpg"
Python
import requests

response = requests.post(
    "http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict",
    files={"file": open("test.jpg", "rb")},
    timeout=30,
)
print(response.json())

モデル詳細

reComputer R Series (CM5 + Hailo-8) で SSD MobileNet V2 を実行

SSD MobileNet V2 は MobileNet V2 バックボーンを持つ従来の TensorFlow SSD 検出器で、Hailo-8 上で COCO 80 クラスを検出します。入出力は V1 と同じですが、軽量でやや高精度です。NMS はチップ上で実行され(Hailo HPP、meta_arch=ssd)、ホストは NMS 後のテンソルのみを解析します。

このページは、PCIe Hailo-8 アクセラレータを搭載した reComputer R Series (CM5 + Hailo-8) を対象とします。

モデル情報

項目値
アーキテクチャSSD + MobileNet V2
タスク物体検出
入力300x300x3 RGB (normalize_in_net mean=127.5/std=127.5)
出力チップ上 NMS テンソル、NMS 後の形状 90x8x1
クラス数90 スロット(labels_offset=1 で COCO ID 1..90 に対応、10 個未使用)
パラメータ数4.46M
演算量1.52G
後処理チップ上 NMS(HPP)、ホストは NMS 後のテンソルを解析
HEFHailo Model Zoo v2.19.0, Hailo-8

ハードウェアとホストの設定

項目値
ボードRaspberry Pi CM5 搭載 reComputer R Series
アクセラレータPCIe 接続 Hailo-8、デバイスは /dev/hailo0
ランタイムHailoRT 4.23.x
コンテナ内 Python3.11, aarch64
bash
sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

デモ動画で実行

bash
sudo docker run --rm \
  --name cm5-hailo8-ssd-mobilenet-v2 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest \
  python web_detection.py --model_path model/ssd_mobilenet_v2.hef --video_path video/test.mp4

http://<Board_IP>:8000 を開いて Web プレビューを確認します。

USB カメラモード

bash
sudo docker run --rm \
  --name cm5-hailo8-ssd-mobilenet-v2 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest \
  python web_detection.py --model_path model/ssd_mobilenet_v2.hef --camera_id 0

REST API

text
POST http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict
bash
curl -X POST "http://<Board_IP>:8000/api/models/ssd_mobilenet_v2/predict" \
  -F "file=@test.jpg"
エンドポイントメソッド用途
/GETWeb プレビュー画面
/api/models/ssd_mobilenet_v2/predictPOST検出結果(JSON)
/api/video_feedGETMJPEG プレビューストリーム

実装上の注意

  • 入出力の仕様と後処理は V1 ビルドと同じで、バックボーンのみが異なります(MobileNet V2 → 軽量でやや高精度)。
  • HEF は NMS をチップ上で実行し、アプリは NMS 後のテンソル(tf_postproc_nms)のみを解析するため、nms_thresh は無視されます(API 互換性のみ)。
  • normalize_in_net は mean=127.5/std=127.5(従来の SSD 正規化)です。アプリは letterbox 後に生の uint8 RGB ピクセルを入力し、手動正規化は行いません。
  • HailoRT は NMS vstream をクラスごとの可変長リスト(NMS-by-score)で返します。パーサーは ragged/object/dense 形式に対応します。初回推論で生の型と形状を記録し、実機検証を可能にします。
  • クラス対応:cls_id(0..89)→ COCO カテゴリ ID cls_id+1(labels_offset=1)。未使用の 10 個の COCO ID は「N/A」とし、描画しません。
  • 既定値:信頼度 0.25、IOU 0.45(NMS はチップ上のため IOU は無効)。評価は 0.3 / 0.6 を使用します。

開発上の注意

  • ソースモジュール: src/rpi5_hailo8_ssd_mobilenet_v2/
  • Dockerfile: docker/hailo8/ssd_mobilenet_v2.dockerfile
  • コンテナ: ghcr.io/seeed-projects/recomputer-hailo8-cv/ssd_mobilenet_v2:latest
  • ファミリー:ssd(バリアント:ssd_mobilenet_v1 / ssd_mobilenet_v2)。これは V2 ビルドです。

入力と出力

Input: image, video, or USB camera frame. Output: COCO 80-class detection boxes with confidences, plus an annotated MJPEG preview.