NanoDet-RepVGG

reComputer R Series (CM5 + Hailo-8) で NanoDet-RepVGG を実行

NanoDet-RepVGG は HailoRT を介して Hailo-8 上で COCO 80 クラスの物体検出を行います。NMS はチップ上で実行され（Hailo HPP、meta_arch=yolov8）、ホストは NMS 後のテンソルのみを解析します。nanodet ファミリーの最初のバリアントです（nanodet_repvgg / nanodet_repvgg_a12 / nanodet_repvgg_a1_640）。

このページは、PCIe Hailo-8 アクセラレータを搭載した reComputer R Series (CM5 + Hailo-8) を対象とします。

モデル情報

精度は Hailo Model Zoo の参照値であり、CM5 上で測定したベンチマークではありません。

ハードウェアとホストの設定

ホストに Hailo-8 パッケージをインストールし、コンテナ起動前にドライバーとデバイスの準備を確認してください：

sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot

# After reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

このイメージが想定する HailoRT バージョンは 4.23.x です。

デモ動画で実行

sudo docker run --rm \
  --name cm5-hailo8-nanodet-repvgg \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg:latest \
  python web_detection.py --model_path model/nanodet_repvgg.hef --video_path video/test.mp4

http://<Board_IP>:8000 を開いて Web プレビューを確認します。

USB カメラモード

sudo docker run --rm \
  --name cm5-hailo8-nanodet-repvgg \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg:latest \
  python web_detection.py --model_path model/nanodet_repvgg.hef --camera_id 0

REST API

予測エンドポイント：

POST http://<Board_IP>:8000/api/models/nanodet_repvgg/predict

画像リクエストの例：

curl -X POST "http://<Board_IP>:8000/api/models/nanodet_repvgg/predict" \
  -F "file=@test.jpg"

実装上の注意

• HEF は NMS をチップ上で実行します（device_pre_post_layers: nms=true, hpp=true、meta_arch=yolov8）。アプリは公式 tf_postproc_nms に従って NMS 後のテンソルのみを解析するため、nms_thresh は無視されます（API 互換性のみ）。
• NMS 後の行は [ymin, xmin, ymax, xmax, score] で、416x416 の letterbox 入力に対して [0,1] に正規化されます。アプリがピクセル座標への変換と letterbox の補正を行います。
• normalize_in_net（ImageNet RGB mean/std）+ チップ上の input_conversion(bgr_to_rgb)：アプリは黒（0）で letterbox を行い、生の uint8 BGR ピクセルを入力します。手動正規化も cvtColor も行いません（HEF 内部で BGR→RGB に変換）。
• HailoRT は NMS vstream をクラスごとの可変長リスト（NMS-by-score）で返します。パーサーは object/dense 形式にも対応します。初回推論で生の型と形状を記録し、実機検証を可能にします。
• クラス対応：cls_id（0..79）は標準 COCO 80 クラス一覧に直接対応します（meta_arch=yolov8、0 始まり、labels_offset なし、欠番なし）。ラベルがずれる場合は初回推論ログから再導出してください。
• 既定値：信頼度 0.25、IOU 0.45（NMS はチップ上のため IOU は無効）。Model Zoo 評価は 0.05 / 0.6 を使用します。信頼度スライダーを下げると検出を多く確認できます。

開発上の注意

• ソースモジュール: src/rpi5_hailo8_nanodet_repvgg/
• Dockerfile: docker/hailo8/nanodet_repvgg.dockerfile
• コンテナ: ghcr.io/seeed-projects/recomputer-hailo8-cv/nanodet_repvgg:latest
• モジュールは HailoRT 4.23 VStreams API と Hailo-8 専用 HEF を使用します。
• ファミリー：nanodet（バリアント：nanodet_repvgg / nanodet_repvgg_a12 / nanodet_repvgg_a1_640 は計画中）。これは nanodet_repvgg ビルドです。