CV / ResNet

ResNet v1

reComputer R Series (CM5 + Hailo-8)

reComputer R Series + Hailo-8 / Hailo-10H で ResNet v1-18/v1-34/v1-50 による ImageNet 分類。

9 ダウンロード
サイズ
12.5 MB
メモリ
4GB+
精度
Hailo HEF

使用しているデバイスを選択してください。セットアップガイドとドキュメントがそれに応じて更新されます。

はじめる

デプロイ
sudo docker run --rm \
  --name pi5-hailo8-resnet-v1-18 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_18:latest \
  python web_detection.py --model_path model/resnet_v1_18.hef --video_path video/test.mp4

モデル詳細

reComputer R Series (CM5 + Hailo-8)

reComputer R Series(CM5 + Hailo-8)での ResNet v1-18/v1-34/v1-50 による ImageNet 分類

ResNet v1-18/v1-34/v1-50 は、HailoRT 4.23 を介して Hailo-8 上で 1000 クラスの ImageNet 分類を行います。 各 HEF は 224×224 の RGB フレームを受け取り、1000 個のスコアを返します。ホスト側で softmax を適用し、スコアを時間方向に平滑化して、MJPEG プレビュー上に Top-K パネルを 重ねて表示します。3 つのバリアントはすべて、同じ Web サービスと Hailo 公式デモ動画を 共有します。

モデル情報

バリアント入力パッケージ済み HEFTop-1 float / Hailo-8パラメータ / 演算量コンテナ
ResNet v1-18224×224×3 RGB12.5 MB71.3 / 71.111.68M / 3.64Gresnet_v1_18
ResNet v1-34224×224×3 RGB15.7 MB72.7 / 72.221.79M / 7.34Gresnet_v1_34
ResNet v1-50224×224×3 RGB18.0 MB75.2 / 74.725.53M / 6.98Gresnet_v1_50

ハードウェアとホストのセットアップ

項目値
ボードRaspberry Pi CM5 搭載 reComputer R Series
アクセラレータPCIe 経由の Hailo-8、/dev/hailo0 として公開
ランタイムHailoRT 4.23.x(ホスト / コンテナで major.minor を一致させる必要があります)
コンテナ内 Python3.11、aarch64
bash
sudo apt update
sudo apt install hailo-all -y
sudo reboot

# After reboot
hailortcli fw-control identify
ls /dev/hailo0

# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start docker

デモ動画で実行

モデルバリアントに対応するコマンドを選択してください。

ResNet v1-18

bash
sudo docker run --rm \
  --name pi5-hailo8-resnet-v1-18 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_18:latest \
  python web_detection.py --model_path model/resnet_v1_18.hef --video_path video/test.mp4

ResNet v1-34

bash
sudo docker run --rm \
  --name pi5-hailo8-resnet-v1-34 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_34:latest \
  python web_detection.py --model_path model/resnet_v1_34.hef --video_path video/test.mp4

ResNet v1-50

bash
sudo docker run --rm \
  --name pi5-hailo8-resnet-v1-50 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_50:latest \
  python web_detection.py --model_path model/resnet_v1_50.hef --video_path video/test.mp4

http://<Board_IP>:8000 を開くと、Top-K オーバーレイを表示できます。同梱の video/test.mp4 は Hailo 公式の分類デモクリップ(example.mp4、車や人が写る 街路のシーン)です。

USB カメラモード

bash
sudo docker run --rm \
  --name pi5-hailo8-resnet-v1-18 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_18:latest \
  python web_detection.py --model_path model/resnet_v1_18.hef --camera_id 0

REST API

各バリアントには専用のエンドポイントがあります。

バリアントエンドポイント
ResNet v1-18POST /api/models/resnet_v1_18/predict
ResNet v1-34POST /api/models/resnet_v1_34/predict
ResNet v1-50POST /api/models/resnet_v1_50/predict
bash
curl -X POST "http://<Board_IP>:8000/api/models/resnet_v1_18/predict" \
  -F "file=@test.jpg" -F "conf=0.30" -F "iou=5"

predictions エントリには、ImageNet クラス名、短いラベル、信頼度が含まれます。 iou は、検出モジュールとの API 互換性のために Top-K の件数として流用されます。

実装上の注意

  • 各 HEF は 1000 次元のスコアベクトルを 1 つだけ公開します。コンパイル時に softmax と argmax は無効化されているため、softmax と Top-K はホスト側で実行します。
  • 前処理は 224×224 への単純なリサイズと BGR→RGB 変換のみです。ImageNet の mean/std 正規化は HEF にコンパイルされています。レターボックスは使用しません。
  • ライブプレビューでは、ラベルのちらつきを防ぐために確率ベクトルを平滑化し(前回 0.6 + 今回 0.4)、その後 Top-K パネルを描画します。
  • HEF の入力サイズは起動時に読み取ります(224×224)。

開発上の注意

  • ソース: src/rpi5_hailo8_resnet_v1_{18,34,50}/
  • Dockerfile: docker/hailo8/resnet_v1_{18,34,50}.dockerfile
  • コンテナ: ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_{18,34,50}:latest
  • HEF: Hailo Model Zoo v2.20.0(hailo8)。サイズと SHA256 は各モジュールの model/README.md に記載されています。
  • デモ動画: https://hailo-csdata.s3.eu-west-2.amazonaws.com/resources/video/example.mp4 (hailo-ai/hailo-apps より、MIT)

入力と出力

入力: 画像、動画、またはUSBカメラフレーム。出力: Top-K の ImageNet クラスと信頼度。