CV / CAS-ViT

CAS-ViT

reComputer R Series (CM5 + Hailo-8)

reComputer R Series + Hailo-8 / Hailo-10H で CAS-ViT-S/M/T による ImageNet 分類。

13 ダウンロード
サイズ
12.7 MB
メモリ
4GB+
精度
Hailo HEF

使用しているデバイスを選択してください。セットアップガイドとドキュメントがそれに応じて更新されます。

はじめる

デプロイ
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-s \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
  python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4

モデル詳細

reComputer R Series (CM5 + Hailo-8)

CAS-ViT-S/M/T ImageNet 分類(reComputer R Series、CM5 + Hailo-8)

CAS-ViT-S/M/T は HailoRT 4.23 を通じて Hailo-8 上で 1000 クラスの ImageNet 分類を 行います。HEF は 384×384 BGR 画像を受け取り、bgr_to_rgb と ImageNet 正規化を チップ内で実行して 1000 個のスコアを返します。ホスト側で softmax を適用し、 スコアを時間方向に平滑化して MJPEG プレビューに Top-K パネルを重ねます。

モデル情報

変体入力同梱 HEFTop-1 浮動小数点 / Hailo-8パラメータ / 演算量コンテナー
CAS-ViT-S384×384×3 BGR12.7 MB79.9 / 79.75.5M / 5.4Gcas_vit_s
CAS-ViT-M384×384×3 BGR18.5 MB81.2 / 80.912.42M / 10.89Gcas_vit_m
CAS-ViT-T384×384×3 BGR26.4 MB81.9 / 81.621.76M / 20.85Gcas_vit_t

ハードウェアとホスト設定

項目値
ボードRaspberry Pi CM5 搭載 reComputer R Series
アクセラレーターPCIe Hailo-8、/dev/hailo0 として公開
ランタイムHailoRT 4.23.x(ホストとコンテナーのメジャー・マイナーを一致させる)
コンテナー内 Python3.11、aarch64
bash
sudo apt update
sudo apt install hailo-all -y
sudo reboot

# 再起動後
hailortcli fw-control identify
ls /dev/hailo0

# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start docker

デモ動画で実行

モデルの変体に対応するコマンドを選択してください。

CAS-ViT-S

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-s \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
  python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4

CAS-ViT-M

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-m \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_m:latest \
  python web_detection.py --model_path model/cas_vit_m.hef --video_path video/test.mp4

CAS-ViT-T

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-t \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_t:latest \
  python web_detection.py --model_path model/cas_vit_t.hef --video_path video/test.mp4

http://<Board_IP>:8000 を開くと Top-K オーバーレイを確認できます。同梱の video/test.mp4 は Hailo 公式の分類デモクリップ(example.mp4、車と人が写る街路の映像)です。

USB カメラモード

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-m \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
  python web_detection.py --model_path model/cas_vit_s.hef --camera_id 0

cas_vit_s を cas_vit_m または cas_vit_t に置き換えると、別の変体を実行できます。

REST API

エンドポイントメソッド
POST /api/models/cas_vit_s/predictTop-K 分類(JSON)
POST /api/models/cas_vit_m/predictTop-K 分類(JSON)
POST /api/models/cas_vit_t/predictTop-K 分類(JSON)
bash
curl -X POST "http://<Board_IP>:8000/api/models/cas_vit_m/predict" \
  -F "file=@test.jpg" -F "conf=0.30" -F "iou=5"

predictions には ImageNet クラス名、短縮ラベル、信頼度が含まれます。iou は 検出モジュールとの API 互換性のため Top-K 数として再利用されます。

実装メモ

  • HEF は 1000 次元のスコアベクトルを 1 つだけ出力します。ALLS レシピに softmax や argmax はないため、ホスト側で softmax と Top-K を実行します。
  • 前処理は 384×384 への単純なリサイズで、BGR のまま渡します。CAS-ViT の ALLS レシピが HEF 内で bgr_to_rgb と ImageNet の平均/標準偏差による正規化を 行います。レターボックスは使わず、RGB に変換してはいけません。
  • ライブプレビューでは確率ベクトルを平滑化(前フレーム 0.6 + 現フレーム 0.4)し、 ラベルのちらつきを抑えてから Top-K パネルを描画します。
  • HEF の入力サイズは起動時に読み取ります(384×384)。

開発メモ

  • ソース: src/rpi5_hailo8_cas_vit_{s,m,t}/
  • Dockerfile: docker/hailo8/cas_vit_{s,m,t}.dockerfile
  • コンテナー: ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_{s,m,t}:latest
  • HEF: Hailo Model Zoo v2.20.0(hailo8)。サイズと SHA256 はモジュールの model/README.md に記録
  • デモ動画: https://hailo-csdata.s3.eu-west-2.amazonaws.com/resources/video/example.mp4 (hailo-ai/hailo-apps、MIT)

入力と出力

入力: 画像、動画、またはUSBカメラフレーム。出力: Top-K の ImageNet クラスと信頼度。