CV / CAS-ViT
CAS-ViT
reComputer R Series (CM5 + Hailo-8)
reComputer R Series + Hailo-8 / Hailo-10H で CAS-ViT-S/M/T による ImageNet 分類。
13 ダウンロード
サイズ
12.7 MBメモリ
4GB+精度
Hailo HEF使用しているデバイスを選択してください。セットアップガイドとドキュメントがそれに応じて更新されます。
はじめる
デプロイ
sudo docker run --rm \
--name pi5-hailo8-cas-vit-s \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4モデル詳細
reComputer R Series (CM5 + Hailo-8)CAS-ViT-S/M/T ImageNet 分類(reComputer R Series、CM5 + Hailo-8)
CAS-ViT-S/M/T は HailoRT 4.23 を通じて Hailo-8 上で 1000 クラスの ImageNet 分類を
行います。HEF は 384×384 BGR 画像を受け取り、bgr_to_rgb と ImageNet 正規化を
チップ内で実行して 1000 個のスコアを返します。ホスト側で softmax を適用し、
スコアを時間方向に平滑化して MJPEG プレビューに Top-K パネルを重ねます。
モデル情報
| 変体 | 入力 | 同梱 HEF | Top-1 浮動小数点 / Hailo-8 | パラメータ / 演算量 | コンテナー |
|---|---|---|---|---|---|
| CAS-ViT-S | 384×384×3 BGR | 12.7 MB | 79.9 / 79.7 | 5.5M / 5.4G | cas_vit_s |
| CAS-ViT-M | 384×384×3 BGR | 18.5 MB | 81.2 / 80.9 | 12.42M / 10.89G | cas_vit_m |
| CAS-ViT-T | 384×384×3 BGR | 26.4 MB | 81.9 / 81.6 | 21.76M / 20.85G | cas_vit_t |
ハードウェアとホスト設定
| 項目 | 値 |
|---|---|
| ボード | Raspberry Pi CM5 搭載 reComputer R Series |
| アクセラレーター | PCIe Hailo-8、/dev/hailo0 として公開 |
| ランタイム | HailoRT 4.23.x(ホストとコンテナーのメジャー・マイナーを一致させる) |
| コンテナー内 Python | 3.11、aarch64 |
bash
sudo apt update
sudo apt install hailo-all -y
sudo reboot
# 再起動後
hailortcli fw-control identify
ls /dev/hailo0
# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start dockerデモ動画で実行
モデルの変体に対応するコマンドを選択してください。
CAS-ViT-S
bash
sudo docker run --rm \
--name pi5-hailo8-cas-vit-s \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4CAS-ViT-M
bash
sudo docker run --rm \
--name pi5-hailo8-cas-vit-m \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_m:latest \
python web_detection.py --model_path model/cas_vit_m.hef --video_path video/test.mp4CAS-ViT-T
bash
sudo docker run --rm \
--name pi5-hailo8-cas-vit-t \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_t:latest \
python web_detection.py --model_path model/cas_vit_t.hef --video_path video/test.mp4http://<Board_IP>:8000 を開くと Top-K オーバーレイを確認できます。同梱の video/test.mp4 は Hailo 公式の分類デモクリップ(example.mp4、車と人が写る街路の映像)です。
USB カメラモード
bash
sudo docker run --rm \
--name pi5-hailo8-cas-vit-m \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
--device /dev/video0:/dev/video0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
python web_detection.py --model_path model/cas_vit_s.hef --camera_id 0cas_vit_s を cas_vit_m または cas_vit_t に置き換えると、別の変体を実行できます。
REST API
| エンドポイント | メソッド |
|---|---|
POST /api/models/cas_vit_s/predict | Top-K 分類(JSON) |
POST /api/models/cas_vit_m/predict | Top-K 分類(JSON) |
POST /api/models/cas_vit_t/predict | Top-K 分類(JSON) |
bash
curl -X POST "http://<Board_IP>:8000/api/models/cas_vit_m/predict" \
-F "file=@test.jpg" -F "conf=0.30" -F "iou=5"predictions には ImageNet クラス名、短縮ラベル、信頼度が含まれます。iou は
検出モジュールとの API 互換性のため Top-K 数として再利用されます。
実装メモ
- HEF は 1000 次元のスコアベクトルを 1 つだけ出力します。ALLS レシピに
softmaxやargmaxはないため、ホスト側で softmax と Top-K を実行します。 - 前処理は 384×384 への単純なリサイズで、BGR のまま渡します。CAS-ViT の
ALLS レシピが HEF 内で
bgr_to_rgbと ImageNet の平均/標準偏差による正規化を 行います。レターボックスは使わず、RGB に変換してはいけません。 - ライブプレビューでは確率ベクトルを平滑化(前フレーム 0.6 + 現フレーム 0.4)し、 ラベルのちらつきを抑えてから Top-K パネルを描画します。
- HEF の入力サイズは起動時に読み取ります(384×384)。
開発メモ
- ソース:
src/rpi5_hailo8_cas_vit_{s,m,t}/ - Dockerfile:
docker/hailo8/cas_vit_{s,m,t}.dockerfile - コンテナー:
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_{s,m,t}:latest - HEF: Hailo Model Zoo v2.20.0(
hailo8)。サイズと SHA256 はモジュールのmodel/README.mdに記録 - デモ動画:
https://hailo-csdata.s3.eu-west-2.amazonaws.com/resources/video/example.mp4(hailo-ai/hailo-apps、MIT)
入力と出力
入力: 画像、動画、またはUSBカメラフレーム。出力: Top-K の ImageNet クラスと信頼度。