CV / CAS-ViT
CAS-ViT
reComputer R Series (CM5 + Hailo-8)
CAS-ViT-S/M/T 在 reComputer R Series + Hailo-8 或 Hailo-10H 上的 ImageNet 分类。
13 次下载
大小
12.7 MB内存
4GB+精度
Hailo HEF选择你正在使用的设备,设置指南和文档将相应更新。
快速开始
部署
sudo docker run --rm \
--name pi5-hailo8-cas-vit-s \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4模型详情
reComputer R Series (CM5 + Hailo-8)CAS-ViT-S/M/T ImageNet 分类(reComputer R Series,CM5 + Hailo-8)
CAS-ViT-S/M/T 通过 HailoRT 4.23 在 Hailo-8 上进行 1000 类 ImageNet 分类。HEF 接收
384×384 BGR 图像,在片内执行 bgr_to_rgb 和 ImageNet 归一化,输出 1000 个分数;
主机侧做 softmax,对分数做时间平滑后在 MJPEG 预览上叠加 Top-K 面板。
模型信息
| 变体 | 输入 | 打包 HEF | Top-1 浮点 / Hailo-8 | 参数量 / 运算量 | 容器 |
|---|---|---|---|---|---|
| CAS-ViT-S | 384×384×3 BGR | 12.7 MB | 79.9 / 79.7 | 5.5M / 5.4G | cas_vit_s |
| CAS-ViT-M | 384×384×3 BGR | 18.5 MB | 81.2 / 80.9 | 12.42M / 10.89G | cas_vit_m |
| CAS-ViT-T | 384×384×3 BGR | 26.4 MB | 81.9 / 81.6 | 21.76M / 20.85G | cas_vit_t |
硬件与主机环境
| 项目 | 值 |
|---|---|
| 开发板 | 搭载 Raspberry Pi CM5 的 reComputer R Series |
| 加速器 | PCIe Hailo-8,设备节点 /dev/hailo0 |
| 运行时 | HailoRT 4.23.x(主机与容器的主次版本必须一致) |
| 容器内 Python | 3.11,aarch64 |
bash
sudo apt update
sudo apt install hailo-all -y
sudo reboot
# 重启后
hailortcli fw-control identify
ls /dev/hailo0
# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start docker使用演示视频运行
选择与模型变体对应的命令。
CAS-ViT-S
bash
sudo docker run --rm \
--name pi5-hailo8-cas-vit-s \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4CAS-ViT-M
bash
sudo docker run --rm \
--name pi5-hailo8-cas-vit-m \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_m:latest \
python web_detection.py --model_path model/cas_vit_m.hef --video_path video/test.mp4CAS-ViT-T
bash
sudo docker run --rm \
--name pi5-hailo8-cas-vit-t \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_t:latest \
python web_detection.py --model_path model/cas_vit_t.hef --video_path video/test.mp4打开 http://<Board_IP>:8000 查看 Top-K 叠加。内置的 video/test.mp4 是 Hailo 官方分类演示片段(example.mp4,包含车辆和行人的街景)。
USB 摄像头模式
bash
sudo docker run --rm \
--name pi5-hailo8-cas-vit-m \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
--device /dev/video0:/dev/video0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
python web_detection.py --model_path model/cas_vit_s.hef --camera_id 0将 cas_vit_s 换成 cas_vit_m 或 cas_vit_t 即可运行其他变体。
REST API
| 端点 | 方法 |
|---|---|
POST /api/models/cas_vit_s/predict | Top-K 分类(JSON) |
POST /api/models/cas_vit_m/predict | Top-K 分类(JSON) |
POST /api/models/cas_vit_t/predict | Top-K 分类(JSON) |
bash
curl -X POST "http://<Board_IP>:8000/api/models/cas_vit_m/predict" \
-F "file=@test.jpg" -F "conf=0.30" -F "iou=5"返回的 predictions 包含 ImageNet 类别全名、短标签和置信度。iou 在这里复用为
Top-K 数量,与检测模块的 API 参数保持一致。
实现说明
- HEF 只输出一个 1000 维分数向量;ALLS 配方没有
softmax或argmax,因此由 主机执行 softmax 和 Top-K。 - 预处理只做 384×384 的直接 resize,并保持 BGR。CAS-ViT 的 ALLS 配方会在
HEF 内执行
bgr_to_rgb和 ImageNet 均值/方差归一化。不使用 letterbox,应用 不能转成 RGB。 - 实时预览对概率向量做平滑(0.6 上一帧 + 0.4 当前帧),避免标签闪烁,然后绘制 Top-K 面板。
- HEF 输入尺寸在启动时读取(384×384)。
开发说明
- 源码:
src/rpi5_hailo8_cas_vit_{s,m,t}/ - Dockerfile:
docker/hailo8/cas_vit_{s,m,t}.dockerfile - 容器:
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_{s,m,t}:latest - HEF:Hailo Model Zoo v2.20.0(
hailo8),大小和 SHA256 记录在模块的model/README.md - 演示视频:
https://hailo-csdata.s3.eu-west-2.amazonaws.com/resources/video/example.mp4(来自hailo-ai/hailo-apps,MIT)
输入与输出
输入:图像、视频或 USB 摄像头帧。输出:Top-K ImageNet 类别与置信度。