CV / CAS-ViT

CAS-ViT

reComputer R Series (CM5 + Hailo-8)

CAS-ViT-S/M/T 在 reComputer R Series + Hailo-8 或 Hailo-10H 上的 ImageNet 分类。

13 次下载
大小
12.7 MB
内存
4GB+
精度
Hailo HEF

选择你正在使用的设备,设置指南和文档将相应更新。

快速开始

部署
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-s \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
  python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4

模型详情

reComputer R Series (CM5 + Hailo-8)

CAS-ViT-S/M/T ImageNet 分类(reComputer R Series,CM5 + Hailo-8)

CAS-ViT-S/M/T 通过 HailoRT 4.23 在 Hailo-8 上进行 1000 类 ImageNet 分类。HEF 接收 384×384 BGR 图像,在片内执行 bgr_to_rgb 和 ImageNet 归一化,输出 1000 个分数; 主机侧做 softmax,对分数做时间平滑后在 MJPEG 预览上叠加 Top-K 面板。

模型信息

变体输入打包 HEFTop-1 浮点 / Hailo-8参数量 / 运算量容器
CAS-ViT-S384×384×3 BGR12.7 MB79.9 / 79.75.5M / 5.4Gcas_vit_s
CAS-ViT-M384×384×3 BGR18.5 MB81.2 / 80.912.42M / 10.89Gcas_vit_m
CAS-ViT-T384×384×3 BGR26.4 MB81.9 / 81.621.76M / 20.85Gcas_vit_t

硬件与主机环境

项目值
开发板搭载 Raspberry Pi CM5 的 reComputer R Series
加速器PCIe Hailo-8,设备节点 /dev/hailo0
运行时HailoRT 4.23.x(主机与容器的主次版本必须一致)
容器内 Python3.11,aarch64
bash
sudo apt update
sudo apt install hailo-all -y
sudo reboot

# 重启后
hailortcli fw-control identify
ls /dev/hailo0

# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start docker

使用演示视频运行

选择与模型变体对应的命令。

CAS-ViT-S

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-s \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
  python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4

CAS-ViT-M

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-m \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_m:latest \
  python web_detection.py --model_path model/cas_vit_m.hef --video_path video/test.mp4

CAS-ViT-T

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-t \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_t:latest \
  python web_detection.py --model_path model/cas_vit_t.hef --video_path video/test.mp4

打开 http://<Board_IP>:8000 查看 Top-K 叠加。内置的 video/test.mp4 是 Hailo 官方分类演示片段(example.mp4,包含车辆和行人的街景)。

USB 摄像头模式

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-m \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
  python web_detection.py --model_path model/cas_vit_s.hef --camera_id 0

将 cas_vit_s 换成 cas_vit_m 或 cas_vit_t 即可运行其他变体。

REST API

端点方法
POST /api/models/cas_vit_s/predictTop-K 分类(JSON)
POST /api/models/cas_vit_m/predictTop-K 分类(JSON)
POST /api/models/cas_vit_t/predictTop-K 分类(JSON)
bash
curl -X POST "http://<Board_IP>:8000/api/models/cas_vit_m/predict" \
  -F "file=@test.jpg" -F "conf=0.30" -F "iou=5"

返回的 predictions 包含 ImageNet 类别全名、短标签和置信度。iou 在这里复用为 Top-K 数量,与检测模块的 API 参数保持一致。

实现说明

  • HEF 只输出一个 1000 维分数向量;ALLS 配方没有 softmax 或 argmax,因此由 主机执行 softmax 和 Top-K。
  • 预处理只做 384×384 的直接 resize,并保持 BGR。CAS-ViT 的 ALLS 配方会在 HEF 内执行 bgr_to_rgb 和 ImageNet 均值/方差归一化。不使用 letterbox,应用 不能转成 RGB。
  • 实时预览对概率向量做平滑(0.6 上一帧 + 0.4 当前帧),避免标签闪烁,然后绘制 Top-K 面板。
  • HEF 输入尺寸在启动时读取(384×384)。

开发说明

  • 源码:src/rpi5_hailo8_cas_vit_{s,m,t}/
  • Dockerfile:docker/hailo8/cas_vit_{s,m,t}.dockerfile
  • 容器:ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_{s,m,t}:latest
  • HEF:Hailo Model Zoo v2.20.0(hailo8),大小和 SHA256 记录在模块的 model/README.md
  • 演示视频:https://hailo-csdata.s3.eu-west-2.amazonaws.com/resources/video/example.mp4 (来自 hailo-ai/hailo-apps,MIT)

输入与输出

输入:图像、视频或 USB 摄像头帧。输出:Top-K ImageNet 类别与置信度。