CV / STARK
STARK-Lightning
reComputer R Series (CM5 + Hailo-8)
在搭载 Hailo-8 的 reComputer R Series 上使用 STARK-Lightning 进行单目标跟踪。
选择你正在使用的设备,设置指南和文档将相应更新。
快速开始
sudo docker run --rm \
--name cm5-hailo-stark-lightning \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latestREST API
使用 REST API 进行推理。复制以下命令。
curl http://localhost:8080/v1/chat/completions -d '{
"model": "stark-lightning",
"messages": [{"role": "user", "content": "Hello"}]
}'import requests
resp = requests.post(
"http://localhost:8080/v1/chat/completions",
json={"model": "stark-lightning", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())官方基准测试
以下数据来自瑞芯微官方基准测试,实际应用中的性能可能有所不同。
stark_lightning_repvgg_a0
reComputer R Series (CM5 + Hailo-8) · 320x320 · Hailo HEF
- Float Success-plot AUC
- 56.9
- Hardware Success-plot AUC
- 55.2
- FPS (batch 1)
- 1074
- Parameters (M)
- 4.62
- Operations (G)
- 3.48
模型详情
基于 reComputer R Series(CM5 + Hailo-8)的 STARK-Lightning 单目标跟踪
STARK-Lightning 在搭载 CM5 和 Hailo-8 的 reComputer R Series 上跟踪视频中的单个 目标。官方 Hailo-8 HEF 接收 128×128 模板裁剪和 320×320 搜索裁剪。应用在第一帧 用选中的框初始化模板,之后每帧更新目标框。
硬件与主机准备
| 项目 | 值 |
|---|---|
| 开发板 | reComputer R Series + Raspberry Pi CM5 |
| 加速器 | Hailo-8 M.2(PCIe),/dev/hailo0 |
| 系统 | Raspberry Pi OS Bookworm,aarch64 |
| 主机驱动 | hailo-all apt 包 |
| HailoRT | 4.23.x;驱动、固件、native 库和 wheel 主次版本必须一致 |
sudo apt update
sudo apt install hailo-all
sudo reboot
# 重启后
hailortcli fw-control identify
ls /dev/hailo0
# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start docker使用 Docker 运行
在模块目录中构建镜像:
cd src/rpi5_hailo8_stark_lightning_repvgg_a0
sudo docker build -f ../../docker/hailo8/stark_lightning_repvgg_a0.dockerfile \
-t rpi5-hailo8-stark:latest .启动 WebUI:
sudo docker run --rm --privileged --net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latest打开 http://<BOARD_IP>:8000,上传视频,在第一帧拖动框选中目标,然后点击
Run tracking。
模型与跟踪流程
| 项目 | 值 |
|---|---|
| HEF | stark_lightning_repvgg_a0.hef,4,425,622 B,Model Zoo v2.20.0 |
| HEF SHA256 | 7319ef5e0016e85510a71a86e8231a1fb0558a6475fa041e08919cc960c03299 |
| 模板输入 | 128×128×3 RGB |
| 搜索输入 | 320×320×3 RGB |
| 输出 | 搜索裁剪坐标系中的 4 个归一化 xyxy 坐标 |
| 参数量 / 运算量 | 4.62M / 3.48G |
第一帧以选中框为中心,裁剪目标面积 2x 的正方形区域并缩放到 128×128。之后每帧
以上一帧框中心为中心裁剪 5x 搜索区域,缩放到 320×320,把模板和搜索图一起送入
HEF。两个 20×20 角点热图先做逐通道 softmax,并在 320×320 网格上做 soft-argmax;得到的 4 个坐标再按搜索裁剪比例缩放、加上裁剪偏移,并裁剪到画面范围。
HEF 内置归一化(mean [123.675, 116.28, 103.53],std [58.395, 57.12, 57.375],
RGB 顺序),所以应用直接送原始 RGB 像素的 float32 值。
HTTP 接口
POST /api/video/upload— 上传视频。GET /api/video/first_frame?filename=...— 返回第一帧 JPEG。POST /api/video/analyze— 用filename、x、y、w、h启动跟踪。POST /api/video/analyze/stop— 请求停止。GET /api/video/status— 查询进度和输出文件名。GET /api/video/download/{filename}— 下载标注 MP4。
curl -X POST "http://<BOARD_IP>:8000/api/video/analyze" \
-F "filename=demo.mp4" -F "x=420" -F "y=180" -F "w=160" -F "h=240"性能与验证状态
Hailo-8 在 LaSOT 上的官方结果为:全精度 Success-plot AUC 56.9,硬件 55.2,batch 1 下 1074 FPS。这些是 Model Zoo 数据,不是本 WebUI 管线的实测值。
静态检查、合成裁剪/映射测试和 shape 测试已通过。板端加载、输入/输出布局和真实
跟踪精度仍待完成;见模块的 TEST_REPORT.md。在这些检查完成前,不要把本页描述为
已完成硬件验证。
已知限制
- 必须在第一帧框选目标;不支持中途重新初始化或多目标跟踪。
- 跟踪只处理上传的视频,不提供实时摄像头预览。
- 本模块尚未在 Hailo-8 实机上运行。
- Web 服务面向可信局域网,默认没有身份验证或 TLS。
- 输出视频不保留音轨;奇数宽高可能在编码时被裁掉至多一行或一列。
输入与输出
输入:视频和第一帧中的一个目标框。输出:每帧的跟踪框(x、y、w、h)及标注 MP4。