CV / STARK

STARK-Lightning

reComputer R Series (CM5 + Hailo-8)

在搭载 Hailo-8 的 reComputer R Series 上使用 STARK-Lightning 进行单目标跟踪。

3 次下载
大小
4.2 MB
内存
4GB+
精度
Hailo HEF

选择你正在使用的设备,设置指南和文档将相应更新。

快速开始

部署
sudo docker run --rm \
  --name cm5-hailo-stark-lightning \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latest

REST API

使用 REST API 进行推理。复制以下命令。

Curl
curl http://localhost:8080/v1/chat/completions -d '{
  "model": "stark-lightning",
  "messages": [{"role": "user", "content": "Hello"}]
}'
Python
import requests

resp = requests.post(
    "http://localhost:8080/v1/chat/completions",
    json={"model": "stark-lightning", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())

官方基准测试

以下数据来自瑞芯微官方基准测试,实际应用中的性能可能有所不同。

stark_lightning_repvgg_a0

reComputer R Series (CM5 + Hailo-8) · 320x320 · Hailo HEF

Float Success-plot AUC
56.9
Hardware Success-plot AUC
55.2
FPS (batch 1)
1074
Parameters (M)
4.62
Operations (G)
3.48

模型详情

基于 reComputer R Series(CM5 + Hailo-8)的 STARK-Lightning 单目标跟踪

STARK-Lightning 在搭载 CM5 和 Hailo-8 的 reComputer R Series 上跟踪视频中的单个 目标。官方 Hailo-8 HEF 接收 128×128 模板裁剪和 320×320 搜索裁剪。应用在第一帧 用选中的框初始化模板,之后每帧更新目标框。

硬件与主机准备

项目值
开发板reComputer R Series + Raspberry Pi CM5
加速器Hailo-8 M.2(PCIe),/dev/hailo0
系统Raspberry Pi OS Bookworm,aarch64
主机驱动hailo-all apt 包
HailoRT4.23.x;驱动、固件、native 库和 wheel 主次版本必须一致
bash
sudo apt update
sudo apt install hailo-all
sudo reboot

# 重启后
hailortcli fw-control identify
ls /dev/hailo0

# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start docker

使用 Docker 运行

在模块目录中构建镜像:

bash
cd src/rpi5_hailo8_stark_lightning_repvgg_a0
sudo docker build -f ../../docker/hailo8/stark_lightning_repvgg_a0.dockerfile \
  -t rpi5-hailo8-stark:latest .

启动 WebUI:

bash
sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latest

打开 http://<BOARD_IP>:8000,上传视频,在第一帧拖动框选中目标,然后点击 Run tracking。

模型与跟踪流程

项目值
HEFstark_lightning_repvgg_a0.hef,4,425,622 B,Model Zoo v2.20.0
HEF SHA2567319ef5e0016e85510a71a86e8231a1fb0558a6475fa041e08919cc960c03299
模板输入128×128×3 RGB
搜索输入320×320×3 RGB
输出搜索裁剪坐标系中的 4 个归一化 xyxy 坐标
参数量 / 运算量4.62M / 3.48G

第一帧以选中框为中心,裁剪目标面积 2x 的正方形区域并缩放到 128×128。之后每帧 以上一帧框中心为中心裁剪 5x 搜索区域,缩放到 320×320,把模板和搜索图一起送入 HEF。两个 20×20 角点热图先做逐通道 softmax,并在 320×320 网格上做 soft-argmax;得到的 4 个坐标再按搜索裁剪比例缩放、加上裁剪偏移,并裁剪到画面范围。

HEF 内置归一化(mean [123.675, 116.28, 103.53],std [58.395, 57.12, 57.375], RGB 顺序),所以应用直接送原始 RGB 像素的 float32 值。

HTTP 接口

  • POST /api/video/upload — 上传视频。
  • GET /api/video/first_frame?filename=... — 返回第一帧 JPEG。
  • POST /api/video/analyze — 用 filename、x、y、w、h 启动跟踪。
  • POST /api/video/analyze/stop — 请求停止。
  • GET /api/video/status — 查询进度和输出文件名。
  • GET /api/video/download/{filename} — 下载标注 MP4。
bash
curl -X POST "http://<BOARD_IP>:8000/api/video/analyze" \
  -F "filename=demo.mp4" -F "x=420" -F "y=180" -F "w=160" -F "h=240"

性能与验证状态

Hailo-8 在 LaSOT 上的官方结果为:全精度 Success-plot AUC 56.9,硬件 55.2,batch 1 下 1074 FPS。这些是 Model Zoo 数据,不是本 WebUI 管线的实测值。

静态检查、合成裁剪/映射测试和 shape 测试已通过。板端加载、输入/输出布局和真实 跟踪精度仍待完成;见模块的 TEST_REPORT.md。在这些检查完成前,不要把本页描述为 已完成硬件验证。

已知限制

  • 必须在第一帧框选目标;不支持中途重新初始化或多目标跟踪。
  • 跟踪只处理上传的视频,不提供实时摄像头预览。
  • 本模块尚未在 Hailo-8 实机上运行。
  • Web 服务面向可信局域网,默认没有身份验证或 TLS。
  • 输出视频不保留音轨;奇数宽高可能在编码时被裁掉至多一行或一列。

输入与输出

输入:视频和第一帧中的一个目标框。输出:每帧的跟踪框(x、y、w、h)及标注 MP4。