CV / STARK
STARK-Lightning
reComputer R Series (CM5 + Hailo-8)
Hailo-8 搭載の reComputer R Series で STARK-Lightning による単一物体追跡を行います。
使用しているデバイスを選択してください。セットアップガイドとドキュメントがそれに応じて更新されます。
はじめる
sudo docker run --rm \
--name cm5-hailo-stark-lightning \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latestREST API
REST API を使用して推論を実行します。以下のコマンドをコピーしてください。
curl http://localhost:8080/v1/chat/completions -d '{
"model": "stark-lightning",
"messages": [{"role": "user", "content": "Hello"}]
}'import requests
resp = requests.post(
"http://localhost:8080/v1/chat/completions",
json={"model": "stark-lightning", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())公式ベンチマーク
以下の数値はRockchipの公式ベンチマークに基づきます。実際のアプリケーションでの性能は異なる場合があります。
stark_lightning_repvgg_a0
reComputer R Series (CM5 + Hailo-8) · 320x320 · Hailo HEF
- Float Success-plot AUC
- 56.9
- Hardware Success-plot AUC
- 55.2
- FPS (batch 1)
- 1074
- Parameters (M)
- 4.62
- Operations (G)
- 3.48
モデル詳細
reComputer R Series(CM5 + Hailo-8)での STARK-Lightning 単一物体追跡
STARK-Lightning は CM5 と Hailo-8 を搭載した reComputer R Series で動画内の単一 ターゲットを追跡します。公式 Hailo-8 HEF は 128×128 のテンプレートクロップと 320×320 のサーチクロップを受け取ります。アプリは最初のフレームで選択したボックス からテンプレートを初期化し、以降のフレームでボックスを更新します。
ハードウェアとホストの準備
| 項目 | 値 |
|---|---|
| ボード | reComputer R Series + Raspberry Pi CM5 |
| アクセラレータ | Hailo-8 M.2(PCIe)、/dev/hailo0 |
| OS | Raspberry Pi OS Bookworm、aarch64 |
| ホストドライバー | hailo-all apt パッケージ |
| HailoRT | 4.23.x。ドライバー、ファームウェア、ネイティブライブラリ、wheel のメジャー・マイナーを一致させる |
sudo apt update
sudo apt install hailo-all
sudo reboot
# 再起動後
hailortcli fw-control identify
ls /dev/hailo0
# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start dockerDocker で実行
モジュールディレクトリでイメージをビルドします。
cd src/rpi5_hailo8_stark_lightning_repvgg_a0
sudo docker build -f ../../docker/hailo8/stark_lightning_repvgg_a0.dockerfile \
-t rpi5-hailo8-stark:latest .WebUI を起動します。
sudo docker run --rm --privileged --net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latesthttp://<BOARD_IP>:8000 を開き、動画をアップロードし、最初のフレームでターゲットを
囲むボックスをドラッグして Run tracking をクリックします。
モデルと追跡パイプライン
| 項目 | 値 |
|---|---|
| HEF | stark_lightning_repvgg_a0.hef、4,425,622 B、Model Zoo v2.20.0 |
| HEF SHA256 | 7319ef5e0016e85510a71a86e8231a1fb0558a6475fa041e08919cc960c03299 |
| テンプレート入力 | 128×128×3 RGB |
| サーチ入力 | 320×320×3 RGB |
| 出力 | サーチクロップ座標系の正規化 xyxy 4 値 |
| パラメータ / 演算量 | 4.62M / 3.48G |
最初のフレームでは、選択ボックスを中心にターゲット面積の 2x の正方形を切り出し、
128×128 に縮小します。以降のフレームでは前回ボックス中心の 5x サーチ領域を
320×320 に縮小し、テンプレートとサーチを一緒に HEF へ入力します。2 つの 20×20 コーナーヒートマップをチャネルごとに softmax し、320×320 グリッドで soft-argmax して 4 値にデコードします。その後、サーチクロップ比で拡大し、クロップ位置を加算して画面内にクリップします。
HEF は正規化を内蔵しています(mean [123.675, 116.28, 103.53]、
std [58.395, 57.12, 57.375]、RGB 順)。アプリは生の RGB 画素を float32 で
渡します。
HTTP API
POST /api/video/upload— 動画をアップロード。GET /api/video/first_frame?filename=...— 最初のフレームを JPEG で返す。POST /api/video/analyze—filename、x、y、w、hで追跡を開始。POST /api/video/analyze/stop— 停止を要求。GET /api/video/status— 進捗と出力名を取得。GET /api/video/download/{filename}— 注釈付き MP4 をダウンロード。
curl -X POST "http://<BOARD_IP>:8000/api/video/analyze" \
-F "filename=demo.mp4" -F "x=420" -F "y=180" -F "w=160" -F "h=240"パフォーマンスと検証状況
LaSOT における Hailo-8 の公式値は、全精度 Success-plot AUC 56.9、ハードウェア 55.2、batch size 1 で 1074 FPS です。これらは Model Zoo の値であり、本 WebUI パイプラインの実測値ではありません。
静的チェック、合成クロップ/マッピングテスト、shape テストは通過しています。
ボードでのロード、入出力レイアウト、実際の追跡精度は未完了です。モジュールの
TEST_REPORT.md を参照してください。これらの確認が終わるまで、本ページを
ハードウェア検証済みとして扱わないでください。
既知の制限
- 最初のフレームでターゲットボックスを選択する必要があります。再初期化や 複数物体追跡には対応していません。
- 追跡はアップロード動画のオフライン処理のみで、ライブカメラプレビューはありません。
- 本モジュールは Hailo-8 実機では未実行です。
- Web サービスは信頼できる LAN 向けで、既定では認証も TLS もありません。
- 出力動画に音声はありません。奇数サイズはエンコード時に最大 1 行/1 列 クロップされる場合があります。
入力と出力
入力:動画と最初のフレームのターゲットボックス。出力:フレームごとの追跡ボックス(x、y、w、h)と注釈付き MP4。