CV / STARK

STARK-Lightning

reComputer R Series (CM5 + Hailo-8)

Hailo-8 搭載の reComputer R Series で STARK-Lightning による単一物体追跡を行います。

3 ダウンロード
サイズ
4.2 MB
メモリ
4GB+
精度
Hailo HEF

使用しているデバイスを選択してください。セットアップガイドとドキュメントがそれに応じて更新されます。

はじめる

デプロイ
sudo docker run --rm \
  --name cm5-hailo-stark-lightning \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latest

REST API

REST API を使用して推論を実行します。以下のコマンドをコピーしてください。

Curl
curl http://localhost:8080/v1/chat/completions -d '{
  "model": "stark-lightning",
  "messages": [{"role": "user", "content": "Hello"}]
}'
Python
import requests

resp = requests.post(
    "http://localhost:8080/v1/chat/completions",
    json={"model": "stark-lightning", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())

公式ベンチマーク

以下の数値はRockchipの公式ベンチマークに基づきます。実際のアプリケーションでの性能は異なる場合があります。

stark_lightning_repvgg_a0

reComputer R Series (CM5 + Hailo-8) · 320x320 · Hailo HEF

Float Success-plot AUC
56.9
Hardware Success-plot AUC
55.2
FPS (batch 1)
1074
Parameters (M)
4.62
Operations (G)
3.48

モデル詳細

reComputer R Series(CM5 + Hailo-8)での STARK-Lightning 単一物体追跡

STARK-Lightning は CM5 と Hailo-8 を搭載した reComputer R Series で動画内の単一 ターゲットを追跡します。公式 Hailo-8 HEF は 128×128 のテンプレートクロップと 320×320 のサーチクロップを受け取ります。アプリは最初のフレームで選択したボックス からテンプレートを初期化し、以降のフレームでボックスを更新します。

ハードウェアとホストの準備

項目値
ボードreComputer R Series + Raspberry Pi CM5
アクセラレータHailo-8 M.2(PCIe)、/dev/hailo0
OSRaspberry Pi OS Bookworm、aarch64
ホストドライバーhailo-all apt パッケージ
HailoRT4.23.x。ドライバー、ファームウェア、ネイティブライブラリ、wheel のメジャー・マイナーを一致させる
bash
sudo apt update
sudo apt install hailo-all
sudo reboot

# 再起動後
hailortcli fw-control identify
ls /dev/hailo0

# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start docker

Docker で実行

モジュールディレクトリでイメージをビルドします。

bash
cd src/rpi5_hailo8_stark_lightning_repvgg_a0
sudo docker build -f ../../docker/hailo8/stark_lightning_repvgg_a0.dockerfile \
  -t rpi5-hailo8-stark:latest .

WebUI を起動します。

bash
sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latest

http://<BOARD_IP>:8000 を開き、動画をアップロードし、最初のフレームでターゲットを 囲むボックスをドラッグして Run tracking をクリックします。

モデルと追跡パイプライン

項目値
HEFstark_lightning_repvgg_a0.hef、4,425,622 B、Model Zoo v2.20.0
HEF SHA2567319ef5e0016e85510a71a86e8231a1fb0558a6475fa041e08919cc960c03299
テンプレート入力128×128×3 RGB
サーチ入力320×320×3 RGB
出力サーチクロップ座標系の正規化 xyxy 4 値
パラメータ / 演算量4.62M / 3.48G

最初のフレームでは、選択ボックスを中心にターゲット面積の 2x の正方形を切り出し、 128×128 に縮小します。以降のフレームでは前回ボックス中心の 5x サーチ領域を 320×320 に縮小し、テンプレートとサーチを一緒に HEF へ入力します。2 つの 20×20 コーナーヒートマップをチャネルごとに softmax し、320×320 グリッドで soft-argmax して 4 値にデコードします。その後、サーチクロップ比で拡大し、クロップ位置を加算して画面内にクリップします。

HEF は正規化を内蔵しています(mean [123.675, 116.28, 103.53]、 std [58.395, 57.12, 57.375]、RGB 順)。アプリは生の RGB 画素を float32 で 渡します。

HTTP API

  • POST /api/video/upload — 動画をアップロード。
  • GET /api/video/first_frame?filename=... — 最初のフレームを JPEG で返す。
  • POST /api/video/analyze — filename、x、y、w、h で追跡を開始。
  • POST /api/video/analyze/stop — 停止を要求。
  • GET /api/video/status — 進捗と出力名を取得。
  • GET /api/video/download/{filename} — 注釈付き MP4 をダウンロード。
bash
curl -X POST "http://<BOARD_IP>:8000/api/video/analyze" \
  -F "filename=demo.mp4" -F "x=420" -F "y=180" -F "w=160" -F "h=240"

パフォーマンスと検証状況

LaSOT における Hailo-8 の公式値は、全精度 Success-plot AUC 56.9、ハードウェア 55.2、batch size 1 で 1074 FPS です。これらは Model Zoo の値であり、本 WebUI パイプラインの実測値ではありません。

静的チェック、合成クロップ/マッピングテスト、shape テストは通過しています。 ボードでのロード、入出力レイアウト、実際の追跡精度は未完了です。モジュールの TEST_REPORT.md を参照してください。これらの確認が終わるまで、本ページを ハードウェア検証済みとして扱わないでください。

既知の制限

  • 最初のフレームでターゲットボックスを選択する必要があります。再初期化や 複数物体追跡には対応していません。
  • 追跡はアップロード動画のオフライン処理のみで、ライブカメラプレビューはありません。
  • 本モジュールは Hailo-8 実機では未実行です。
  • Web サービスは信頼できる LAN 向けで、既定では認証も TLS もありません。
  • 出力動画に音声はありません。奇数サイズはエンコード時に最大 1 行/1 列 クロップされる場合があります。

入力と出力

入力:動画と最初のフレームのターゲットボックス。出力:フレームごとの追跡ボックス(x、y、w、h)と注釈付き MP4。