2026-11-18

reComputer RK3576 で YOLO26 を使ってコンベヤー上の錠剤を数える

コンベヤーの動画に線を引き、RK3576 NPU 上で YOLO26n INT8 推論を実行して、線を横切る錠剤を数えます。

CVObject TrackingYOLOGitHub

概要

このデモは起動時に、録画済みのコンベヤー映像を解析します。C++ エンジンは MPP でデコードし、RGA で前処理を行い、RKNN を使って RK3576 NPU 上で YOLO26n INT8 の錠剤検出モデルを実行します。ブラウザーは動画のタイムスタンプに合わせて、追跡した検出結果を再生画面に重ねます。

ブラウザー上のデモで計数線を横切る錠剤

reComputer RK3576 で実行する

MPP、RGA、RKNPU の各ドライバーが動作するボード用イメージを使用します。仮想環境を作成できる Python と、ffprobe を含む FFmpeg をインストールします。MPP が最後のフレームのタイムスタンプを繰り返す場合、デモは ffprobe でタイムスタンプを復元します。

rk3576-ai-demos と rockchip-yolo-cpp のチェックアウトを同じ親ディレクトリに配置します。rockchip-yolo-cpp のルートで、コミット 2b30157 または空間分類ロジットのデコード修正を含む後続リビジョンを使用し、エンジンの CLI をビルドします。

bash
./nvr build --cli-only

rk3576-ai-demos のルートに移動します。examples/cv/pill-counter/run.py が存在し、models/pills-rk3576-int8/ に best-rk3576.rknn と対応する metadata.yaml があることを確認します。手元の H.264 MP4 を examples/cv/pill-counter/data/watermarked_preview.mp4 に配置するか、--video に対象のファイルを指定します。

bash
python3 -m venv .venv
source .venv/bin/activate
python -m pip install fastapi==0.115.6 'uvicorn[standard]==0.34.0'

エンジン付属のローカル SDK を使用してビルドした場合は、ランタイムライブラリをシェルのライブラリ検索パスに追加します。

bash
engine_repo="$(cd ../rockchip-yolo-cpp && pwd)"
export LD_LIBRARY_PATH="$engine_repo/.local/deps/rknn/lib:$engine_repo/.local/deps/rga/lib:$engine_repo/.local/deps/mpp/lib${LD_LIBRARY_PATH:+:$LD_LIBRARY_PATH}"

同じシェルからデモを起動します。

bash
python examples/cv/pill-counter/run.py \
  --engine ../rockchip-yolo-cpp/.local/build/bin/rk-nvr \
  --video examples/cv/pill-counter/data/watermarked_preview.mp4

計数線を引いて結果を確認する

同じネットワーク上のブラウザーで http://<RK3576_IP>:8010 を開き、解析が終わるまで待ちます。動画上をドラッグして錠剤の進行方向を横切る線を引くか、Center line を選び、Play を選択します。青緑の枠は検出された錠剤、琥珀色の枠は現在の再生位置までにカウントされた錠剤を示します。

追跡中の錠剤は、中心がいずれかの方向に線分を横切ったときに一度だけカウントされます。線を引き直すと、動画全体の横断イベントが再計算されます。再生位置を移動したり、再生し直したりすると、その時点までの累計が表示されます。線の位置と追跡の連続性によって結果が変わります。