inteintegrity2026-11-14

reComputer RK3576 と YOLO11 による倉庫安全監視

reComputer RK3576 NPU 上の YOLO11 と ByteTrack でフォークリフトと歩行者を検出・追跡。 ローカル Web UI、赤色の危険アラート、RKNN モデルで倉庫の接近監視を実現します。

CVWarehouse SafetyreComputer RKGitHub
reComputer RK3576 によるフォークリフトと歩行者の安全監視デモ

フォークリフトと歩行者が行き交う倉庫の通路では、接近に気づくことが安全監視の重要な役割です。本プロジェクトは車両検出、人物追跡、ゾーンアラートをローカル Web UI にまとめ、誰がフォークリフトに近づいているか、現在どのリスク状態にあるかを示します。

倉庫映像で学習した YOLO11n モデルを reComputer RK3576 NPU 上で実行し、ByteTrack でフォークリフトと人物を追跡します。歩行者が車両の投影ゾーンに近づくと CAUTION、内部に入ると赤色の DANGER を表示します。ブラウザーのダッシュボードでは注釈付き映像、現在のリスクペア、イベントのダウンロードを利用できます。推論と解析はボード内で完結します。

ソースコード:rk3576-warehouse-safety-monitor

フォークリフトと歩行者の安全監視機能

機能動作
フォークリフトと人物の検出2 クラスに対応した YOLO11n モデルを RK3576 NPU 上で実行します。
ID の維持ByteTrack がフレームをまたいで対象に ID を割り当てます。
運転者の除外検出枠の位置関係を使い、運転者を歩行者リスクのペアリングから除外します。
段階的なアラート緑の監視状態、黄色の CAUTION、赤色の DANGER で投影ゾーンへの接近を示します。
ローカル Web UI注釈付き映像、現在のペア、完了したイベントをブラウザーで確認できます。
結果の出力注釈付き MP4、イベント CSV、実行概要 JSON、フレームごとの記録を保存します。
デモ映像の作成記録した推論結果に半透明の発光する床面ゾーンをデスクトップで重ねます。

サンプルは 1280 × 720、24 FPS、10 秒の動画です。約 5 秒と 8 秒の接近場面では赤色の危険アラートが発生します。運転者は OPERATOR として区別されます。

仕組み

text
Video file / USB camera / RTSP
  → resize and letterbox to 640 × 640 RGB
  → YOLO11n RKNN inference on the RK3576 NPU
  → CPU detection decoding and NMS
  → CPU ByteTrack tracking
  → operator exclusion and pairwise zone analysis
  → Web UI, annotated video, and event logs

YOLO11n がフォークリフトと人物を検出し、ByteTrack がフレーム間で ID を維持します。システムは各フォークリフトと車外の歩行者をペアにし、ゾーンとの位置関係からアラートを更新します。継続するアラートは出力可能なイベントとして記録します。検出は NPU、追跡、アラート判定、描画、録画は CPU で実行します。

接近アラートの判定

フォークリフトの検出枠を基準に画像空間の投影ゾーンを設け、歩行者との位置関係を継続的に確認します。歩行者の検出枠の下辺で、フォークリフトの中心に最も近い点を判定に使います。

警戒領域に近づくと黄色の CAUTION、内部の危険領域に入ると赤色の DANGER を表示します。ゾーンは画像内の接近関係を表し、未校正の距離をメートル単位では表示しません。

色の意味

状態表示条件
監視中緑色の人物枠警戒領域の外側。
CAUTION黄色の人物枠と注意メッセージ車両の投影ゾーンに接近。
DANGER赤色の人物枠、危険メッセージ、デモ映像の赤い外枠内部の投影ゾーンに進入。

楕円の中心はフォークリフト検出枠の下辺中央です。基本の水平半径は枠幅の 2.4 倍、垂直半径は枠高の 0.4 倍です。正規化した楕円座標では半径 0.85 で危険、1.05 で注意を発生させます。危険は 0.93、注意は 1.20 を超えて離れると解除し、境界付近のちらつきを抑えます。外側の緑色表示リングは半径 1.35 です。

これらは調整可能な画像領域の設定であり、実測した床面距離やフォーク・荷物の実寸を示すものではありません。

プロジェクトには models/warehouse_yolo11_rk3576_int8.rknn と models/warehouse_yolo11_rk3576_fp16.rknn が含まれ、チェックサムは models/manifest.json にあります。クラス順は 0: forklift、1: person です。COCO にフォークリフトのクラスはないため、一般的な COCO 検出器では置き換えられません。

reComputer RK3576 で実行する

ARM64 Linux と Python 3.11 を使用し、RK3576 NPU のドライバーと Runtime が動作する状態にします。プロジェクトを取得し、環境を準備してダッシュボードを起動します。

bash
git clone https://github.com/inteintegrity/rk3576-warehouse-safety-monitor.git
cd rk3576-warehouse-safety-monitor
bash run.sh setup
bash run.sh web

同じ信頼できる LAN 内の PC から http://<board-ip>:8088 を開きます。<board-ip> はボードのアドレスに置き換えてください。

  1. サンプルには data/test_clip_nearmiss.mp4 を指定します。
  2. Start analysis を選び、映像と現在のリスクペアを確認します。
  3. 途中で終了する場合は Stop を選ぶか、サンプルの完了を待ちます。
  4. 完了後、注釈付き MP4、イベント CSV、概要 JSON をダウンロードします。

サーバーの停止は端末で Ctrl+C を押します。別のポートには bash run.sh web --port 8089 を使います。入力欄には既存の動画パス、USB カメラ番号、RTSP URL を指定でき、アップロード機能はありません。ファイル入力の推論とプレビューは検証済みですが、USB/RTSP は実際のカメラでの検証が必要です。認証機能のない単一操作者向けダッシュボードなので、信頼できる LAN で使用します。

ダッシュボードを使わず解析する場合:

bash
bash run.sh video

結果は outputs/demo の annotated.mp4、events.csv、summary.json、frame-trace.jsonl に保存されます。別の動画には --source /path/to/video.mp4 を追加します。イベントにはペアの ID、開始・終了時刻、継続時間、最高アラートレベルを記録します。画像ゾーンモードでは未校正のメートル値を示さず、距離欄を空にします。bash run.sh check は依存関係とモデルのハッシュを確認し、bash run.sh --help は利用可能なコマンドを表示します。

RK3576 NPU の実測性能

最終の INT8 CLI 実行ではダッシュボード配信を使わず、240 フレームすべてを処理しました。

測定項目結果
初期化を除く全体処理時間22.805 s
パイプライン全体のスループット10.52 FPS
最初の 15 フレームのウォームアップ後の NPU API 推論中央値25.551 ms
ウォームアップ後の NPU API 推論の 95 パーセンタイル31.269 ms

全体の処理速度にはデコード、前処理、NPU 推論、CPU 後処理、追跡、描画、フレーム記録、MP4 録画を含みます。その後の Web UI 検証では約 9.5 FPS で 240 フレームを完了し、MJPEG プレビューと CSV/JSON ダウンロードも確認しました。単発のデモ実測であり、継続運転での性能保証ではありません。

発光ゾーン付きデモ映像を作成する

ボードのリアルタイム表示は軽量なゾーン輪郭と色付きアラート枠です。半透明の赤・黄・緑の発光効果は、元動画とボードのフレーム記録からオフラインで作成します。

bash
bash run.sh render outputs/demo

サンプルとボードの出力を対応するプロジェクトディレクトリにコピーし、Pillow、OpenCV、FFmpeg がある Bash 環境で実行します。先にレンダリング用の Python 環境を有効にしてください。スクリプトはフレーム描画と H.264 MP4 エンコードを行います。出力は 1920 × 1080、24 FPS で、元の 10 秒の時間軸を保ちます。再生速度はボード上のリアルタイム推論が 24 FPS であることを意味しません。

検証と適用範囲

運転者除外、DFL デコード、前処理、空の検出・ログ、時刻処理、無効な入力、接近場面の赤色アラート、解除時のヒステリシスを対象とした 8 件の回帰チェックが通過しています。

bash
bash run.sh test

モデルの学習には、このサンプル動画から取得した 24 枚のラベル付きフレームを使用しています。INT8 校正にもサンプルのフレームを使うため、この動画は独立した検出精度評価ではなく、処理の流れを検証するためのものです。新しい撮影角度、遮蔽、荷物の形状、運転者の姿勢には追加の検証が必要です。ゾーンは映像上の接近を示すルールであり、安全認証を受けた衝突予測システムではありません。