フォークリフトと歩行者が行き交う倉庫の通路では、接近に気づくことが安全監視の重要な役割です。本プロジェクトは車両検出、人物追跡、ゾーンアラートをローカル Web UI にまとめ、誰がフォークリフトに近づいているか、現在どのリスク状態にあるかを示します。
倉庫映像で学習した YOLO11n モデルを reComputer RK3576 NPU 上で実行し、ByteTrack でフォークリフトと人物を追跡します。歩行者が車両の投影ゾーンに近づくと CAUTION、内部に入ると赤色の DANGER を表示します。ブラウザーのダッシュボードでは注釈付き映像、現在のリスクペア、イベントのダウンロードを利用できます。推論と解析はボード内で完結します。
フォークリフトと歩行者の安全監視機能
| 機能 | 動作 |
|---|---|
| フォークリフトと人物の検出 | 2 クラスに対応した YOLO11n モデルを RK3576 NPU 上で実行します。 |
| ID の維持 | ByteTrack がフレームをまたいで対象に ID を割り当てます。 |
| 運転者の除外 | 検出枠の位置関係を使い、運転者を歩行者リスクのペアリングから除外します。 |
| 段階的なアラート | 緑の監視状態、黄色の CAUTION、赤色の DANGER で投影ゾーンへの接近を示します。 |
| ローカル Web UI | 注釈付き映像、現在のペア、完了したイベントをブラウザーで確認できます。 |
| 結果の出力 | 注釈付き MP4、イベント CSV、実行概要 JSON、フレームごとの記録を保存します。 |
| デモ映像の作成 | 記録した推論結果に半透明の発光する床面ゾーンをデスクトップで重ねます。 |
サンプルは 1280 × 720、24 FPS、10 秒の動画です。約 5 秒と 8 秒の接近場面では赤色の危険アラートが発生します。運転者は OPERATOR として区別されます。
仕組み
Video file / USB camera / RTSP
→ resize and letterbox to 640 × 640 RGB
→ YOLO11n RKNN inference on the RK3576 NPU
→ CPU detection decoding and NMS
→ CPU ByteTrack tracking
→ operator exclusion and pairwise zone analysis
→ Web UI, annotated video, and event logsYOLO11n がフォークリフトと人物を検出し、ByteTrack がフレーム間で ID を維持します。システムは各フォークリフトと車外の歩行者をペアにし、ゾーンとの位置関係からアラートを更新します。継続するアラートは出力可能なイベントとして記録します。検出は NPU、追跡、アラート判定、描画、録画は CPU で実行します。
接近アラートの判定
フォークリフトの検出枠を基準に画像空間の投影ゾーンを設け、歩行者との位置関係を継続的に確認します。歩行者の検出枠の下辺で、フォークリフトの中心に最も近い点を判定に使います。
警戒領域に近づくと黄色の CAUTION、内部の危険領域に入ると赤色の DANGER を表示します。ゾーンは画像内の接近関係を表し、未校正の距離をメートル単位では表示しません。
色の意味
| 状態 | 表示 | 条件 |
|---|---|---|
| 監視中 | 緑色の人物枠 | 警戒領域の外側。 |
| CAUTION | 黄色の人物枠と注意メッセージ | 車両の投影ゾーンに接近。 |
| DANGER | 赤色の人物枠、危険メッセージ、デモ映像の赤い外枠 | 内部の投影ゾーンに進入。 |
楕円の中心はフォークリフト検出枠の下辺中央です。基本の水平半径は枠幅の 2.4 倍、垂直半径は枠高の 0.4 倍です。正規化した楕円座標では半径 0.85 で危険、1.05 で注意を発生させます。危険は 0.93、注意は 1.20 を超えて離れると解除し、境界付近のちらつきを抑えます。外側の緑色表示リングは半径 1.35 です。
これらは調整可能な画像領域の設定であり、実測した床面距離やフォーク・荷物の実寸を示すものではありません。
プロジェクトには models/warehouse_yolo11_rk3576_int8.rknn と models/warehouse_yolo11_rk3576_fp16.rknn が含まれ、チェックサムは models/manifest.json にあります。クラス順は 0: forklift、1: person です。COCO にフォークリフトのクラスはないため、一般的な COCO 検出器では置き換えられません。
reComputer RK3576 で実行する
ARM64 Linux と Python 3.11 を使用し、RK3576 NPU のドライバーと Runtime が動作する状態にします。プロジェクトを取得し、環境を準備してダッシュボードを起動します。
git clone https://github.com/inteintegrity/rk3576-warehouse-safety-monitor.git
cd rk3576-warehouse-safety-monitor
bash run.sh setup
bash run.sh web同じ信頼できる LAN 内の PC から http://<board-ip>:8088 を開きます。<board-ip> はボードのアドレスに置き換えてください。
- サンプルには
data/test_clip_nearmiss.mp4を指定します。 - Start analysis を選び、映像と現在のリスクペアを確認します。
- 途中で終了する場合は Stop を選ぶか、サンプルの完了を待ちます。
- 完了後、注釈付き MP4、イベント CSV、概要 JSON をダウンロードします。
サーバーの停止は端末で Ctrl+C を押します。別のポートには bash run.sh web --port 8089 を使います。入力欄には既存の動画パス、USB カメラ番号、RTSP URL を指定でき、アップロード機能はありません。ファイル入力の推論とプレビューは検証済みですが、USB/RTSP は実際のカメラでの検証が必要です。認証機能のない単一操作者向けダッシュボードなので、信頼できる LAN で使用します。
ダッシュボードを使わず解析する場合:
bash run.sh video結果は outputs/demo の annotated.mp4、events.csv、summary.json、frame-trace.jsonl に保存されます。別の動画には --source /path/to/video.mp4 を追加します。イベントにはペアの ID、開始・終了時刻、継続時間、最高アラートレベルを記録します。画像ゾーンモードでは未校正のメートル値を示さず、距離欄を空にします。bash run.sh check は依存関係とモデルのハッシュを確認し、bash run.sh --help は利用可能なコマンドを表示します。
RK3576 NPU の実測性能
最終の INT8 CLI 実行ではダッシュボード配信を使わず、240 フレームすべてを処理しました。
| 測定項目 | 結果 |
|---|---|
| 初期化を除く全体処理時間 | 22.805 s |
| パイプライン全体のスループット | 10.52 FPS |
| 最初の 15 フレームのウォームアップ後の NPU API 推論中央値 | 25.551 ms |
| ウォームアップ後の NPU API 推論の 95 パーセンタイル | 31.269 ms |
全体の処理速度にはデコード、前処理、NPU 推論、CPU 後処理、追跡、描画、フレーム記録、MP4 録画を含みます。その後の Web UI 検証では約 9.5 FPS で 240 フレームを完了し、MJPEG プレビューと CSV/JSON ダウンロードも確認しました。単発のデモ実測であり、継続運転での性能保証ではありません。
発光ゾーン付きデモ映像を作成する
ボードのリアルタイム表示は軽量なゾーン輪郭と色付きアラート枠です。半透明の赤・黄・緑の発光効果は、元動画とボードのフレーム記録からオフラインで作成します。
bash run.sh render outputs/demoサンプルとボードの出力を対応するプロジェクトディレクトリにコピーし、Pillow、OpenCV、FFmpeg がある Bash 環境で実行します。先にレンダリング用の Python 環境を有効にしてください。スクリプトはフレーム描画と H.264 MP4 エンコードを行います。出力は 1920 × 1080、24 FPS で、元の 10 秒の時間軸を保ちます。再生速度はボード上のリアルタイム推論が 24 FPS であることを意味しません。
検証と適用範囲
運転者除外、DFL デコード、前処理、空の検出・ログ、時刻処理、無効な入力、接近場面の赤色アラート、解除時のヒステリシスを対象とした 8 件の回帰チェックが通過しています。
bash run.sh testモデルの学習には、このサンプル動画から取得した 24 枚のラベル付きフレームを使用しています。INT8 校正にもサンプルのフレームを使うため、この動画は独立した検出精度評価ではなく、処理の流れを検証するためのものです。新しい撮影角度、遮蔽、荷物の形状、運転者の姿勢には追加の検証が必要です。ゾーンは映像上の接近を示すルールであり、安全認証を受けた衝突予測システムではありません。