inteintegrity2026-11-14

reComputer RK3576 仓库安全监控:YOLO11 叉车与行人告警

在 Seeed Studio reComputer RK3576 NPU 上部署 YOLO11 + ByteTrack, 完成叉车与行人检测、持续跟踪及红色危险告警。提供本地 Web UI、RKNN 模型、部署步骤和实测性能。

CVWarehouse SafetyreComputer RKGitHub
reComputer RK3576 叉车与行人安全监控演示

在叉车与行人共用的仓库通道里,及时发现近距离接触是安全监控的重要环节。本项目将叉车检测、人员跟踪和区域告警整合到一个本地 Web UI 中,让操作者直观看到谁正在接近叉车、当前处于什么风险状态。

本项目在 reComputer RK3576 的 NPU 上运行针对仓库场景训练的 YOLO11n 模型,使用 ByteTrack 跟踪叉车和人员。当行人接近叉车的投影警戒区时,系统显示 CAUTION 预警;进入内部区域后,升级为红色 DANGER 危险告警。本地浏览器仪表盘提供标注画面、当前风险对和事件下载,推理与分析均在开发板上完成。

项目源码:rk3576-warehouse-safety-monitor

叉车与行人安全监控功能

功能表现
叉车与行人检测定制的双类别 YOLO11n 模型在 RK3576 NPU 上运行。
持续跟踪身份ByteTrack 为跨帧目标分配 ID。
排除驾驶员根据检测框位置关系,将叉车驾驶员排除在行人风险配对之外。
分级告警用绿色监测、黄色 CAUTION 和红色 DANGER 表示与投影区域的接近程度。
本地 Web UI在浏览器中查看标注画面、当前风险对和已完成事件。
结果导出保存标注 MP4、事件 CSV、运行摘要 JSON 和逐帧记录。
展示视频渲染在桌面端为真实推理结果叠加半透明的贴地发光警戒圈。

样例视频时长 10 秒,分辨率为 1280 × 720,帧率为 24 FPS。约第 5 秒和第 8 秒的近距离阶段会触发红色危险告警;驾驶员单独标记为 OPERATOR。

系统如何工作

text
Video file / USB camera / RTSP
  → resize and letterbox to 640 × 640 RGB
  → YOLO11n RKNN inference on the RK3576 NPU
  → CPU detection decoding and NMS
  → CPU ByteTrack tracking
  → operator exclusion and pairwise zone analysis
  → Web UI, annotated video, and event logs

YOLO11n 识别画面中的叉车与人员,ByteTrack 持续跟踪每个目标的身份。系统为叉车与车外行人建立配对,根据行人与警戒区的位置关系更新告警状态,并将连续告警记录为可导出的事件。检测运行在 NPU 上,跟踪、告警判断、绘制和录像运行在 CPU 上。

接近告警原理

系统以叉车检测框为基准,在画面中建立图像空间投影警戒区,并持续判断行人与区域的相对位置。行人检测框底边中最靠近叉车中心的位置作为判断点,用于触发接近预警或危险告警。

行人接近警戒区时显示黄色 CAUTION;进入内部危险区后,升级为红色 DANGER。警戒区用于展示画面中的接近关系,不输出未经标定的米制距离。

三种颜色分别表示什么

状态画面表现触发条件
监测中绿色行人框位于预警区域之外。
CAUTION黄色行人框与预警文字接近叉车投影警戒区。
DANGER红色行人框、危险文字,展示视频同时出现红色边框进入内部投影区域。

椭圆以叉车检测框的底部中心为圆心,基础水平半径为框宽的 2.4 倍,垂直半径为框高的 0.4 倍。在归一化椭圆坐标中,半径 0.85 为危险触发边界,1.05 为预警触发边界;离开 0.93 后解除危险,离开 1.20 后解除预警,以减少边界附近的状态抖动。外侧绿色展示圈的半径为 1.35。

这些参数描述的是可调整的图像区域,不代表已测量的地面距离,也不表示叉齿和货物的真实尺寸。

已整理的项目包含 models/warehouse_yolo11_rk3576_int8.rknn 和 models/warehouse_yolo11_rk3576_fp16.rknn,校验信息位于 models/manifest.json。类别顺序为 0: forklift、1: person。COCO 数据集没有叉车类别,不能直接用普通 COCO 检测模型替换。

在 reComputer RK3576 上运行

使用 ARM64 Linux、Python 3.11,并确保开发板的 RK3576 NPU 驱动和 Runtime 已正常安装。克隆项目、准备环境并启动仪表盘:

bash
git clone https://github.com/inteintegrity/rk3576-warehouse-safety-monitor.git
cd rk3576-warehouse-safety-monitor
bash run.sh setup
bash run.sh web

在同一可信局域网内的电脑上打开 http://<board-ip>:8088,将 <board-ip> 替换为开发板地址。在仪表盘中:

  1. 保留 data/test_clip_nearmiss.mp4,使用项目提供的样例。
  2. 点击 Start analysis,查看标注画面和当前风险对。
  3. 点击 Stop 提前结束分析,或等待样例完成。
  4. 完成后下载标注 MP4、事件 CSV 或运行摘要 JSON。

在终端按 Ctrl+C 可停止服务。需要更换端口时,运行 bash run.sh web --port 8089。输入框支持已有视频路径、USB 摄像头索引或 RTSP URL,没有上传控件。本次已验证文件输入推理与预览;USB/RTSP 仍需连接实际摄像头测试。仪表盘面向可信局域网中的单人演示,未提供身份认证。

不通过仪表盘分析视频时,只需:

bash
bash run.sh video

结果保存在 outputs/demo,包含 annotated.mp4、events.csv、summary.json 和 frame-trace.jsonl。追加 --source /path/to/video.mp4 可使用其他视频。事件记录配对 ID、起止时间、持续时间和最高告警等级;图像警戒区模式将米制距离留空,避免把未经标定的结果表述为真实米数。bash run.sh check 用于检查依赖和模型校验值,bash run.sh --help 可查看全部命令。

RK3576 NPU 实测性能

最终 INT8 命令行运行完整处理了 240 帧,当时未开启仪表盘视频流:

测量项结果
端到端处理时间,不含初始化22.805 秒
完整流水线吞吐10.52 FPS
跳过前 15 帧预热后的 NPU API 推理中位数25.551 ms
预热后的 NPU API 推理第 95 百分位31.269 ms

流水线吞吐包含解码、预处理、NPU 推理、CPU 后处理、跟踪、绘制、逐帧记录和 MP4 录像。后续 Web UI 检查以约 9.5 FPS 完整处理 240 帧,并验证了 MJPEG 预览与 CSV/JSON 下载。这些是单次演示实测,不代表长期运行的性能保证。

制作发光警戒圈展示视频

板端实时画面使用轻量警戒圈轮廓和告警色框。半透明红、黄、绿光圈通过原始视频与板端逐帧结果离线渲染:

bash
bash run.sh render outputs/demo

将样例视频和板端输出复制到对应项目目录后,在安装了 Pillow、OpenCV 和 FFmpeg 的 Bash 环境中执行。先激活渲染电脑的 Python 环境,脚本会完成逐帧渲染和 H.264 MP4 编码。导出视频为 1920 × 1080、24 FPS,保留原片 10 秒的时间轴。播放帧率不表示板端可以实时以 24 FPS 运行整套推理。

验证与适用边界

8 项回归检查已通过,覆盖驾驶员排除、DFL 解码、预处理、空检测与日志、时间戳处理、无效输入、近距离画面的红色告警,以及告警退出缓冲。可执行:

bash
bash run.sh test

原始模型训练时使用了同一样例视频中的 24 张标注帧,本项目也使用样例帧进行 INT8 校准。因此,这段视频用于验证整条流程,不属于独立检测精度测试。新摄像头角度、遮挡、货物形状和驾驶员姿态均需要进一步验证。警戒区是可视化接近判断规则,不是经过安全认证的碰撞预测系统。