在叉车与行人共用的仓库通道里,及时发现近距离接触是安全监控的重要环节。本项目将叉车检测、人员跟踪和区域告警整合到一个本地 Web UI 中,让操作者直观看到谁正在接近叉车、当前处于什么风险状态。
本项目在 reComputer RK3576 的 NPU 上运行针对仓库场景训练的 YOLO11n 模型,使用 ByteTrack 跟踪叉车和人员。当行人接近叉车的投影警戒区时,系统显示 CAUTION 预警;进入内部区域后,升级为红色 DANGER 危险告警。本地浏览器仪表盘提供标注画面、当前风险对和事件下载,推理与分析均在开发板上完成。
叉车与行人安全监控功能
| 功能 | 表现 |
|---|---|
| 叉车与行人检测 | 定制的双类别 YOLO11n 模型在 RK3576 NPU 上运行。 |
| 持续跟踪身份 | ByteTrack 为跨帧目标分配 ID。 |
| 排除驾驶员 | 根据检测框位置关系,将叉车驾驶员排除在行人风险配对之外。 |
| 分级告警 | 用绿色监测、黄色 CAUTION 和红色 DANGER 表示与投影区域的接近程度。 |
| 本地 Web UI | 在浏览器中查看标注画面、当前风险对和已完成事件。 |
| 结果导出 | 保存标注 MP4、事件 CSV、运行摘要 JSON 和逐帧记录。 |
| 展示视频渲染 | 在桌面端为真实推理结果叠加半透明的贴地发光警戒圈。 |
样例视频时长 10 秒,分辨率为 1280 × 720,帧率为 24 FPS。约第 5 秒和第 8 秒的近距离阶段会触发红色危险告警;驾驶员单独标记为 OPERATOR。
系统如何工作
Video file / USB camera / RTSP
→ resize and letterbox to 640 × 640 RGB
→ YOLO11n RKNN inference on the RK3576 NPU
→ CPU detection decoding and NMS
→ CPU ByteTrack tracking
→ operator exclusion and pairwise zone analysis
→ Web UI, annotated video, and event logsYOLO11n 识别画面中的叉车与人员,ByteTrack 持续跟踪每个目标的身份。系统为叉车与车外行人建立配对,根据行人与警戒区的位置关系更新告警状态,并将连续告警记录为可导出的事件。检测运行在 NPU 上,跟踪、告警判断、绘制和录像运行在 CPU 上。
接近告警原理
系统以叉车检测框为基准,在画面中建立图像空间投影警戒区,并持续判断行人与区域的相对位置。行人检测框底边中最靠近叉车中心的位置作为判断点,用于触发接近预警或危险告警。
行人接近警戒区时显示黄色 CAUTION;进入内部危险区后,升级为红色 DANGER。警戒区用于展示画面中的接近关系,不输出未经标定的米制距离。
三种颜色分别表示什么
| 状态 | 画面表现 | 触发条件 |
|---|---|---|
| 监测中 | 绿色行人框 | 位于预警区域之外。 |
| CAUTION | 黄色行人框与预警文字 | 接近叉车投影警戒区。 |
| DANGER | 红色行人框、危险文字,展示视频同时出现红色边框 | 进入内部投影区域。 |
椭圆以叉车检测框的底部中心为圆心,基础水平半径为框宽的 2.4 倍,垂直半径为框高的 0.4 倍。在归一化椭圆坐标中,半径 0.85 为危险触发边界,1.05 为预警触发边界;离开 0.93 后解除危险,离开 1.20 后解除预警,以减少边界附近的状态抖动。外侧绿色展示圈的半径为 1.35。
这些参数描述的是可调整的图像区域,不代表已测量的地面距离,也不表示叉齿和货物的真实尺寸。
已整理的项目包含 models/warehouse_yolo11_rk3576_int8.rknn 和 models/warehouse_yolo11_rk3576_fp16.rknn,校验信息位于 models/manifest.json。类别顺序为 0: forklift、1: person。COCO 数据集没有叉车类别,不能直接用普通 COCO 检测模型替换。
在 reComputer RK3576 上运行
使用 ARM64 Linux、Python 3.11,并确保开发板的 RK3576 NPU 驱动和 Runtime 已正常安装。克隆项目、准备环境并启动仪表盘:
git clone https://github.com/inteintegrity/rk3576-warehouse-safety-monitor.git
cd rk3576-warehouse-safety-monitor
bash run.sh setup
bash run.sh web在同一可信局域网内的电脑上打开 http://<board-ip>:8088,将 <board-ip> 替换为开发板地址。在仪表盘中:
- 保留
data/test_clip_nearmiss.mp4,使用项目提供的样例。 - 点击 Start analysis,查看标注画面和当前风险对。
- 点击 Stop 提前结束分析,或等待样例完成。
- 完成后下载标注 MP4、事件 CSV 或运行摘要 JSON。
在终端按 Ctrl+C 可停止服务。需要更换端口时,运行 bash run.sh web --port 8089。输入框支持已有视频路径、USB 摄像头索引或 RTSP URL,没有上传控件。本次已验证文件输入推理与预览;USB/RTSP 仍需连接实际摄像头测试。仪表盘面向可信局域网中的单人演示,未提供身份认证。
不通过仪表盘分析视频时,只需:
bash run.sh video结果保存在 outputs/demo,包含 annotated.mp4、events.csv、summary.json 和 frame-trace.jsonl。追加 --source /path/to/video.mp4 可使用其他视频。事件记录配对 ID、起止时间、持续时间和最高告警等级;图像警戒区模式将米制距离留空,避免把未经标定的结果表述为真实米数。bash run.sh check 用于检查依赖和模型校验值,bash run.sh --help 可查看全部命令。
RK3576 NPU 实测性能
最终 INT8 命令行运行完整处理了 240 帧,当时未开启仪表盘视频流:
| 测量项 | 结果 |
|---|---|
| 端到端处理时间,不含初始化 | 22.805 秒 |
| 完整流水线吞吐 | 10.52 FPS |
| 跳过前 15 帧预热后的 NPU API 推理中位数 | 25.551 ms |
| 预热后的 NPU API 推理第 95 百分位 | 31.269 ms |
流水线吞吐包含解码、预处理、NPU 推理、CPU 后处理、跟踪、绘制、逐帧记录和 MP4 录像。后续 Web UI 检查以约 9.5 FPS 完整处理 240 帧,并验证了 MJPEG 预览与 CSV/JSON 下载。这些是单次演示实测,不代表长期运行的性能保证。
制作发光警戒圈展示视频
板端实时画面使用轻量警戒圈轮廓和告警色框。半透明红、黄、绿光圈通过原始视频与板端逐帧结果离线渲染:
bash run.sh render outputs/demo将样例视频和板端输出复制到对应项目目录后,在安装了 Pillow、OpenCV 和 FFmpeg 的 Bash 环境中执行。先激活渲染电脑的 Python 环境,脚本会完成逐帧渲染和 H.264 MP4 编码。导出视频为 1920 × 1080、24 FPS,保留原片 10 秒的时间轴。播放帧率不表示板端可以实时以 24 FPS 运行整套推理。
验证与适用边界
8 项回归检查已通过,覆盖驾驶员排除、DFL 解码、预处理、空检测与日志、时间戳处理、无效输入、近距离画面的红色告警,以及告警退出缓冲。可执行:
bash run.sh test原始模型训练时使用了同一样例视频中的 24 张标注帧,本项目也使用样例帧进行 INT8 校准。因此,这段视频用于验证整条流程,不属于独立检测精度测试。新摄像头角度、遮挡、货物形状和驾驶员姿态均需要进一步验证。警戒区是可视化接近判断规则,不是经过安全认证的碰撞预测系统。