使用 reComputer RK3576 进行足球运动员跟踪分析

reComputer RK3576 足球运动员追踪分析

基于 RK3576 / RKNN / MPP / RGA / ZLMediaKit 的智能足球场分析项目。

可通过以下链接查看项目源代码： https://github.com/litxaohu/football_project

也可以下载已编译版本，在 reComputer RK3576 上本地运行项目：

注意：此项目内存需求较低，但 CPU 占用较高。后续将考虑优化 CPU 使用。

bash

wget -O rk3576_football_demo-linux-aarch64.tar.gz https://github.com/litxaohu/football_project/releases/download/v1.0.0/rk3576_football_demo-linux-aarch64.tar.gz
tar -xzvf rk3576_football_demo-linux-aarch64.tar.gz

cd install
export LD_LIBRARY_PATH="$(pwd)/lib:${LD_LIBRARY_PATH}"

可将本地视频上传至设备进行分析处理，或添加 RTSP 视频源进行实时分析：

本地视频分析：

bash

sudo ./bin/rk3576_football_demo \
  --source localvideo \
  --localvideo ./video/football.mp4 \ #Change it to the local path of your video file
  --model model/yolov8n_rk3576.rknn \
  --output-width 1280 \
  --output-height 720 \
  --fps 30 \
  --http-port 8000 \
  --streams ai \
  --ai-conf-threshold 0.25

RTSP 视频分析：

bash

sudo ./bin/rk3576_football_demo \
  --source rtsp \
  --rtsp-input-url "rtsp://192.168.100.101:554/live" \
  --rtsp-username admin \
  --rtsp-password 123456 \
  --model model/yolov8n_rk3576.rknn \
  --output-width 1280 \
  --output-height 720 \
  --fps 30 \
  --http-port 8000 \
  --streams ai \
  --ai-conf-threshold 0.25

预览：

页面入口 http://<board-ip>:8000/

项目功能

当前能力

输入源：
- v4l2
- rtsp
- localvideo
输出流：
- 主流 rtsp://<board-ip>:8554/live/camera
- 子流 rtsp://<board-ip>:8554/live/camera_sub
- AI 调试流 rtsp://<board-ip>:8554/live/camera_ai
Web：
- 页面入口 http://<board-ip>:8000/
- HLS 状态端点 /api/hls/status
- HLS 播放列表 /api/hls/playlist.m3u8
- 实时检测端点 /api/live_state
AI：
- 固定 NPU 输入 640x640
- 默认检测目标 person
- --enable-ball 启用 ball 输出
- --ball-trail 在 AI 调试流上绘制足球轨迹
追踪：
- 稳定的 track_id 输出
- JSON 返回 track_id、appear_frames、first_seen_sec、last_seen_sec

Web 播放

当前使用：

协议：HLS
编码：H.264
帧率：30 FPS
分辨率：1280x720

构建与运行

GitHub CI 与发布打包

此仓库包含 GitHub Actions 工作流，将：

在推送或拉取请求时自动构建项目
运行与本地相同的构建脚本：./scripts/build-linux.sh
在 dist/ 下生成 Linux/aarch64 版发布包
当推送如 v1.0.0 的标签时，将归档发布为 GitHub release

使用方式：

创建 GitHub 仓库并推送项目。
将仓库添加到 GitHub Actions。
推送标签，如 git tag v1.0.0 && git push origin v1.0.0，触发打包发布。

依赖项

RK3576 开发板运行时环境
RKNN Runtime
Rockchip MPP
RGA
ZLMediaKit
FFmpeg

构建

bash

cd rk3576_football_demo
chmod +x scripts/build-linux.sh
./scripts/build-linux.sh

运行前准备

bash

cd install
export LD_LIBRARY_PATH="$(pwd)/lib:${LD_LIBRARY_PATH}"

模型目录

text

model/
  yolov8n_rk3576.rknn
  yolov8s_rk3576.rknn
  yolov8m_rk3576.rknn

未显式提供 --model 时，将自动尝试上述默认模型名称。

启动示例

RTSP 实时足球分析 + Web

bash

./bin/rk3576_football_demo \
  --source rtsp \
  --rtsp-input-url "rtsp://192.168.100.101:554/live" \
  --rtsp-username admin \
  --rtsp-password 123456 \
  --model model/yolov8n_rk3576.rknn \
  --output-width 1280 \
  --output-height 720 \
  --fps 30 \
  --http-port 8000 \
  --streams main,sub,ai

bash

sudo ./bin/rk3576_football_demo \
  --source localvideo \
  --localvideo ./video/football.mp4 \
  --model model/yolov8n_rk3576.rknn \
  --output-width 1280 \
  --output-height 720 \
  --fps 30 \
  --http-port 8000 \
  --streams ai \
  --ai-conf-threshold 0.15

仅 AI 调试流 + Web

bash

./bin/rk3576_football_demo \
  --source rtsp \
  --rtsp-input-url "rtsp://192.168.100.101:554/live" \
  --rtsp-username admin \
  --rtsp-password 123456 \
  --model model/yolov8n_rk3576.rknn \
  --streams ai \
  --http-port 8000

启用足球检测与轨迹

bash

./bin/rk3576_football_demo \
  --source rtsp \
  --rtsp-input-url "rtsp://192.168.100.101:554/live" \
  --model model/yolov8n_rk3576.rknn \
  --enable-ball \
  --ball-trail \
  --ball-trail-length 20

调试低置信度目标

bash

./bin/rk3576_football_demo \
  --source localvideo \
  --localvideo /home/rk76/CPP_yolov8/video/football.mp4 \
  --model model/yolov8n_rk3576.rknn \
  --streams ai \
  --ai-conf-threshold 0.15 \
  --detail-info

导出 NPU 输入帧

bash

./bin/rk3576_football_demo \
  --source localvideo \
  --localvideo /home/rk76/CPP_yolov8/video/football.mp4 \
  --model model/yolov8n_rk3576.rknn \
  --streams ai \
  --dump-ai-input-dir ./debug_ai_input \
  --dump-ai-input-every 30 \
  --detail-info

显示帮助

bash

./bin/rk3576_football_demo --help

Web API

实时状态

GET /api/live_state

响应示例：

json

{
  "success": true,
  "message": "",
  "stream_type": "hls",
  "detect_fps": 28.7,
  "updated_at": 1720851200,
  "source": "live frame",
  "image": {
    "width": 1280,
    "height": 720
  },
  "predictions": [
    {
      "class": "person",
      "confidence": 0.92,
      "track_id": "#12",
      "track_numeric": 12,
      "appear_frames": 35,
      "first_seen_sec": 3,
      "last_seen_sec": 5,
      "box": {
        "x1": 100,
        "y1": 200,
        "x2": 300,
        "y2": 500
      }
    }
  ]
}

HLS 状态

GET /api/hls/status

HLS 播放

GET /api/hls/playlist.m3u8

上传/文件 API

POST /api/video/upload
GET /api/video/list
GET /api/video/download/<filename>

说明：

此版本优先考虑实时 Web/HLS 与实时 JSON。
POST /api/video/analyze 及完整的离线分析任务管理保留用于未来扩展。

关键参数

--streams <main,sub,ai>：选择要启用的输出流
--ai-width <value> / --ai-height <value>：AI 调试流输出尺寸
--http-host <value>：Web 监听地址
--http-port <value>：Web 监听端口，默认 8000
--web-root <path>：静态资源根目录
--hls-dir <path>：HLS 输出目录
--uploads-dir <path>：上传目录
--results-dir <path>：结果目录
--enable-ball：启用足球检测输出
--ball-trail：启用足球轨迹绘制
--ball-trail-length <value>：保留的轨迹点数量
--ai-conf-threshold <value>：AI 检测置信度阈值，默认 0.25
--disable-web：禁用内置 Web/HLS 服务
--detail-info：启用详细日志

项目结构

text

rk3576_football_demo
├── CMakeLists.txt
├── football_players.html
├── static
│   └── hls.min.js
├── include
│   └── rk3576_yolo_demo
│       ├── ai
│       ├── app
│       ├── branch
│       ├── common
│       ├── tracking
│       └── web
├── src
│   ├── ai
│   ├── app
│   ├── branch
│   ├── common
│   ├── tracking
│   ├── web
│   └── ...
└── third_party

AI 推理扩展

RKNN 入口位于 src/ai/yolov8_engine.cpp
预处理主要使用 RGA
检测结果存储在 DetectionFrame 缓存中，随后由 AI 分支基于 PTS 进行匹配与合并

日志与调试

默认仅打印启动摘要
详细的运行时日志通过 --detail-info 启用
日志记录器位于 include/rk3576_yolo_demo/common/logger.hpp

部署建议

对于生产部署，请配置 /dev/rga、视频设备及相关运行时库的权限
建议将模型、运行时库和配置文件与 install/ 一起打包
RTSP 输入优先使用 libavformat；旧环境会自动回退到 ffmpeg pipe
为实现长期稳定运行，请使用 systemd 或 supervisor 进行进程管理和重启

已知限制

camera_ai 的边界框绘制和水印叠加仍会带来部分 CPU 开销
e2e 并非完全的端到端延迟；它仅代表内部分支时间
localvideo 当前使用压缩流读取路径，主要用于离线验证和循环推理