基于reComputer RK3576 构建的的三维人体姿态构建系统

ceshi_rk3576/
├── README.md
├── pyproject.toml
├── requirements.txt
├── Dockerfile
├── configs/
│   └── default.yaml
├── data/
│   ├── inputs/                # 输入视频源
│   ├── outputs/                # 结果保存位置
│   └── weights/               # 存放 yolov8n.rknn、yolov8n_pose.rknn 模型权重
├── src/poseball/
│   ├── __init__.py
│   ├── __main__.py
│   ├── cli.py                 # 命令行入口
│   ├── config.py              # 基于 YAML 的配置管理
│   ├── rknn_engine.py         # NPU 推理封装
│   ├── vpu_codec.py           # 通过 ffmpeg 子进程实现 VPU 编解码
│   ├── models.py              # 便捷模型加载器
│   ├── preprocess.py          # Letterbox 处理 + BGR 转 RGB
│   ├── postprocess.py         # DFL/NMS + Letterbox 坐标还原
│   ├── video.py               # VPU / cv2 视频读写模块
│   ├── hw_scheduler.py        # 多线程流水线调度（CPU/NPU/VPU）
│   ├── pipeline.py            # 高层业务编排
│   ├── geometry.py            # Point / Rect / Detection 数据类定义
│   ├── io_utils.py            # JSON 与文件系统工具
│   └── _compat.py             # numpy 兼容性适配层
├── src/py_utils/
│   ├── __init__.py
│   ├── yolov8_utils.py        # 目标检测后处理（源自 `ballo` 项目）
│   └── pose_utils.py          # 姿态估计后处理（源自 `ball` 项目）
└── tests/
    ├── test_rknn_engine.py
    ├── test_vpu_codec.py
    ├── test_postprocess.py
    └── test_hw_scheduler.py

git clone https://github.com/doublelf/3D-Human-Pose-Estimation.git && cd 3D-Human-Pose-Estimation

# 1. 创建虚拟环境
python3 -m venv venv
source venv/bin/activate

# 2. 安装本项目包及所需环境
pip install -e .
pip install -r requirements.txt

# 3. 安装对应 Python 版本的 rknn-toolkit-lite2（仅支持 aarch64 架构）
cd RKNN-Toolkit/
pip3 install rknn_toolkit_lite2-2.3.2-cp311-cp311-manylinux_2_17_aarch64.manylinux2014_aarch64.whl

# 运行完整硬件诊断（新设备首次使用建议执行）
ceshi_rk3576 doctor

# 打印检测到的硬件能力信息
ceshi_rk3576 info

# 单帧功能冒烟测试
ceshi_rk3576 smoke --input data/inputs/sample.mp4

# 单摄像头端到端流水线（目标检测 + 姿态估计 + 球类检测）
ceshi_rk3576 infer \
    --config configs/default.yaml \
    --input  data/inputs/sample.mp4 \
    --output data/outputs/annotated.mp4 \
    --json   data/outputs/detections.json

# 双摄像头流水线（主测试使用指令）
ceshi_rk3576 dual-infer \
    --input-a  data/inputs/sample-a.mp4 \
    --input-b  data/inputs/sample-b.mp4 \
    --output-a data/outputs/annotated-a.mp4 \
    --output-b data/outputs/annotated-b.mp4 \
    --json-a   data/outputs/detections-a.json \
    --json-b   data/outputs/detections-b.json

# 基于 JSON 结果生成 matplotlib 伪3D 动画 MP4
ceshi_rk3576 render \
    --json-a     data/outputs/detections-a.json \
    --output     data/outputs/3d.mp4 \
    --depth-mode lr

sudo docker pull ghcr.io/doublelf/3d_human_pose_estimation:v1.0

sudo docker run --rm --privileged --net=host   -e PYTHONUNBUFFERED=1 \
  --device /dev/video1:/dev/video1 \
  --device /dev/dri/renderD129:/dev/dri/renderD129 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible \
  -v $(pwd)/data/inputs:/app/data/inputs \
  -v $(pwd)/data/weights:/app/data/weights \
  -v $(pwd)/data/outputs:/app/data/outputs \
  -v $(pwd)/configs:/app/configs \
  ghcr.io/doublelf/3d_human_pose_estimation:v1.0 \
  ceshi_rk3576 dual-infer --input-a  data/inputs/sample-a.mp4 --input-b  data/inputs/sample-b.mp4 --output-a data/outputs/annotated-a.mp4 --output-b data/outputs/annotated-b.mp4 --json-a   data/outputs/detections-a.json --json-b   data/outputs/detections-b.json

sudo docker run --rm --privileged --net=host   -e PYTHONUNBUFFERED=1 \
  --device /dev/video1:/dev/video1 \
  --device /dev/dri/renderD129:/dev/dri/renderD129 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible \
  -v $(pwd)/data/inputs:/app/data/inputs \
  -v $(pwd)/data/weights:/app/data/weights \
  -v $(pwd)/data/outputs:/app/data/outputs \
  -v $(pwd)/configs:/app/configs \
  ghcr.io/doublelf/3d_human_pose_estimation:v1.0 \
  ceshi_rk3576 render --json-a data/outputs/detections-a.json --output data/outputs/3d.mp4 --depth-mode lr