CV / ResNet

ResNet50V2

ResNet50V2 image classification accelerated by RKNN on reComputer RK3576 and RK3588.

2 次下载

精度

RKNN

选择你正在使用的设备，设置指南和文档将相应更新。

平台

尺寸

推理引擎

快速开始

部署

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 -e RKNN_LOG_LEVEL=0 \
  --device /dev/dri/renderD128:/dev/dri/renderD128 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-resnet50v2:latest \
  python3 web_classification.py --model_path model/rk3576_resnet50-v2-7.rknn --camera_id -1

REST API

使用 REST API 进行推理。复制以下命令。

Curl

curl http://localhost:8080/v1/chat/completions -d '{
  "model": "resnet50-v2-rknn",
  "messages": [{"role": "user", "content": "Hello"}]
}'

Python

import requests

resp = requests.post(
    "http://localhost:8080/v1/chat/completions",
    json={"model": "resnet50-v2-rknn", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())

模型详情

快速开始

1. 安装 Docker

在开发板上运行以下命令安装 Docker：

bash

# 下载安装脚本
curl -fsSL https://get.docker.com -o get-docker.sh
# 使用阿里云镜像源安装
sudo sh get-docker.sh --mirror Aliyun
# 启动 Docker 并设置开机自启
sudo systemctl enable docker
sudo systemctl start docker

2. 运行项目（单条命令，双模式预览）

本文改编自 reComputer-RK-CV 中的 ResNet50V2 README。该服务在 Rockchip NPU 上运行 ImageNet 分类，并提供浏览器、MJPEG、健康检查和 REST 接口。

模型信息

属性	值
任务	图像分类
输入	`224 x 224` RGB 图像
输出	可配置的 Top-K ImageNet 标签和置信度分数
RK3576 模型	`model/rk3576_resnet50-v2-7.rknn`
RK3588 模型	`model/rk3588_resnet50-v2-7.rknn`
标签	`model/synset.txt`

步骤 A：拉取镜像

bash

sudo docker pull ghcr.io/seeed-projects/recomputer-rk-cv/rk3588-resnet50v2:latest
sudo docker pull ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-resnet50v2:latest

步骤 B：一键运行

适用于 RK3576：

bash

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 -e RKNN_LOG_LEVEL=0 \
  --device /dev/dri/renderD128:/dev/dri/renderD128 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-resnet50v2:latest \
  python3 web_classification.py \
  --model_path model/rk3576_resnet50-v2-7.rknn --camera_id -1

适用于 RK3588：

bash

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 -e RKNN_LOG_LEVEL=0 \
  --device /dev/dri/renderD128:/dev/dri/renderD128 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3588-resnet50v2:latest \
  python3 web_classification.py \
  --model_path model/rk3588_resnet50-v2-7.rknn --camera_id -1

打开 http://<BOARD_IP>:8000 访问 Web 页面，或打开 http://<BOARD_IP>:8000/docs 访问 OpenAPI。

🔌 API 文档

1. 模型推理接口（Predict）

端点： POST /api/models/resnet50v2/predict

请求参数（Multipart/Form-Data）：

file: 可选的待分类图像文件。
video: 可选 MP4 文件；不能与 file 同时提供。
timestamp: 可选的非负视频时间戳（秒）；默认为第一帧。
conf: 可选的请求级置信度阈值，范围为 0.0 到 1.0。
topk: 可选的结果数量，范围为 1 到 20；默认为 5。
未提供 file 或 video 时，如有可用输入，将使用当前摄像头或本地视频帧。

使用示例：

bash

curl -X POST "http://<BOARD_IP>:8000/api/models/resnet50v2/predict" \
  -F "file=@dog_224x224.jpg" -F "topk=5" -F "conf=0.01"

bash

curl -X POST "http://<BOARD_IP>:8000/api/models/resnet50v2/predict" \
  -F "video=@test.mp4" -F "timestamp=5.5" -F "topk=3"

响应格式（JSON）：

json

{
  "success": true,
  "model": "resnet50v2",
  "source": "uploaded image",
  "predictions": [
    {"class": "n02099601 golden retriever", "confidence": 0.89}
  ],
  "image": {"width": 224, "height": 224}
}

2. 系统配置接口（Config）

GET /api/config 返回 conf_thresh；可通过 POST /api/config 使用 JSON 更新。请求级 conf 具有更高优先级。

端点	用途
`GET /api/health`	服务、平台、模型和就绪状态。
`GET /api/video_feed`	带标注的 MJPEG 预览。
`POST /api/video/upload`	上传图像或 MP4。
`POST /api/video/analyze`	分析已上传的 `filename`。
`GET /api/video/status`	处理进度和错误。
`GET /api/video/list`	已上传和生成的文件。
`GET /api/video/download/{filename}`	下载结果。

3. 命令行参数

应用可接受上传图像、上传 MP4 中选定的帧、循环播放的本地视频或摄像头帧。

参数	默认值	说明
`--model_path`	必填	为目标 SoC 选择的 RKNN 模型。
`--camera_id`	`1`	摄像头索引；使用 `-1` 表示仅上传模式。
`--video_path`	无	本地 MP4 路径；优先级高于摄像头。
`--host`	`0.0.0.0`	FastAPI 监听地址。
`--port`	`8000`	服务端口。

选择摄像头 N 时，请将 /dev/videoN 映射到容器中。

实时视频流接口（Video Feed）

获取带标注的最新 MJPEG 视频流，用于浏览器预览：

端点: GET /api/video_feed
示例用法: <img src="http://<BOARD_IP>:8000/api/video_feed">

🛠️ 开发者指南（生产环境建议）

替换模型

运行时将输入缩放到 224 x 224，从 BGR 转换为 RGB，应用 softmax，并筛选 Top-K 结果。替换模型必须保持预期的输入布局、归一化方式、通道顺序和输出格式。如果类别集合发生变化，请更新 synset.txt。运行时文件存储在 workspace/ 下；设置 RK_CV_WORKSPACE 可覆盖该位置。

本地构建

bash

docker build -f docker/rk3576/resnet50v2.dockerfile \
  -t rk3576-resnet50v2:local src/rk3576_resnet50v2

docker build -f docker/rk3588/resnet50v2.dockerfile \
  -t rk3588-resnet50v2:local src/rk3588_resnet50v2

输入与输出

Input: image, video frame, or camera frame. Output: Top-K ImageNet labels and confidence scores.