CV / MobileNet

MobileNetV2

ImageNet classification with configurable Top-K results, browser preview, and REST API access.

2 次下载

精度

RKNN

选择你正在使用的设备，设置指南和文档将相应更新。

平台

尺寸

推理引擎

快速开始

部署

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 -e RKNN_LOG_LEVEL=0 \
  --device /dev/dri/renderD128:/dev/dri/renderD128 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-mobilenet:latest \
  python3 web_classification.py --model_path model/rk3576_mobilenet_v2.rknn --camera_id -1

REST API

使用 REST API 进行推理。复制以下命令。

Curl

curl http://localhost:8080/v1/chat/completions -d '{
  "model": "mobilenet-v2-rknn",
  "messages": [{"role": "user", "content": "Hello"}]
}'

Python

import requests

resp = requests.post(
    "http://localhost:8080/v1/chat/completions",
    json={"model": "mobilenet-v2-rknn", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())

模型详情

在 reComputer RK3576 和 RK3588 上运行 MobileNetV2

本文改编自 reComputer-RK-CV 中的 MobileNetV2 README。该服务使用 RKNN-Toolkit-Lite2 执行 ImageNet 分类，并提供 Web 预览、MJPEG 流、健康检查和 REST API。

模型信息

属性	值
任务	图像分类
输入	`224 x 224` 图像
输出	可配置的 Top-K ImageNet 标签和置信度分数
RK3576 模型	`model/rk3576_mobilenet_v2.rknn`
RK3588 模型	`model/rk3588_mobilenet_v2.rknn`
标签	`model/synset.txt`

运行服务

RK3576

bash

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 -e RKNN_LOG_LEVEL=0 \
  --device /dev/dri/renderD128:/dev/dri/renderD128 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-mobilenet:latest \
  python3 web_classification.py \
  --model_path model/rk3576_mobilenet_v2.rknn --camera_id -1

RK3588

bash

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 -e RKNN_LOG_LEVEL=0 \
  --device /dev/dri/renderD128:/dev/dri/renderD128 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3588-mobilenet:latest \
  python3 web_classification.py \
  --model_path model/rk3588_mobilenet_v2.rknn --camera_id -1

打开 http://<BOARD_IP>:8000 访问 Web 页面，或打开 http://<BOARD_IP>:8000/docs 访问 OpenAPI。可将 --camera_id -1 替换为已映射的摄像头 ID，或使用 --video_path video/test.mp4 播放内置视频。

输入模式和启动参数

应用可接受上传图像、按时间戳选取的上传 MP4 帧、循环播放的本地视频或摄像头帧。本地视频的优先级高于摄像头。

参数	默认值	说明
`--model_path`	必填	为目标 SoC 选择的 RKNN 模型。
`--camera_id`	`1`	摄像头索引；使用 `-1` 表示仅上传模式。
`--video_path`	无	本地 MP4 路径。优先级高于 `--camera_id`。
`--host`	`0.0.0.0`	FastAPI 监听地址。
`--port`	`8000`	服务端口。

使用 USB 摄像头时，请映射对应的设备节点，例如 --device /dev/video0:/dev/video0，并传入 --camera_id 0。

REST API

端点： POST /api/models/mobilenet/predict

Multipart 字段包括 file、video、timestamp、conf 和 topk。topk 接受 1 到 20 的值，默认值为 5。

bash

curl -X POST "http://<BOARD_IP>:8000/api/models/mobilenet/predict" \
  -F "file=@bell.jpg" -F "topk=5" -F "conf=0.01"

对 MP4 中 5.5 秒处的帧进行分类：

bash

curl -X POST "http://<BOARD_IP>:8000/api/models/mobilenet/predict" \
  -F "video=@test.mp4" -F "timestamp=5.5" -F "topk=3"

响应示例：

json

{
  "success": true,
  "model": "mobilenet",
  "source": "uploaded image",
  "predictions": [
    {"class": "n02123045 tabby, tabby cat", "confidence": 0.91}
  ],
  "image": {"width": 640, "height": 480}
}

GET /api/config 返回全局 conf_thresh。可使用 POST /api/config 和类似 {"conf_thresh":0.1} 的 JSON 更新它。请求级 conf 值会在该请求中覆盖全局阈值。

端点	用途
`GET /api/health`	平台、模型路径和就绪状态。
`GET /api/video_feed`	带标注的 MJPEG 预览。
`POST /api/video/upload`	上传 JPG、JPEG、PNG、BMP 或 MP4。
`POST /api/video/analyze`	按已上传的 `filename` 启动异步分析。
`GET /api/video/status`	进度和错误状态。
`GET /api/video/list`	已上传和生成的文件。
`GET /api/video/download/{filename}`	下载生成的结果。

替换模型

预处理会保留该模型所需的 BGR 通道顺序，应用 softmax，并筛选 Top-K 结果。替换模型必须保持输入布局、通道顺序、归一化方式和输出格式。更改类别集合时请更新 synset.txt。运行时上传和输出存储在 workspace/ 下；设置 RK_CV_WORKSPACE 可使用其他目录。

本地构建

在上游仓库根目录运行：

bash

docker build -f docker/rk3576/mobilenet.dockerfile \
  -t rk3576-mobilenet:local src/rk3576_mobilenet

docker build -f docker/rk3588/mobilenet.dockerfile \
  -t rk3588-mobilenet:local src/rk3588_mobilenet

输入与输出

Input: image, video frame, or camera frame. Output: Top-K ImageNet labels and confidence scores.