CV / DeepLab v3

DeepLabV3 RKNN

DeepLabV3 semantic segmentation accelerated by RKNN on reComputer RK3576 and RK3588.

8 次下载

精度

RKNN

选择你正在使用的设备，设置指南和文档将相应更新。

平台

推理引擎

快速开始

部署

sudo docker run --rm --privileged -p 8000:8000 \
  -v /dev/dri/renderD129:/dev/dri/renderD129 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-deeplabv3:latest \
  python3 web_service.py --platform rk3576 --model_path /app/model/deeplabv3.rknn \
  --sample_path /app/model/test.jpg --overlay_alpha 0.5 --camera_id -1 --host 0.0.0.0 --port 8000

REST API

使用 REST API 进行推理。复制以下命令。

Curl

curl http://localhost:8080/v1/chat/completions -d '{
  "model": "deeplab-v3-rknn",
  "messages": [{"role": "user", "content": "Hello"}]
}'

Python

import requests

resp = requests.post(
    "http://localhost:8080/v1/chat/completions",
    json={"model": "deeplab-v3-rknn", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())

模型详情

快速开始

1. 安装 Docker

在开发板上运行以下命令安装 Docker：

bash

# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
# Aliyun
sudo sh get-docker.sh --mirror Aliyun
# systemd
sudo systemctl enable docker
sudo systemctl start docker

2. 运行项目（单条命令，双模式预览）

本文介绍 reComputer-RK-CV 中的 DeepLabV3 语义分割服务。该服务支持静态图像、摄像头、循环播放的本地视频、上传的 MP4 分析以及 MJPEG 叠加预览。

模型信息

属性	值
模型	`/app/model/deeplabv3.rknn`
输入	`513 x 513` RGB
输出	21 类 PASCAL VOC logits
渲染	使用可配置颜色叠加透明度的 Argmax 掩码

该服务会验证 NCHW 和 NHWC 两种输出布局，并将掩码恢复到源图像分辨率。

步骤 A：拉取镜像

bash

sudo docker pull ghcr.io/seeed-projects/recomputer-rk-cv/rk3588-deeplabv3:latest
sudo docker pull ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-deeplabv3:latest

步骤 B：一键运行

适用于 RK3576：

bash

sudo docker run --rm --privileged -p 8000:8000 \
  -v /dev/dri/renderD129:/dev/dri/renderD129 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-deeplabv3:latest \
  python3 web_service.py --platform rk3576 \
  --model_path /app/model/deeplabv3.rknn \
  --sample_path /app/model/test.jpg --overlay_alpha 0.5 \
  --camera_id -1 --host 0.0.0.0 --port 8000

适用于 RK3588：

bash

sudo docker run --rm --privileged -p 8000:8000 \
  -v /dev/dri/renderD129:/dev/dri/renderD129 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3588-deeplabv3:latest \
  python3 web_service.py --platform rk3588 \
  --model_path /app/model/deeplabv3.rknn \
  --sample_path /app/model/test.jpg --overlay_alpha 0.5 \
  --camera_id -1 --host 0.0.0.0 --port 8000

打开 http://<BOARD_IP>:8000 或 /docs。使用 USB 摄像头时，请映射其 /dev/videoN 节点并设置 --camera_id N。使用已挂载的本地视频时，请指定 --video /data/input.mp4；本地视频的优先级高于摄像头。

🔌 API 文档

1. 分割推理接口（Predict）

端点： POST /api/models/deeplabv3/predict

请求参数（Multipart/Form-Data）：

上传待分割的 file；可使用模型专属的可选参数调整输出。

使用示例：

bash

curl -X POST "http://<BOARD_IP>:8000/api/models/deeplabv3/predict" \
  -F "file=@test.jpg" -F "overlay_alpha=0.65"

响应会报告图像尺寸、推理时间、透明度，以及图像中出现的所有 PASCAL VOC 类别及其像素数。最新渲染的叠加图可通过 GET /api/video_feed 获取。

响应格式（JSON）：

json

{
  "success": true,
  "model": "deeplabv3",
  "inference_time": 0.052,
  "result": {
    "classes": [{"id": 15, "class": "person", "pixels": 18234}],
    "width": 1280,
    "height": 720,
    "overlay_alpha": 0.65
  }
}

2. 系统配置接口（Config）

GET/POST /api/config 用于管理全局叠加透明度。服务还提供健康检查、MP4 上传、分析状态、列表和下载端点。使用不同类别数量的模型时，需要同步修改标签和输出处理代码。

3. 命令行参数

参数	默认值	说明
`--platform`	必填	`rk3576` 或 `rk3588`。
`--model_path`	`model/deeplabv3.rknn`	DeepLabV3 RKNN 文件。
`--sample_path`	`model/test.jpg`	预热和初始预览图像。
`--overlay_alpha`	`0.5`	初始掩码透明度，范围为 0 到 1。
`--camera_id`	`-1`	摄像头 `N`，或使用 `-1` 表示仅允许上传。
`--video`, `--video_path`	无	循环播放的本地视频；优先级高于摄像头。
`--host` / `--port`	`0.0.0.0` / `8000`	服务地址和容器端口。

使用 -p 时，如果 8000 端口被占用，只需更改主机侧端口。为了通过健康检查，容器内的服务必须继续使用 8000 端口。

实时视频流接口（Video Feed）

获取带标注的最新 MJPEG 视频流，用于浏览器预览：

端点: GET /api/video_feed
示例用法: <img src="http://<BOARD_IP>:8000/api/video_feed">

🛠️ 开发者指南（生产环境建议）

处理细节

输入会缩放到 513 x 513，并从 BGR 转换为 RGB。运行时接受 NCHW 或 NHWC logits，验证输出是否包含 21 个通道，将 logits 恢复到源图像分辨率，应用 argmax，然后叠加 PASCAL VOC 色图。POST /api/video/analyze 接受已上传的 filename；状态和结果文件通过 /api/video/* 端点提供。

本地构建

bash

docker build -f docker/rk3576/deeplabv3.dockerfile \
  -t rk3576-deeplabv3:local src/rk3576_deeplabv3

docker build -f docker/rk3588/deeplabv3.dockerfile \
  -t rk3588-deeplabv3:local src/rk3588_deeplabv3

输入与输出

Input: image, video frame, or camera frame. Output: PASCAL VOC semantic mask, class pixel counts, and overlay.