CV / DeepLab v3

DeepLabV3 RKNN

Produces a 21-class PASCAL VOC segmentation overlay for images and video frames.

8 ダウンロード

精度

RKNN

使用しているデバイスを選択してください。セットアップガイドとドキュメントがそれに応じて更新されます。

プラットフォーム

推論エンジン

はじめる

デプロイ

sudo docker run --rm --privileged -p 8000:8000 \
  -v /dev/dri/renderD129:/dev/dri/renderD129 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-deeplabv3:latest \
  python3 web_service.py --platform rk3576 --model_path /app/model/deeplabv3.rknn \
  --sample_path /app/model/test.jpg --overlay_alpha 0.5 --camera_id -1 --host 0.0.0.0 --port 8000

REST API

REST API を使用して推論を実行します。以下のコマンドをコピーしてください。

Curl

curl http://localhost:8080/v1/chat/completions -d '{
  "model": "deeplab-v3-rknn",
  "messages": [{"role": "user", "content": "Hello"}]
}'

Python

import requests

resp = requests.post(
    "http://localhost:8080/v1/chat/completions",
    json={"model": "deeplab-v3-rknn", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())

モデル詳細

reComputer RK3576およびRK3588でDeepLabV3を実行する

このページでは、reComputer-RK-CVのDeepLabV3セマンティックセグメンテーションサービスについて説明します。静止画像、カメラ、ループ再生するローカル動画、アップロードしたMP4の解析、MJPEGオーバーレイプレビューに対応しています。

モデル情報

プロパティ	値
モデル	`/app/model/deeplabv3.rknn`
入力	`513 x 513` RGB
出力	21クラスのPASCAL VOC logits
レンダリング	色オーバーレイの不透明度を設定可能なArgmaxマスク

このサービスはNCHWとNHWCの両方の出力レイアウトを検証し、マスクを元画像の解像度に復元します。

サービスを実行する

RK3576

bash

sudo docker run --rm --privileged -p 8000:8000 \
  -v /dev/dri/renderD129:/dev/dri/renderD129 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-deeplabv3:latest \
  python3 web_service.py --platform rk3576 \
  --model_path /app/model/deeplabv3.rknn \
  --sample_path /app/model/test.jpg --overlay_alpha 0.5 \
  --camera_id -1 --host 0.0.0.0 --port 8000

RK3588

bash

sudo docker run --rm --privileged -p 8000:8000 \
  -v /dev/dri/renderD129:/dev/dri/renderD129 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3588-deeplabv3:latest \
  python3 web_service.py --platform rk3588 \
  --model_path /app/model/deeplabv3.rknn \
  --sample_path /app/model/test.jpg --overlay_alpha 0.5 \
  --camera_id -1 --host 0.0.0.0 --port 8000

http://<BOARD_IP>:8000または/docsを開きます。USBカメラを使用する場合は、その/dev/videoNノードをマッピングし、--camera_id Nを設定します。マウントしたローカル動画には--video /data/input.mp4を使用します。ローカル動画はカメラより優先されます。

起動引数

引数	デフォルト	説明
`--platform`	必須	`rk3576`または`rk3588`。
`--model_path`	`model/deeplabv3.rknn`	DeepLabV3 RKNNファイル。
`--sample_path`	`model/test.jpg`	ウォームアップおよび初期プレビュー画像。
`--overlay_alpha`	`0.5`	0から1までの初期マスク不透明度。
`--camera_id`	`-1`	カメラ`N`。アップロードのみの場合は`-1`。
`--video`, `--video_path`	なし	ループ再生するローカル動画。カメラより優先されます。
`--host` / `--port`	`0.0.0.0` / `8000`	サービスアドレスとコンテナポート。

-pを使用する場合、ポート8000が使用中ならホスト側だけを変更します。ヘルスチェックのため、コンテナ内のサービスはポート8000のままにしてください。

REST API

エンドポイント： POST /api/models/deeplabv3/predict

bash

curl -X POST "http://<BOARD_IP>:8000/api/models/deeplabv3/predict" \
  -F "file=@test.jpg" -F "overlay_alpha=0.65"

レスポンスには画像サイズ、推論時間、不透明度、および画像内に存在するすべてのPASCAL VOCクラスとそのピクセル数が含まれます。最新のレンダリング済みオーバーレイはGET /api/video_feedから取得できます。

結果フィールドの例：

json

{
  "success": true,
  "model": "deeplabv3",
  "inference_time": 0.052,
  "result": {
    "classes": [{"id": 15, "class": "person", "pixels": 18234}],
    "width": 1280,
    "height": 720,
    "overlay_alpha": 0.65
  }
}

GET/POST /api/configはグローバルなオーバーレイ不透明度を管理します。ヘルスチェック、MP4アップロード、解析状態、一覧、ダウンロードの各エンドポイントもあります。クラス数が異なるモデルを使用する場合は、対応するラベルと出力処理コードも変更する必要があります。

処理の詳細

入力は513 x 513にリサイズされ、BGRからRGBへ変換されます。ランタイムはNCHWまたはNHWCのlogitsを受け付け、出力が21チャネルであることを確認し、logitsを元画像の解像度に復元してargmaxを適用し、PASCAL VOCカラーマップを重ねます。POST /api/video/analyzeはアップロード済みのfilenameを受け付け、状態と結果ファイルは/api/video/*エンドポイントから参照できます。

ローカルでビルドする

bash

docker build -f docker/rk3576/deeplabv3.dockerfile \
  -t rk3576-deeplabv3:local src/rk3576_deeplabv3

docker build -f docker/rk3588/deeplabv3.dockerfile \
  -t rk3588-deeplabv3:local src/rk3588_deeplabv3

入力と出力

Input: image, video frame, or camera frame. Output: PASCAL VOC semantic mask, class pixel counts, and overlay.