CV / MobileNet

MobileNetV2

ImageNet classification with configurable Top-K results, browser preview, and REST API access.

2 ダウンロード

精度

RKNN

使用しているデバイスを選択してください。セットアップガイドとドキュメントがそれに応じて更新されます。

プラットフォーム

サイズ

推論エンジン

はじめる

デプロイ

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 -e RKNN_LOG_LEVEL=0 \
  --device /dev/dri/renderD128:/dev/dri/renderD128 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-mobilenet:latest \
  python3 web_classification.py --model_path model/rk3576_mobilenet_v2.rknn --camera_id -1

REST API

REST API を使用して推論を実行します。以下のコマンドをコピーしてください。

Curl

curl http://localhost:8080/v1/chat/completions -d '{
  "model": "mobilenet-v2-rknn",
  "messages": [{"role": "user", "content": "Hello"}]
}'

Python

import requests

resp = requests.post(
    "http://localhost:8080/v1/chat/completions",
    json={"model": "mobilenet-v2-rknn", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())

モデル詳細

reComputer RK3576およびRK3588でMobileNetV2を実行する

このページはreComputer-RK-CVのMobileNetV2 READMEを基にしています。RKNN-Toolkit-Lite2でImageNet分類を実行し、Webプレビュー、MJPEGストリーム、ヘルスチェック、REST APIを提供します。

モデル情報

プロパティ	値
タスク	画像分類
入力	`224 x 224`画像
出力	設定可能なTop-K ImageNetラベルと信頼度スコア
RK3576モデル	`model/rk3576_mobilenet_v2.rknn`
RK3588モデル	`model/rk3588_mobilenet_v2.rknn`
ラベル	`model/synset.txt`

サービスを実行する

RK3576

bash

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 -e RKNN_LOG_LEVEL=0 \
  --device /dev/dri/renderD128:/dev/dri/renderD128 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-mobilenet:latest \
  python3 web_classification.py \
  --model_path model/rk3576_mobilenet_v2.rknn --camera_id -1

RK3588

bash

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 -e RKNN_LOG_LEVEL=0 \
  --device /dev/dri/renderD128:/dev/dri/renderD128 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3588-mobilenet:latest \
  python3 web_classification.py \
  --model_path model/rk3588_mobilenet_v2.rknn --camera_id -1

Webページはhttp://<BOARD_IP>:8000、OpenAPIはhttp://<BOARD_IP>:8000/docsで開きます。--camera_id -1をマッピング済みのカメラIDに置き換えるか、同梱動画には--video_path video/test.mp4を使用します。

入力モードと起動引数

アプリケーションは、アップロード画像、タイムスタンプで選択したアップロードMP4のフレーム、ループ再生するローカル動画、カメラフレームを受け付けます。ローカル動画はカメラより優先されます。

引数	デフォルト	説明
`--model_path`	必須	対象SoC向けに選択したRKNNモデル。
`--camera_id`	`1`	カメラインデックス。アップロード専用モードには`-1`を使用します。
`--video_path`	なし	ローカルMP4のパス。`--camera_id`より優先されます。
`--host`	`0.0.0.0`	FastAPIのリッスンアドレス。
`--port`	`8000`	サービスポート。

USBカメラの場合、例として--device /dev/video0:/dev/video0のように対応するデバイスノードをマッピングし、--camera_id 0を渡します。

REST API

エンドポイント： POST /api/models/mobilenet/predict

Multipartフィールドはfile、video、timestamp、conf、topkです。topkは1から20までを受け付け、デフォルトは5です。

bash

curl -X POST "http://<BOARD_IP>:8000/api/models/mobilenet/predict" \
  -F "file=@bell.jpg" -F "topk=5" -F "conf=0.01"

MP4の5.5秒時点のフレームを分類するには：

bash

curl -X POST "http://<BOARD_IP>:8000/api/models/mobilenet/predict" \
  -F "video=@test.mp4" -F "timestamp=5.5" -F "topk=3"

レスポンス例：

json

{
  "success": true,
  "model": "mobilenet",
  "source": "uploaded image",
  "predictions": [
    {"class": "n02123045 tabby, tabby cat", "confidence": 0.91}
  ],
  "image": {"width": 640, "height": 480}
}

GET /api/configはグローバルなconf_threshを返します。POST /api/configと{"conf_thresh":0.1}のようなJSONで更新できます。リクエスト単位のconfは、そのリクエストに限りグローバルしきい値を上書きします。

エンドポイント	用途
`GET /api/health`	プラットフォーム、モデルパス、準備状態。
`GET /api/video_feed`	注釈付きMJPEGプレビュー。
`POST /api/video/upload`	JPG、JPEG、PNG、BMP、またはMP4をアップロードします。
`POST /api/video/analyze`	アップロード済みの`filename`で非同期解析を開始します。
`GET /api/video/status`	進捗とエラー状態。
`GET /api/video/list`	アップロード済みおよび生成済みファイル。
`GET /api/video/download/{filename}`	生成した結果をダウンロードします。

モデルの置き換え

前処理ではこのモデルが必要とするBGRチャネル順を維持し、softmaxを適用してTop-K結果を絞り込みます。置き換えるモデルは入力レイアウト、チャネル順、正規化、出力形式を維持する必要があります。クラスセットを変更する場合はsynset.txtを更新してください。実行時のアップロードと出力はworkspace/に保存されます。別のディレクトリを使うにはRK_CV_WORKSPACEを設定します。

ローカルでビルドする

上流リポジトリのルートで実行します：

bash

docker build -f docker/rk3576/mobilenet.dockerfile \
  -t rk3576-mobilenet:local src/rk3576_mobilenet

docker build -f docker/rk3588/mobilenet.dockerfile \
  -t rk3588-mobilenet:local src/rk3588_mobilenet

入力と出力

Input: image, video frame, or camera frame. Output: Top-K ImageNet labels and confidence scores.