CV / DeepLab v3

DeepLab v3 MobileNet v2

DeepLab v3 MobileNet v2は、R20 HailoRT Webプレビューでセマンティックセグメンテーションを提供します。

サイズ

4.68 MB

メモリ

4GB+

精度

Hailo HEF / HailoRT 4.23.x

使用しているデバイスを選択してください。セットアップガイドとドキュメントがそれに応じて更新されます。

プラットフォーム

推論エンジン

はじめる

デプロイ

sudo docker run --rm \
  --name cm5-hailo-deeplab-v3-mobilenet-v2 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-r20-cv/deeplab_v3_mobilenet_v2:latest \
  python web_detection.py --model_path model/deeplab_v3_mobilenet_v2.hef --video_path video/test.mp4

REST API

REST API を使用して推論を実行します。以下のコマンドをコピーしてください。

Curl

curl -X POST "http://<R20_IP>:8000/api/models/deeplab/predict" \
  -F "file=@test.jpg"

Python

import requests

resp = requests.post(
    "http://<R20_IP>:8000/api/models/deeplab/predict",
    files={"file": open("test.jpg", "rb")},
    timeout=30,
)
print(resp.json())

モデル詳細

reComputer Rシリーズ（CM5 + Hailo）でのDeepLab v3 MobileNet v2

DeepLab v3 MobileNet v2 セマンティックセグメンテーション、HailoRT、ライブプレビュー、REST推論対応。

このページはreComputer-R20-CV内のrpi5_hailo8_deeplab_v3_mobilenet_v2/README.mdから改変されています。対象はPCIe Hailo-8アクセラレータ搭載の**reComputer Rシリーズ（CM5 + Hailo）**です。

ハードウェアとホストのセットアップ

項目	値
ボード	Raspberry Pi CM5搭載reComputer Rシリーズ
アクセラレータ	Hailo-8 M.2（PCIe接続）、`/dev/hailo0`として公開
OS	Raspberry Pi OS Bookworm, aarch64
ホストドライバ	`hailo-all` aptパッケージ
検証済みHailoRT	4.23.x; ホストドライバ、ファームウェア、ネイティブライブラリ、Python wheelのメジャー・マイナーバージョンが一致している必要があります

bash

sudo apt update
sudo apt install hailo-all
sudo reboot

# 再起動後
hailortcli fw-control identify
ls /dev/hailo0

# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start docker

デモ動画で実行

bash

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-r20-cv/deeplab_v3_mobilenet_v2:latest \
  python web_detection.py --model_path model/deeplab_v3_mobilenet_v2.hef --video_path video/test.mp4

http://<R20_IP>:8000を開いてWebプレビューを表示します。イメージにはモジュールソース、デモ動画、HailoRT Python wheel、および以下に示すHEFファイルが含まれています。

libhailort.soバインドマウントは意図的にホストから取得されます。ファームウェアが4.23.0でない場合は、両方のパスをhailortcli fw-control identifyで報告されたバージョンに置き換えてください。メジャー・マイナーバージョンが異なる場合はイメージを再ビルドしてください。

USBカメラモード

bash

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-r20-cv/deeplab_v3_mobilenet_v2:latest \
  python web_detection.py --model_path model/deeplab_v3_mobilenet_v2.hef --camera_id 0

HEFバリアントの切り替え

別の--model_pathを渡してイメージのデフォルトを上書きします：

bash

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-r20-cv/deeplab_v3_mobilenet_v2:latest \
  python web_detection.py --model_path model/deeplab_v3_mobilenet_v2_wo_dilation.hef --video_path video/test.mp4

HEFファイル

HEF	サイズ	備考
`deeplab_v3_mobilenet_v2.hef`	4.68 MB	デフォルトDeepLab v3モデル
`deeplab_v3_mobilenet_v2_wo_dilation.hef`	4.09 MB	dilationなしDeepLab v3バリアント

REST API

予測エンドポイント：

text

POST http://<R20_IP>:8000/api/models/deeplab/predict

画像リクエストの例：

bash

curl -X POST "http://<R20_IP>:8000/api/models/deeplab/predict" \
  -F "file=@test.jpg"

共通サービスエンドポイント：

エンドポイント	メソッド	目的
`/`	GET	WebプレビューUI
`/api/models/deeplab/predict`	POST	アップロードされた画像/動画または現在のフレームからの単一フレーム推論
`/api/video_feed`	GET	MJPEGプレビューストリーム
`/api/config`	GET / POST	ランタイムしきい値の読み取りまたは更新
`/api/video/upload`	POST	オフライン分析用の動画をアップロード
`/api/video/analyze`	POST	オフライン分析を開始
`/api/video/status`	GET	分析の進行状況をポーリング
`/api/video/list`	GET	アップロードおよび処理済み動画の一覧表示
`/api/video/download/{filename}`	GET	処理済み出力をダウンロード

開発ノート

ソースモジュール: src/rpi5_hailo8_deeplab_v3_mobilenet_v2/
Dockerfile: docker/hailo8/deeplab_v3_mobilenet_v2.dockerfile
メインサービス: web_detection.pyはHailoRT推論、後処理、MJPEGプレビュー、REST予測、オフライン動画分析をラップします。
カスタムHEFに差し替える場合は、出力レイアウトをモジュールの後処理コードと互換性のあるものにするか、post_process_hailo()を更新してください。

入力と出力

入力: 画像、動画、またはUSBカメラフレーム。出力: セマンティックマスクまたはオーバーレイ、および注釈付きMJPEGプレビュー。