CV / RetinaFace

RetinaFace MobileNet-v1

reComputer R Series (CM5 + Hailo-8)

Hailo-8 搭載の reComputer R Series で、顔を単一クラスとして検出し、各顔に 5 点のランドマークを出力します。

18 ダウンロード
サイズ
6.3 MB
メモリ
4GB+
精度
Hailo HEF / HailoRT 4.23.x

使用しているデバイスを選択してください。セットアップガイドとドキュメントがそれに応じて更新されます。

はじめる

デプロイ
sudo docker run --rm \
  --name cm5-hailo8-retinaface \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/retinaface_mobilenet_v1:latest \
  python web_detection.py --model_path model/retinaface_mobilenet_v1.hef --video_path video/test.mp4

REST API

REST API を使用して推論を実行します。以下のコマンドをコピーしてください。

Curl
curl -X POST "http://<Board_IP>:8000/api/models/retinaface_mobilenet_v1/predict" \
  -F "file=@test.jpg"
Python
import requests

response = requests.post(
    "http://<Board_IP>:8000/api/models/retinaface_mobilenet_v1/predict",
    files={"file": open("test.jpg", "rb")},
    timeout=30,
)
print(response.json())

モデル詳細

reComputer R Series (CM5 + Hailo-8) で RetinaFace MobileNet-v1 を実行

RetinaFace は HailoRT を介して Hailo-8 上で顔と、顔ごとの 5 個のキーポイント(両目、鼻先、口角)を検出します。HEF は 9 個の生のヘッドを出力し、ホスト CPU 上でデコードします。

モデル情報

項目値
アーキテクチャRetinaFace、MobileNet-v1 バックボーン (biubug6/Pytorch_Retinaface)
タスク顔検出
入力736x1280x3 BGR (normalize_in_net mean [123,117,104])
出力9 ヘッド:3 スケール x {bbox, conf, landmark}
事前アンカー38,640 アンカー(2/セル、特徴マップ 92x160/46x80/23x40)
クラス数1(顔)+ 検出ごとに 5 個のランドマーク
パラメータ数3.49M
演算量25.14G
mAP (WIDER FACE)81.3% ハードウェア参照値
HEFHailo Model Zoo v2.19.0, Hailo-8

上記の精度は Hailo Model Zoo の参照値であり、CM5 上で測定したベンチマークではありません。

デモ動画で実行

bash
sudo docker run --rm \
  --name cm5-hailo8-retinaface \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/retinaface_mobilenet_v1:latest \
  python web_detection.py --model_path model/retinaface_mobilenet_v1.hef --video_path video/test.mp4

http://<Board_IP>:8000 を開いて Web プレビューを確認します(MJPEG ストリームに顔のボックスと緑色のキーポイントを重ねます)。

REST API

bash
curl -X POST "http://<Board_IP>:8000/api/models/retinaface_mobilenet_v1/predict" \
  -F "file=@test.jpg"
エンドポイントメソッド用途
/GETWeb プレビュー画面
/api/models/retinaface_mobilenet_v1/predictPOST顔 + ランドマーク(JSON)
/api/video_feedGETMJPEG プレビューストリーム
/api/configGET / POST信頼度 / NMS IOU しきい値

実装上の注意

  • CPU 後処理(meta_arch=retinaface):チップ上 NMS は使用しません。アンカー生成、SSD デコード(分散 10/5)、softmax 信頼度、貪欲 NMS、ランドマークデコードは Model Zoo の face_detection_postprocessing.py の numpy 移植です。
  • 公式 reshape に従うヘッド構成:8 チャネル = bbox(2 アンカー x 4 座標)、4 チャネル = confidence(2 アンカー x {background, face})、20 チャネル = landmarks(2 アンカー x 10 座標)。
  • alls スクリプトは HEF 内で input_conversion(bgr_to_rgb) を適用し、アプリは生の uint8 BGR フレームを入力します。
  • 前処理:縦横比を維持してリサイズし、下/右をパディング(色 0)して 736x1280 にします。

開発上の注意

  • ソースモジュール: src/rpi5_hailo8_retinaface_mobilenet_v1/
  • Dockerfile: docker/hailo8/retinaface_mobilenet_v1.dockerfile
  • コンテナ: ghcr.io/seeed-projects/recomputer-hailo8-cv/retinaface_mobilenet_v1:latest
  • ファミリー:RetinaFace(バリアント:mobilenet_v1)

入力と出力

入力:画像、動画、または USB カメラのフレーム。出力:信頼度付きの顔ボックス、顔ごとの 5 つのキーポイント(目、鼻、口角)、注釈付き MJPEG プレビュー。