CV / RetinaFace

RetinaFace MobileNet-v1

reComputer R Series (CM5 + Hailo-8)

Gezichtsdetectie als één klasse met 5 herkenningspunten per gezicht op reComputer R Series met Hailo-8.

18 downloads
Grootte
6.3 MB
Geheugen
4GB+
Precisie
Hailo HEF / HailoRT 4.23.x

Kies het apparaat dat je gebruikt. De installatiehandleiding en documentatie worden dienovereenkomstig bijgewerkt.

Aan de slag

Implementeren
sudo docker run --rm \
  --name cm5-hailo8-retinaface \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/retinaface_mobilenet_v1:latest \
  python web_detection.py --model_path model/retinaface_mobilenet_v1.hef --video_path video/test.mp4

REST API

Gebruik de REST API om inferentie uit te voeren. Kopieer de onderstaande commando's.

Curl
curl -X POST "http://<Board_IP>:8000/api/models/retinaface_mobilenet_v1/predict" \
  -F "file=@test.jpg"
Python
import requests

response = requests.post(
    "http://<Board_IP>:8000/api/models/retinaface_mobilenet_v1/predict",
    files={"file": open("test.jpg", "rb")},
    timeout=30,
)
print(response.json())

Modeldetails

RetinaFace MobileNet-v1 op reComputer R Series (CM5 + Hailo-8)

RetinaFace detecteert gezichten en 5 punten per gezicht (ogen, neuspunt, mondhoeken) op Hailo-8 via HailoRT. Het HEF levert 9 ruwe koppen en de decodering draait op de host-CPU.

Modelinformatie

EigenschapWaarde
ArchitectuurRetinaFace, MobileNet-v1 backbone (biubug6/Pytorch_Retinaface)
TaakGezichtsdetectie
Invoer736x1280x3 BGR (normalize_in_net mean [123,117,104])
Uitvoer9 koppen: 3 schalen x {bbox, conf, landmark}
Vooraf bepaalde ankers38,640 ankers (2/cel, kenmerkkaarten 92x160/46x80/23x40)
Klassen1 (gezicht) + 5 punten per detectie
Parameters3.49M
Bewerkingen25.14G
mAP (WIDER FACE)81.3% hardwarereferentie
HEFHailo Model Zoo v2.19.0, Hailo-8

De bovenstaande nauwkeurigheid is een referentiewaarde uit Hailo Model Zoo, geen op CM5 gemeten benchmark.

Uitvoeren met demovideo

bash
sudo docker run --rm \
  --name cm5-hailo8-retinaface \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/retinaface_mobilenet_v1:latest \
  python web_detection.py --model_path model/retinaface_mobilenet_v1.hef --video_path video/test.mp4

Open http://<Board_IP>:8000 voor het webvoorbeeld (gezichtsvakken en groene punten over de MJPEG-stream).

REST-API

bash
curl -X POST "http://<Board_IP>:8000/api/models/retinaface_mobilenet_v1/predict" \
  -F "file=@test.jpg"
EndpointMethodeDoel
/GETWebvoorbeeldinterface
/api/models/retinaface_mobilenet_v1/predictPOSTGezichten + punten (JSON)
/api/video_feedGETMJPEG-voorbeeldstream
/api/configGET / POSTBetrouwbaarheids-/NMS-IOU-drempels

Implementatienotities

  • CPU-nabewerking (meta_arch=retinaface): geen NMS op de chip. Ankergeneratie, SSD-decodering (varianties 10/5), softmax-betrouwbaarheid, greedy NMS en puntdecodering zijn een numpy-port van face_detection_postprocessing.py uit Model Zoo.
  • Kopindeling volgens de officiële reshape-bewerkingen: 8 kanalen = bbox (2 ankers x 4 coördinaten), 4 kanalen = confidence (2 ankers x {background, face}), 20 kanalen = landmarks (2 ankers x 10 coördinaten).
  • Het alls-script past input_conversion(bgr_to_rgb) in het HEF toe; de toepassing levert ruwe uint8-BGR-beelden.
  • Voorbewerking: schalen met behoud van beeldverhouding en opvulling onder/rechts (kleur 0) naar 736x1280.

Ontwikkelnotities

  • Bronmodule: src/rpi5_hailo8_retinaface_mobilenet_v1/
  • Dockerfile: docker/hailo8/retinaface_mobilenet_v1.dockerfile
  • Container: ghcr.io/seeed-projects/recomputer-hailo8-cv/retinaface_mobilenet_v1:latest
  • Familie: RetinaFace (variant: mobilenet_v1)

Invoer en uitvoer

Invoer: afbeelding, video of USB-camerabeeld. Uitvoer: gezichtsboxen met betrouwbaarheidsscores, 5 sleutelpunten per gezicht (ogen, neus, mondhoeken) en een geannoteerde MJPEG-preview.