ArcFace MobileFaceNet auf reComputer R Series (CM5 + Hailo-8)

ArcFace mit MobileFaceNet-Backbone extrahiert über HailoRT 512-dimensionale Gesichts-Embeddings auf Hailo-8. Das Embedding dient der Gesichtsverifikation und -identifikation; der Vergleich selbst erfolgt im Client per Kosinus-Ähnlichkeit.

Diese Seite richtet sich an reComputer R Series (CM5 + Hailo-8) mit einem PCIe-Hailo-8-Beschleuniger.

Modellinformationen

Die Genauigkeit ist die Referenz aus dem Hailo Model Zoo; sie ist kein auf dem CM5 gemessener Benchmark.

Hardware und Host-Setup

Installieren Sie die Hailo-8-Pakete auf dem Host und prüfen Sie Treiber und Gerät, bevor Sie den Container starten:

sudo apt update

# Beide Kandidaten müssen vor der Installation 4.23.x sein.
apt-cache policy hailort hailort-pcie-driver

sudo apt install hailort=4.23.0 hailort-pcie-driver=4.23.0
sudo reboot

# Nach dem Neustart
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

Die erwartete HailoRT-Version für dieses Image ist 4.23.x. Fahren Sie nicht fort, wenn apt-cache policy HailoRT 5.x auswählt; diese Runtime zielt auf Hailo-10H und passt nicht zu diesem Hailo-8-Container.

Ausführung mit dem Demo-Video

sudo docker run --rm \
  --name cm5-hailo8-arcface \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/arcface_mobilefacenet:latest \
  python web_detection.py --model_path model/arcface_mobilefacenet.hef --video_path video/test.mp4

Öffnen Sie http://<Board_IP>:8000 für die Web-Vorschau. Jedes Frame wird mit der Embedding-Dimension annotiert, und die REST API liefert den vollständigen 512-dimensionalen Vektor.

USB-Kameramodus

sudo docker run --rm \
  --name cm5-hailo8-arcface \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/arcface_mobilefacenet:latest \
  python web_detection.py --model_path model/arcface_mobilefacenet.hef --camera_id 0

REST API

POST http://<Board_IP>:8000/api/models/arcface_mobilefacenet/predict

curl -X POST "http://<Board_IP>:8000/api/models/arcface_mobilefacenet/predict" \
  -F "file=@face.jpg"

{
  "success": true,
  "source": "uploaded image",
  "embedding": [0.023, -0.156, 0.089, "..."],
  "dimension": 512,
  "image": { "width": 1280, "height": 720 }
}

Die Gesichtsverifikation ist kein eigener Endpunkt: Vergleichen Sie zwei zurückgegebene Embeddings im Client per Kosinus-Ähnlichkeit (beide Vektoren zuvor L2-normalisieren).

Implementierungshinweise

• Das HEF enthält eine eigene Normalisierungsschicht; die Anwendung letterboxt daher auf 112x112, wandelt BGR in RGB um und übergibt uint8-Pixel unverändert.
• Das Embedding wird aus dem arcface_mobilefacenet/fc1-Ausgang gelesen, wenn der vstream-Name sichtbar ist; andernfalls wird der erste Ausgabe-Tensor verwendet. Die erste Inferenz protokolliert alle vstream-Namen und Shapes zur Prüfung auf der Hardware.
• Leere Embeddings oder Embeddings mit nicht-finiten Werten werden abgelehnt statt als gültiges Ergebnis zurückgegeben.

Entwicklungshinweise

• Quellmodul: src/rpi5_hailo8_arcface_mobilefacenet/
• Dockerfile: docker/hailo8/arcface_mobilefacenet.dockerfile
• Container: ghcr.io/seeed-projects/recomputer-hailo8-cv/arcface_mobilefacenet:latest
• HEF: model/arcface_mobilefacenet.hef (4.100.573 Bytes)
• Das Modul nutzt die HailoRT-4.23-VStreams-API und ein Hailo-8-spezifisches HEF.