CV / CAS-ViT

CAS-ViT

reComputer R Series (CM5 + Hailo-8)

ImageNet-Klassifikation mit CAS-ViT-S/M/T auf reComputer R Series mit Hailo-8 oder Hailo-10H.

13 Downloads
Größe
12.7 MB
Speicher
4GB+
Präzision
Hailo HEF

Wähle das Gerät, das du verwendest. Die Einrichtungsanleitung und Dokumentation werden entsprechend aktualisiert.

Erste Schritte

Bereitstellen
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-s \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
  python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4

Modelldetails

reComputer R Series (CM5 + Hailo-8)

CAS-ViT-S/M/T ImageNet-Klassifizierung (reComputer R Series, CM5 + Hailo-8)

CAS-ViT-S/M/T klassifizieren 1000 ImageNet-Klassen auf Hailo-8 über HailoRT 4.23. Das HEF nimmt ein 384×384-BGR-Bild entgegen, führt bgr_to_rgb und die ImageNet-Normalisierung auf dem Chip aus und liefert 1000 Scores; der Host wendet Softmax an, glättet die Scores über die Zeit und legt ein Top-K-Panel über die MJPEG-Vorschau.

Modellinformationen

VarianteEingabeEnthaltenes HEFTop-1 Float / Hailo-8Parameter / OperationenContainer
CAS-ViT-S384×384×3 BGR12.7 MB79.9 / 79.75.5M / 5.4Gcas_vit_s
CAS-ViT-M384×384×3 BGR18.5 MB81.2 / 80.912.42M / 10.89Gcas_vit_m
CAS-ViT-T384×384×3 BGR26.4 MB81.9 / 81.621.76M / 20.85Gcas_vit_t

Hardware und Host-Setup

ElementWert
BoardreComputer R Series mit Raspberry Pi CM5
BeschleunigerHailo-8 über PCIe, bereitgestellt als /dev/hailo0
LaufzeitHailoRT 4.23.x (Host und Container müssen major.minor teilen)
Python im Container3.11, aarch64
bash
sudo apt update
sudo apt install hailo-all -y
sudo reboot

# Nach dem Neustart
hailortcli fw-control identify
ls /dev/hailo0

# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start docker

Ausführung mit dem Demo-Video

Wählen Sie den Befehl für die gewünschte Modellvariante.

CAS-ViT-S

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-s \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
  python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4

CAS-ViT-M

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-m \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_m:latest \
  python web_detection.py --model_path model/cas_vit_m.hef --video_path video/test.mp4

CAS-ViT-T

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-t \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_t:latest \
  python web_detection.py --model_path model/cas_vit_t.hef --video_path video/test.mp4

Öffnen Sie http://<Board_IP>:8000, um die Top-K-Überlagerung zu sehen. Die mitgelieferte Datei video/test.mp4 ist Hailos offizieller Klassifizierungs-Democlip (example.mp4, eine Straßenszene mit Autos und Personen).

USB-Kameramodus

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-m \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
  python web_detection.py --model_path model/cas_vit_s.hef --camera_id 0

Ersetzen Sie cas_vit_s durch cas_vit_m oder cas_vit_t, um eine andere Variante auszuführen.

REST-API

EndpunktMethode
POST /api/models/cas_vit_s/predictTop-K-Klassifizierung (JSON)
POST /api/models/cas_vit_m/predictTop-K-Klassifizierung (JSON)
POST /api/models/cas_vit_t/predictTop-K-Klassifizierung (JSON)
bash
curl -X POST "http://<Board_IP>:8000/api/models/cas_vit_m/predict" \
  -F "file=@test.jpg" -F "conf=0.30" -F "iou=5"

Die predictions-Einträge enthalten den vollständigen ImageNet-Klassennamen, ein kurzes Label und die Konfidenz. iou wird als Top-K-Anzahl wiederverwendet, um die API-Parität mit den Erkennungsmodulen zu wahren.

Implementierungshinweise

  • Das HEF gibt einen einzelnen 1000-dimensionalen Score-Vektor aus; das ALLS-Rezept enthält weder softmax noch argmax, daher führt der Host Softmax und Top-K aus.
  • Die Vorverarbeitung ist eine einfache Größenänderung auf 384×384, die BGR beibehält. Das CAS-ViT-ALLS-Rezept führt bgr_to_rgb und die ImageNet- Mittelwert/Standardabweichung-Normalisierung im HEF aus. Es wird kein Letterbox verwendet, und die Anwendung darf nicht nach RGB konvertieren.
  • Die Live-Vorschau glättet den Wahrscheinlichkeitsvektor (0.6 vorher + 0.4 aktuell), um Label-Flackern zu vermeiden, und zeichnet dann das Top-K-Panel.
  • Die HEF-Eingabegröße wird beim Start gelesen (384×384).

Entwicklungshinweise

  • Quelle: src/rpi5_hailo8_cas_vit_{s,m,t}/
  • Dockerfile: docker/hailo8/cas_vit_{s,m,t}.dockerfile
  • Container: ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_{s,m,t}:latest
  • HEF: Hailo Model Zoo v2.20.0 (hailo8); Größe und SHA256 sind in model/README.md des Moduls dokumentiert
  • Demo-Video: https://hailo-csdata.s3.eu-west-2.amazonaws.com/resources/video/example.mp4 (aus hailo-ai/hailo-apps, MIT)

Eingaben und Ausgaben

Eingabe: Bild, Video oder USB-Kameraframe. Ausgabe: Top-K-ImageNet-Klassen und Konfidenz.