CV / CAS-ViT
CAS-ViT
reComputer R Series (CM5 + Hailo-8)
ImageNet-Klassifikation mit CAS-ViT-S/M/T auf reComputer R Series mit Hailo-8 oder Hailo-10H.
Wähle das Gerät, das du verwendest. Die Einrichtungsanleitung und Dokumentation werden entsprechend aktualisiert.
Erste Schritte
sudo docker run --rm \
--name pi5-hailo8-cas-vit-s \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4Modelldetails
reComputer R Series (CM5 + Hailo-8)CAS-ViT-S/M/T ImageNet-Klassifizierung (reComputer R Series, CM5 + Hailo-8)
CAS-ViT-S/M/T klassifizieren 1000 ImageNet-Klassen auf Hailo-8 über HailoRT 4.23.
Das HEF nimmt ein 384×384-BGR-Bild entgegen, führt bgr_to_rgb und die
ImageNet-Normalisierung auf dem Chip aus und liefert 1000 Scores; der Host
wendet Softmax an, glättet die Scores über die Zeit und legt ein Top-K-Panel
über die MJPEG-Vorschau.
Modellinformationen
| Variante | Eingabe | Enthaltenes HEF | Top-1 Float / Hailo-8 | Parameter / Operationen | Container |
|---|---|---|---|---|---|
| CAS-ViT-S | 384×384×3 BGR | 12.7 MB | 79.9 / 79.7 | 5.5M / 5.4G | cas_vit_s |
| CAS-ViT-M | 384×384×3 BGR | 18.5 MB | 81.2 / 80.9 | 12.42M / 10.89G | cas_vit_m |
| CAS-ViT-T | 384×384×3 BGR | 26.4 MB | 81.9 / 81.6 | 21.76M / 20.85G | cas_vit_t |
Hardware und Host-Setup
| Element | Wert |
|---|---|
| Board | reComputer R Series mit Raspberry Pi CM5 |
| Beschleuniger | Hailo-8 über PCIe, bereitgestellt als /dev/hailo0 |
| Laufzeit | HailoRT 4.23.x (Host und Container müssen major.minor teilen) |
| Python im Container | 3.11, aarch64 |
sudo apt update
sudo apt install hailo-all -y
sudo reboot
# Nach dem Neustart
hailortcli fw-control identify
ls /dev/hailo0
# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start dockerAusführung mit dem Demo-Video
Wählen Sie den Befehl für die gewünschte Modellvariante.
CAS-ViT-S
sudo docker run --rm \
--name pi5-hailo8-cas-vit-s \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4CAS-ViT-M
sudo docker run --rm \
--name pi5-hailo8-cas-vit-m \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_m:latest \
python web_detection.py --model_path model/cas_vit_m.hef --video_path video/test.mp4CAS-ViT-T
sudo docker run --rm \
--name pi5-hailo8-cas-vit-t \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_t:latest \
python web_detection.py --model_path model/cas_vit_t.hef --video_path video/test.mp4Öffnen Sie http://<Board_IP>:8000, um die Top-K-Überlagerung zu sehen. Die mitgelieferte Datei video/test.mp4 ist Hailos offizieller Klassifizierungs-Democlip (example.mp4, eine Straßenszene mit Autos und Personen).
USB-Kameramodus
sudo docker run --rm \
--name pi5-hailo8-cas-vit-m \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
--device /dev/video0:/dev/video0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
python web_detection.py --model_path model/cas_vit_s.hef --camera_id 0Ersetzen Sie cas_vit_s durch cas_vit_m oder cas_vit_t, um eine andere Variante auszuführen.
REST-API
| Endpunkt | Methode |
|---|---|
POST /api/models/cas_vit_s/predict | Top-K-Klassifizierung (JSON) |
POST /api/models/cas_vit_m/predict | Top-K-Klassifizierung (JSON) |
POST /api/models/cas_vit_t/predict | Top-K-Klassifizierung (JSON) |
curl -X POST "http://<Board_IP>:8000/api/models/cas_vit_m/predict" \
-F "file=@test.jpg" -F "conf=0.30" -F "iou=5"Die predictions-Einträge enthalten den vollständigen ImageNet-Klassennamen,
ein kurzes Label und die Konfidenz. iou wird als Top-K-Anzahl wiederverwendet,
um die API-Parität mit den Erkennungsmodulen zu wahren.
Implementierungshinweise
- Das HEF gibt einen einzelnen 1000-dimensionalen Score-Vektor aus; das
ALLS-Rezept enthält weder
softmaxnochargmax, daher führt der Host Softmax und Top-K aus. - Die Vorverarbeitung ist eine einfache Größenänderung auf 384×384, die BGR
beibehält. Das CAS-ViT-ALLS-Rezept führt
bgr_to_rgbund die ImageNet- Mittelwert/Standardabweichung-Normalisierung im HEF aus. Es wird kein Letterbox verwendet, und die Anwendung darf nicht nach RGB konvertieren. - Die Live-Vorschau glättet den Wahrscheinlichkeitsvektor (0.6 vorher + 0.4 aktuell), um Label-Flackern zu vermeiden, und zeichnet dann das Top-K-Panel.
- Die HEF-Eingabegröße wird beim Start gelesen (384×384).
Entwicklungshinweise
- Quelle:
src/rpi5_hailo8_cas_vit_{s,m,t}/ - Dockerfile:
docker/hailo8/cas_vit_{s,m,t}.dockerfile - Container:
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_{s,m,t}:latest - HEF: Hailo Model Zoo v2.20.0 (
hailo8); Größe und SHA256 sind inmodel/README.mddes Moduls dokumentiert - Demo-Video:
https://hailo-csdata.s3.eu-west-2.amazonaws.com/resources/video/example.mp4(aushailo-ai/hailo-apps, MIT)
Eingaben und Ausgaben
Eingabe: Bild, Video oder USB-Kameraframe. Ausgabe: Top-K-ImageNet-Klassen und Konfidenz.