CV / CAS-ViT
CAS-ViT
reComputer R Series (CM5 + Hailo-8)
Classification ImageNet avec CAS-ViT-S/M/T sur reComputer série R avec Hailo-8 ou Hailo-10H.
Choisissez l'appareil que vous utilisez. Le guide de configuration et la documentation seront mis à jour en conséquence.
Pour commencer
sudo docker run --rm \
--name pi5-hailo8-cas-vit-s \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4Détails du modèle
reComputer R Series (CM5 + Hailo-8)Classification ImageNet avec CAS-ViT-S/M/T (reComputer R Series, CM5 + Hailo-8)
CAS-ViT-S/M/T classent 1000 classes ImageNet sur Hailo-8 via HailoRT 4.23. Le HEF
reçoit une image BGR 384×384, exécute bgr_to_rgb et la normalisation ImageNet
sur la puce, puis renvoie 1000 scores ; l'hôte applique softmax, lisse les scores
dans le temps et superpose un panneau Top-K sur l'aperçu MJPEG.
Informations sur le modèle
| Variante | Entrée | HEF embarqué | Top-1 float / Hailo-8 | Paramètres / opérations | Conteneur |
|---|---|---|---|---|---|
| CAS-ViT-S | 384×384×3 BGR | 12.7 MB | 79.9 / 79.7 | 5.5M / 5.4G | cas_vit_s |
| CAS-ViT-M | 384×384×3 BGR | 18.5 MB | 81.2 / 80.9 | 12.42M / 10.89G | cas_vit_m |
| CAS-ViT-T | 384×384×3 BGR | 26.4 MB | 81.9 / 81.6 | 21.76M / 20.85G | cas_vit_t |
Matériel et configuration de l'hôte
| Élément | Valeur |
|---|---|
| Carte | reComputer R Series avec Raspberry Pi CM5 |
| Accélérateur | Hailo-8 en PCIe, exposé comme /dev/hailo0 |
| Environnement d'exécution | HailoRT 4.23.x (hôte et conteneur doivent partager major.minor) |
| Python dans le conteneur | 3.11, aarch64 |
sudo apt update
sudo apt install hailo-all -y
sudo reboot
# Après redémarrage
hailortcli fw-control identify
ls /dev/hailo0
# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start dockerExécution avec la vidéo de démonstration
Sélectionnez la commande correspondant à la variante du modèle.
CAS-ViT-S
sudo docker run --rm \
--name pi5-hailo8-cas-vit-s \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4CAS-ViT-M
sudo docker run --rm \
--name pi5-hailo8-cas-vit-m \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_m:latest \
python web_detection.py --model_path model/cas_vit_m.hef --video_path video/test.mp4CAS-ViT-T
sudo docker run --rm \
--name pi5-hailo8-cas-vit-t \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_t:latest \
python web_detection.py --model_path model/cas_vit_t.hef --video_path video/test.mp4Ouvrez http://<Board_IP>:8000 pour voir la superposition Top-K. Le fichier video/test.mp4 fourni est le clip de démonstration officiel de classification Hailo (example.mp4, une scène de rue avec voitures et piétons).
Mode caméra USB
sudo docker run --rm \
--name pi5-hailo8-cas-vit-m \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
--device /dev/video0:/dev/video0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
python web_detection.py --model_path model/cas_vit_s.hef --camera_id 0Remplacez cas_vit_s par cas_vit_m ou cas_vit_t pour exécuter une autre variante.
API REST
| Point de terminaison | Méthode |
|---|---|
POST /api/models/cas_vit_s/predict | Classification Top-K (JSON) |
POST /api/models/cas_vit_m/predict | Classification Top-K (JSON) |
POST /api/models/cas_vit_t/predict | Classification Top-K (JSON) |
curl -X POST "http://<Board_IP>:8000/api/models/cas_vit_m/predict" \
-F "file=@test.jpg" -F "conf=0.30" -F "iou=5"Les entrées predictions contiennent le nom complet de la classe ImageNet, un
libellé court et la confiance. iou est réutilisé comme nombre de Top-K pour
conserver la parité d'API avec les modules de détection.
Notes d'implémentation
- Le HEF expose un unique vecteur de 1000 scores ; la recette ALLS ne contient
ni
softmaxniargmax, donc l'hôte exécute softmax et Top-K. - Le prétraitement est un simple redimensionnement en 384×384 qui conserve le
BGR. La recette ALLS de CAS-ViT exécute
bgr_to_rgbet la normalisation moyenne/écart-type ImageNet dans le HEF. Aucun letterbox n'est utilisé et l'application ne doit pas convertir en RGB. - L'aperçu lisse le vecteur de probabilités (0.6 précédent + 0.4 actuel) pour éviter le scintillement des libellés, puis dessine le panneau Top-K.
- La taille d'entrée du HEF est lue au démarrage (384×384).
Notes de développement
- Source :
src/rpi5_hailo8_cas_vit_{s,m,t}/ - Dockerfile :
docker/hailo8/cas_vit_{s,m,t}.dockerfile - Conteneur :
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_{s,m,t}:latest - HEF : Hailo Model Zoo v2.20.0 (
hailo8) ; la taille et le SHA256 sont consignés dansmodel/README.mddu module - Vidéo de démonstration :
https://hailo-csdata.s3.eu-west-2.amazonaws.com/resources/video/example.mp4(dehailo-ai/hailo-apps, MIT)
Entrées et sorties
Entrée : image, vidéo ou flux caméra USB. Sortie : classes ImageNet Top-K et confiance.