CV / CAS-ViT

CAS-ViT

reComputer R Series (CM5 + Hailo-8)

Classification ImageNet avec CAS-ViT-S/M/T sur reComputer série R avec Hailo-8 ou Hailo-10H.

13 téléchargements
Taille
12.7 MB
Mémoire
4GB+
Précision
Hailo HEF

Choisissez l'appareil que vous utilisez. Le guide de configuration et la documentation seront mis à jour en conséquence.

Pour commencer

Déployer
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-s \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
  python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4

Détails du modèle

reComputer R Series (CM5 + Hailo-8)

Classification ImageNet avec CAS-ViT-S/M/T (reComputer R Series, CM5 + Hailo-8)

CAS-ViT-S/M/T classent 1000 classes ImageNet sur Hailo-8 via HailoRT 4.23. Le HEF reçoit une image BGR 384×384, exécute bgr_to_rgb et la normalisation ImageNet sur la puce, puis renvoie 1000 scores ; l'hôte applique softmax, lisse les scores dans le temps et superpose un panneau Top-K sur l'aperçu MJPEG.

Informations sur le modèle

VarianteEntréeHEF embarquéTop-1 float / Hailo-8Paramètres / opérationsConteneur
CAS-ViT-S384×384×3 BGR12.7 MB79.9 / 79.75.5M / 5.4Gcas_vit_s
CAS-ViT-M384×384×3 BGR18.5 MB81.2 / 80.912.42M / 10.89Gcas_vit_m
CAS-ViT-T384×384×3 BGR26.4 MB81.9 / 81.621.76M / 20.85Gcas_vit_t

Matériel et configuration de l'hôte

ÉlémentValeur
CartereComputer R Series avec Raspberry Pi CM5
AccélérateurHailo-8 en PCIe, exposé comme /dev/hailo0
Environnement d'exécutionHailoRT 4.23.x (hôte et conteneur doivent partager major.minor)
Python dans le conteneur3.11, aarch64
bash
sudo apt update
sudo apt install hailo-all -y
sudo reboot

# Après redémarrage
hailortcli fw-control identify
ls /dev/hailo0

# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start docker

Exécution avec la vidéo de démonstration

Sélectionnez la commande correspondant à la variante du modèle.

CAS-ViT-S

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-s \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
  python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4

CAS-ViT-M

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-m \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_m:latest \
  python web_detection.py --model_path model/cas_vit_m.hef --video_path video/test.mp4

CAS-ViT-T

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-t \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_t:latest \
  python web_detection.py --model_path model/cas_vit_t.hef --video_path video/test.mp4

Ouvrez http://<Board_IP>:8000 pour voir la superposition Top-K. Le fichier video/test.mp4 fourni est le clip de démonstration officiel de classification Hailo (example.mp4, une scène de rue avec voitures et piétons).

Mode caméra USB

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-m \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
  python web_detection.py --model_path model/cas_vit_s.hef --camera_id 0

Remplacez cas_vit_s par cas_vit_m ou cas_vit_t pour exécuter une autre variante.

API REST

Point de terminaisonMéthode
POST /api/models/cas_vit_s/predictClassification Top-K (JSON)
POST /api/models/cas_vit_m/predictClassification Top-K (JSON)
POST /api/models/cas_vit_t/predictClassification Top-K (JSON)
bash
curl -X POST "http://<Board_IP>:8000/api/models/cas_vit_m/predict" \
  -F "file=@test.jpg" -F "conf=0.30" -F "iou=5"

Les entrées predictions contiennent le nom complet de la classe ImageNet, un libellé court et la confiance. iou est réutilisé comme nombre de Top-K pour conserver la parité d'API avec les modules de détection.

Notes d'implémentation

  • Le HEF expose un unique vecteur de 1000 scores ; la recette ALLS ne contient ni softmax ni argmax, donc l'hôte exécute softmax et Top-K.
  • Le prétraitement est un simple redimensionnement en 384×384 qui conserve le BGR. La recette ALLS de CAS-ViT exécute bgr_to_rgb et la normalisation moyenne/écart-type ImageNet dans le HEF. Aucun letterbox n'est utilisé et l'application ne doit pas convertir en RGB.
  • L'aperçu lisse le vecteur de probabilités (0.6 précédent + 0.4 actuel) pour éviter le scintillement des libellés, puis dessine le panneau Top-K.
  • La taille d'entrée du HEF est lue au démarrage (384×384).

Notes de développement

  • Source : src/rpi5_hailo8_cas_vit_{s,m,t}/
  • Dockerfile : docker/hailo8/cas_vit_{s,m,t}.dockerfile
  • Conteneur : ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_{s,m,t}:latest
  • HEF : Hailo Model Zoo v2.20.0 (hailo8) ; la taille et le SHA256 sont consignés dans model/README.md du module
  • Vidéo de démonstration : https://hailo-csdata.s3.eu-west-2.amazonaws.com/resources/video/example.mp4 (de hailo-ai/hailo-apps, MIT)

Entrées et sorties

Entrée : image, vidéo ou flux caméra USB. Sortie : classes ImageNet Top-K et confiance.