CV / CAS-ViT

CAS-ViT

reComputer R Series (CM5 + Hailo-8)

ImageNet-classificatie met CAS-ViT-S/M/T op reComputer R Series met Hailo-8 of Hailo-10H.

13 downloads
Grootte
12.7 MB
Geheugen
4GB+
Precisie
Hailo HEF

Kies het apparaat dat je gebruikt. De installatiehandleiding en documentatie worden dienovereenkomstig bijgewerkt.

Aan de slag

Implementeren
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-s \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
  python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4

Modeldetails

reComputer R Series (CM5 + Hailo-8)

CAS-ViT-S/M/T ImageNet-classificatie (reComputer R Series, CM5 + Hailo-8)

CAS-ViT-S/M/T classificeren 1000 ImageNet-klassen op Hailo-8 via HailoRT 4.23. Het HEF ontvangt een 384×384 BGR-frame, voert bgr_to_rgb en de ImageNet-normalisatie op de chip uit en retourneert 1000 scores; de host past softmax toe, vlakt de scores in de tijd af en legt een Top-K-paneel over de MJPEG-preview.

Modelinformatie

VariantInvoerMeegeleverd HEFTop-1 float / Hailo-8Parameters / bewerkingenContainer
CAS-ViT-S384×384×3 BGR12.7 MB79.9 / 79.75.5M / 5.4Gcas_vit_s
CAS-ViT-M384×384×3 BGR18.5 MB81.2 / 80.912.42M / 10.89Gcas_vit_m
CAS-ViT-T384×384×3 BGR26.4 MB81.9 / 81.621.76M / 20.85Gcas_vit_t

Hardware en hostconfiguratie

ItemWaarde
BordreComputer R Series met Raspberry Pi CM5
AcceleratorHailo-8 via PCIe, beschikbaar als /dev/hailo0
RuntimeHailoRT 4.23.x (host en container moeten major.minor delen)
Python in container3.11, aarch64
bash
sudo apt update
sudo apt install hailo-all -y
sudo reboot

# Na herstart
hailortcli fw-control identify
ls /dev/hailo0

# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start docker

Uitvoeren met de demovideo

Kies de opdracht die bij de modelvariant hoort.

CAS-ViT-S

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-s \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
  python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4

CAS-ViT-M

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-m \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_m:latest \
  python web_detection.py --model_path model/cas_vit_m.hef --video_path video/test.mp4

CAS-ViT-T

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-t \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_t:latest \
  python web_detection.py --model_path model/cas_vit_t.hef --video_path video/test.mp4

Open http://<Board_IP>:8000 om de Top-K-overlay te bekijken. Het meegeleverde video/test.mp4 is Hailo's officiële classificatiedemoclip (example.mp4, een straatscène met auto's en mensen).

USB-cameramodus

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-m \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
  python web_detection.py --model_path model/cas_vit_s.hef --camera_id 0

Vervang cas_vit_s door cas_vit_m of cas_vit_t om een andere variant uit te voeren.

REST-API

EindpuntMethode
POST /api/models/cas_vit_s/predictTop-K-classificatie (JSON)
POST /api/models/cas_vit_m/predictTop-K-classificatie (JSON)
POST /api/models/cas_vit_t/predictTop-K-classificatie (JSON)
bash
curl -X POST "http://<Board_IP>:8000/api/models/cas_vit_m/predict" \
  -F "file=@test.jpg" -F "conf=0.30" -F "iou=5"

De predictions-items bevatten de volledige ImageNet-klassenaam, een kort label en de betrouwbaarheid. iou wordt hergebruikt als Top-K-aantal om API-pariteit met de detectiemodules te behouden.

Implementatienotities

  • Het HEF levert één 1000-dimensionale scorevector; de ALLS-recept bevat geen softmax of argmax, dus de host voert softmax en Top-K uit.
  • De voorbewerking is een eenvoudige resize naar 384×384 die BGR behoudt. Het CAS-ViT ALLS-recept voert bgr_to_rgb en de ImageNet-gemiddelde/standaard- afwijking-normalisatie in het HEF uit. Er wordt geen letterbox gebruikt en de applicatie mag niet naar RGB converteren.
  • De livepreview vlakt de waarschijnlijkheidsvector af (0.6 vorige + 0.4 huidige) om labelknipperen te voorkomen en tekent daarna het Top-K-paneel.
  • De HEF-invoergrootte wordt bij het opstarten gelezen (384×384).

Ontwikkelnotities

  • Bron: src/rpi5_hailo8_cas_vit_{s,m,t}/
  • Dockerfile: docker/hailo8/cas_vit_{s,m,t}.dockerfile
  • Container: ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_{s,m,t}:latest
  • HEF: Hailo Model Zoo v2.20.0 (hailo8); grootte en SHA256 staan in model/README.md van de module
  • Demovideo: https://hailo-csdata.s3.eu-west-2.amazonaws.com/resources/video/example.mp4 (van hailo-ai/hailo-apps, MIT)

Invoer en uitvoer

Invoer: afbeelding, video of USB-cameraframe. Uitvoer: Top-K ImageNet-klassen en betrouwbaarheid.