CV / CAS-ViT
CAS-ViT
reComputer R Series (CM5 + Hailo-8)
ImageNet-classificatie met CAS-ViT-S/M/T op reComputer R Series met Hailo-8 of Hailo-10H.
Kies het apparaat dat je gebruikt. De installatiehandleiding en documentatie worden dienovereenkomstig bijgewerkt.
Aan de slag
sudo docker run --rm \
--name pi5-hailo8-cas-vit-s \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4Modeldetails
reComputer R Series (CM5 + Hailo-8)CAS-ViT-S/M/T ImageNet-classificatie (reComputer R Series, CM5 + Hailo-8)
CAS-ViT-S/M/T classificeren 1000 ImageNet-klassen op Hailo-8 via HailoRT 4.23. Het
HEF ontvangt een 384×384 BGR-frame, voert bgr_to_rgb en de ImageNet-normalisatie
op de chip uit en retourneert 1000 scores; de host past softmax toe, vlakt de
scores in de tijd af en legt een Top-K-paneel over de MJPEG-preview.
Modelinformatie
| Variant | Invoer | Meegeleverd HEF | Top-1 float / Hailo-8 | Parameters / bewerkingen | Container |
|---|---|---|---|---|---|
| CAS-ViT-S | 384×384×3 BGR | 12.7 MB | 79.9 / 79.7 | 5.5M / 5.4G | cas_vit_s |
| CAS-ViT-M | 384×384×3 BGR | 18.5 MB | 81.2 / 80.9 | 12.42M / 10.89G | cas_vit_m |
| CAS-ViT-T | 384×384×3 BGR | 26.4 MB | 81.9 / 81.6 | 21.76M / 20.85G | cas_vit_t |
Hardware en hostconfiguratie
| Item | Waarde |
|---|---|
| Bord | reComputer R Series met Raspberry Pi CM5 |
| Accelerator | Hailo-8 via PCIe, beschikbaar als /dev/hailo0 |
| Runtime | HailoRT 4.23.x (host en container moeten major.minor delen) |
| Python in container | 3.11, aarch64 |
sudo apt update
sudo apt install hailo-all -y
sudo reboot
# Na herstart
hailortcli fw-control identify
ls /dev/hailo0
# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start dockerUitvoeren met de demovideo
Kies de opdracht die bij de modelvariant hoort.
CAS-ViT-S
sudo docker run --rm \
--name pi5-hailo8-cas-vit-s \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4CAS-ViT-M
sudo docker run --rm \
--name pi5-hailo8-cas-vit-m \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_m:latest \
python web_detection.py --model_path model/cas_vit_m.hef --video_path video/test.mp4CAS-ViT-T
sudo docker run --rm \
--name pi5-hailo8-cas-vit-t \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_t:latest \
python web_detection.py --model_path model/cas_vit_t.hef --video_path video/test.mp4Open http://<Board_IP>:8000 om de Top-K-overlay te bekijken. Het meegeleverde video/test.mp4 is Hailo's officiële classificatiedemoclip (example.mp4, een straatscène met auto's en mensen).
USB-cameramodus
sudo docker run --rm \
--name pi5-hailo8-cas-vit-m \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
--device /dev/video0:/dev/video0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
python web_detection.py --model_path model/cas_vit_s.hef --camera_id 0Vervang cas_vit_s door cas_vit_m of cas_vit_t om een andere variant uit te voeren.
REST-API
| Eindpunt | Methode |
|---|---|
POST /api/models/cas_vit_s/predict | Top-K-classificatie (JSON) |
POST /api/models/cas_vit_m/predict | Top-K-classificatie (JSON) |
POST /api/models/cas_vit_t/predict | Top-K-classificatie (JSON) |
curl -X POST "http://<Board_IP>:8000/api/models/cas_vit_m/predict" \
-F "file=@test.jpg" -F "conf=0.30" -F "iou=5"De predictions-items bevatten de volledige ImageNet-klassenaam, een kort label
en de betrouwbaarheid. iou wordt hergebruikt als Top-K-aantal om API-pariteit
met de detectiemodules te behouden.
Implementatienotities
- Het HEF levert één 1000-dimensionale scorevector; de ALLS-recept bevat geen
softmaxofargmax, dus de host voert softmax en Top-K uit. - De voorbewerking is een eenvoudige resize naar 384×384 die BGR behoudt. Het
CAS-ViT ALLS-recept voert
bgr_to_rgben de ImageNet-gemiddelde/standaard- afwijking-normalisatie in het HEF uit. Er wordt geen letterbox gebruikt en de applicatie mag niet naar RGB converteren. - De livepreview vlakt de waarschijnlijkheidsvector af (0.6 vorige + 0.4 huidige) om labelknipperen te voorkomen en tekent daarna het Top-K-paneel.
- De HEF-invoergrootte wordt bij het opstarten gelezen (384×384).
Ontwikkelnotities
- Bron:
src/rpi5_hailo8_cas_vit_{s,m,t}/ - Dockerfile:
docker/hailo8/cas_vit_{s,m,t}.dockerfile - Container:
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_{s,m,t}:latest - HEF: Hailo Model Zoo v2.20.0 (
hailo8); grootte en SHA256 staan inmodel/README.mdvan de module - Demovideo:
https://hailo-csdata.s3.eu-west-2.amazonaws.com/resources/video/example.mp4(vanhailo-ai/hailo-apps, MIT)
Invoer en uitvoer
Invoer: afbeelding, video of USB-cameraframe. Uitvoer: Top-K ImageNet-klassen en betrouwbaarheid.