CV / CAS-ViT
CAS-ViT
reComputer R Series (CM5 + Hailo-8)
Clasificación ImageNet con CAS-ViT-S/M/T en reComputer R Series con Hailo-8 o Hailo-10H.
Elige el dispositivo que estás usando. La guía de configuración y la documentación se actualizarán en consecuencia.
Primeros pasos
sudo docker run --rm \
--name pi5-hailo8-cas-vit-s \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4Detalles del modelo
reComputer R Series (CM5 + Hailo-8)Clasificación ImageNet con CAS-ViT-S/M/T (reComputer R Series, CM5 + Hailo-8)
CAS-ViT-S/M/T clasifican 1000 clases de ImageNet en Hailo-8 mediante HailoRT 4.23. El
HEF recibe un fotograma BGR de 384×384, ejecuta bgr_to_rgb y la normalización
de ImageNet en el chip y devuelve 1000 puntuaciones; el host aplica softmax,
suaviza las puntuaciones en el tiempo y superpone un panel Top-K en la vista
previa MJPEG.
Información del modelo
| Variante | Entrada | HEF incluido | Top-1 float / Hailo-8 | Parámetros / operaciones | Contenedor |
|---|---|---|---|---|---|
| CAS-ViT-S | 384×384×3 BGR | 12.7 MB | 79.9 / 79.7 | 5.5M / 5.4G | cas_vit_s |
| CAS-ViT-M | 384×384×3 BGR | 18.5 MB | 81.2 / 80.9 | 12.42M / 10.89G | cas_vit_m |
| CAS-ViT-T | 384×384×3 BGR | 26.4 MB | 81.9 / 81.6 | 21.76M / 20.85G | cas_vit_t |
Hardware y configuración del host
| Elemento | Valor |
|---|---|
| Placa | reComputer R Series con Raspberry Pi CM5 |
| Acelerador | Hailo-8 por PCIe, expuesto como /dev/hailo0 |
| Tiempo de ejecución | HailoRT 4.23.x (host y contenedor deben compartir major.minor) |
| Python en el contenedor | 3.11, aarch64 |
sudo apt update
sudo apt install hailo-all -y
sudo reboot
# Tras reiniciar
hailortcli fw-control identify
ls /dev/hailo0
# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start dockerEjecución con el vídeo de demostración
Selecciona el comando correspondiente a la variante del modelo.
CAS-ViT-S
sudo docker run --rm \
--name pi5-hailo8-cas-vit-s \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4CAS-ViT-M
sudo docker run --rm \
--name pi5-hailo8-cas-vit-m \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_m:latest \
python web_detection.py --model_path model/cas_vit_m.hef --video_path video/test.mp4CAS-ViT-T
sudo docker run --rm \
--name pi5-hailo8-cas-vit-t \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_t:latest \
python web_detection.py --model_path model/cas_vit_t.hef --video_path video/test.mp4Abre http://<Board_IP>:8000 para ver la superposición Top-K. El archivo incluido video/test.mp4 es el clip de demostración oficial de clasificación de Hailo (example.mp4, una escena urbana con coches y personas).
Modo cámara USB
sudo docker run --rm \
--name pi5-hailo8-cas-vit-m \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
--device /dev/video0:/dev/video0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
python web_detection.py --model_path model/cas_vit_s.hef --camera_id 0Cambia cas_vit_s por cas_vit_m o cas_vit_t para ejecutar otra variante.
API REST
| Endpoint | Método |
|---|---|
POST /api/models/cas_vit_s/predict | Clasificación Top-K (JSON) |
POST /api/models/cas_vit_m/predict | Clasificación Top-K (JSON) |
POST /api/models/cas_vit_t/predict | Clasificación Top-K (JSON) |
curl -X POST "http://<Board_IP>:8000/api/models/cas_vit_m/predict" \
-F "file=@test.jpg" -F "conf=0.30" -F "iou=5"Las entradas de predictions incluyen el nombre completo de la clase ImageNet,
una etiqueta corta y la confianza. iou se reutiliza como número de Top-K para
mantener la paridad de API con los módulos de detección.
Notas de implementación
- El HEF expone un único vector de 1000 puntuaciones; la receta ALLS no contiene
softmaxniargmax, por lo que el host ejecuta softmax y Top-K. - El preprocesamiento es un redimensionado simple a 384×384 que mantiene BGR.
La receta ALLS de CAS-ViT ejecuta
bgr_to_rgby la normalización media/std de ImageNet dentro del HEF. No se usa letterbox y la aplicación no debe convertir a RGB. - La vista previa suaviza el vector de probabilidades (0.6 anterior + 0.4 actual) para evitar el parpadeo de etiquetas y después dibuja el panel Top-K.
- El tamaño de entrada del HEF se lee al iniciar (384×384).
Notas de desarrollo
- Código:
src/rpi5_hailo8_cas_vit_{s,m,t}/ - Dockerfile:
docker/hailo8/cas_vit_{s,m,t}.dockerfile - Contenedor:
ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_{s,m,t}:latest - HEF: Hailo Model Zoo v2.20.0 (
hailo8); el tamaño y SHA256 están registrados enmodel/README.mddel módulo - Vídeo de demostración:
https://hailo-csdata.s3.eu-west-2.amazonaws.com/resources/video/example.mp4(dehailo-ai/hailo-apps, MIT)
Entradas y salidas
Entrada: imagen, vídeo o fotograma de cámara USB. Salida: clases ImageNet Top-K y confianza.