CV / CAS-ViT

CAS-ViT

reComputer R Series (CM5 + Hailo-8)

Clasificación ImageNet con CAS-ViT-S/M/T en reComputer R Series con Hailo-8 o Hailo-10H.

13 descargas
Tamaño
12.7 MB
Memoria
4GB+
Precisión
Hailo HEF

Elige el dispositivo que estás usando. La guía de configuración y la documentación se actualizarán en consecuencia.

Primeros pasos

Desplegar
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-s \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
  python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4

Detalles del modelo

reComputer R Series (CM5 + Hailo-8)

Clasificación ImageNet con CAS-ViT-S/M/T (reComputer R Series, CM5 + Hailo-8)

CAS-ViT-S/M/T clasifican 1000 clases de ImageNet en Hailo-8 mediante HailoRT 4.23. El HEF recibe un fotograma BGR de 384×384, ejecuta bgr_to_rgb y la normalización de ImageNet en el chip y devuelve 1000 puntuaciones; el host aplica softmax, suaviza las puntuaciones en el tiempo y superpone un panel Top-K en la vista previa MJPEG.

Información del modelo

VarianteEntradaHEF incluidoTop-1 float / Hailo-8Parámetros / operacionesContenedor
CAS-ViT-S384×384×3 BGR12.7 MB79.9 / 79.75.5M / 5.4Gcas_vit_s
CAS-ViT-M384×384×3 BGR18.5 MB81.2 / 80.912.42M / 10.89Gcas_vit_m
CAS-ViT-T384×384×3 BGR26.4 MB81.9 / 81.621.76M / 20.85Gcas_vit_t

Hardware y configuración del host

ElementoValor
PlacareComputer R Series con Raspberry Pi CM5
AceleradorHailo-8 por PCIe, expuesto como /dev/hailo0
Tiempo de ejecuciónHailoRT 4.23.x (host y contenedor deben compartir major.minor)
Python en el contenedor3.11, aarch64
bash
sudo apt update
sudo apt install hailo-all -y
sudo reboot

# Tras reiniciar
hailortcli fw-control identify
ls /dev/hailo0

# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start docker

Ejecución con el vídeo de demostración

Selecciona el comando correspondiente a la variante del modelo.

CAS-ViT-S

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-s \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
  python web_detection.py --model_path model/cas_vit_s.hef --video_path video/test.mp4

CAS-ViT-M

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-m \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_m:latest \
  python web_detection.py --model_path model/cas_vit_m.hef --video_path video/test.mp4

CAS-ViT-T

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-t \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_t:latest \
  python web_detection.py --model_path model/cas_vit_t.hef --video_path video/test.mp4

Abre http://<Board_IP>:8000 para ver la superposición Top-K. El archivo incluido video/test.mp4 es el clip de demostración oficial de clasificación de Hailo (example.mp4, una escena urbana con coches y personas).

Modo cámara USB

bash
sudo docker run --rm \
  --name pi5-hailo8-cas-vit-m \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_s:latest \
  python web_detection.py --model_path model/cas_vit_s.hef --camera_id 0

Cambia cas_vit_s por cas_vit_m o cas_vit_t para ejecutar otra variante.

API REST

EndpointMétodo
POST /api/models/cas_vit_s/predictClasificación Top-K (JSON)
POST /api/models/cas_vit_m/predictClasificación Top-K (JSON)
POST /api/models/cas_vit_t/predictClasificación Top-K (JSON)
bash
curl -X POST "http://<Board_IP>:8000/api/models/cas_vit_m/predict" \
  -F "file=@test.jpg" -F "conf=0.30" -F "iou=5"

Las entradas de predictions incluyen el nombre completo de la clase ImageNet, una etiqueta corta y la confianza. iou se reutiliza como número de Top-K para mantener la paridad de API con los módulos de detección.

Notas de implementación

  • El HEF expone un único vector de 1000 puntuaciones; la receta ALLS no contiene softmax ni argmax, por lo que el host ejecuta softmax y Top-K.
  • El preprocesamiento es un redimensionado simple a 384×384 que mantiene BGR. La receta ALLS de CAS-ViT ejecuta bgr_to_rgb y la normalización media/std de ImageNet dentro del HEF. No se usa letterbox y la aplicación no debe convertir a RGB.
  • La vista previa suaviza el vector de probabilidades (0.6 anterior + 0.4 actual) para evitar el parpadeo de etiquetas y después dibuja el panel Top-K.
  • El tamaño de entrada del HEF se lee al iniciar (384×384).

Notas de desarrollo

  • Código: src/rpi5_hailo8_cas_vit_{s,m,t}/
  • Dockerfile: docker/hailo8/cas_vit_{s,m,t}.dockerfile
  • Contenedor: ghcr.io/seeed-projects/recomputer-hailo8-cv/cas_vit_{s,m,t}:latest
  • HEF: Hailo Model Zoo v2.20.0 (hailo8); el tamaño y SHA256 están registrados en model/README.md del módulo
  • Vídeo de demostración: https://hailo-csdata.s3.eu-west-2.amazonaws.com/resources/video/example.mp4 (de hailo-ai/hailo-apps, MIT)

Entradas y salidas

Entrada: imagen, vídeo o fotograma de cámara USB. Salida: clases ImageNet Top-K y confianza.