CV / STDC1

STDC1

reComputer R Series (CM5 + Hailo-8)

Segmentación semántica en tiempo real STDC1 en reComputer R Series con Hailo-10H.

189 descargas
Tamaño
11 MB
Memoria
4GB+
Precisión
Hailo HEF / HailoRT

Elige el dispositivo que estás usando. La guía de configuración y la documentación se actualizarán en consecuencia.

Primeros pasos

Desplegar
sudo docker run --rm \
  --name cm5-hailo8-stdc1 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/stdc1:latest \
  python web_detection.py --model_path model/stdc1.hef --video_path video/test.mp4

API REST

Usa la API REST para ejecutar inferencia. Copia los comandos siguientes.

Curl
curl -X POST "http://<Board_IP>:8000/api/models/stdc1/predict" \
  -F "file=@test.jpg"
Python
import requests

resp = requests.post(
    "http://<Board_IP>:8000/api/models/stdc1/predict",
    files={"file": open("test.jpg", "rb")},
    timeout=30,
)
print(resp.json())

Detalles del modelo

reComputer R Series (CM5 + Hailo-8)

STDC1 en reComputer R Series (CM5 + Hailo-8)

STDC1 (Short-Term Dense Concatenate) ejecuta segmentación semántica en tiempo real con 19 clases de Cityscapes en Hailo-8 mediante HailoRT.

Esta página está destinada a reComputer R Series (CM5 + Hailo-8) con un acelerador Hailo-8 PCIe.

Información del modelo

PropertyValue
ArchitectureSTDC1 (Short-Term Dense Concatenate)
TaskSemantic segmentation
Input1024x1920x3 RGB
Output1024x1920 class mask (19 classes)
Parameters8.27M
mIoU (Cityscapes)73.8% hardware reference
HEFHailo Model Zoo v2.19.0, Hailo-8

La precisión indicada es la referencia de Hailo Model Zoo, no una medición realizada en CM5.

Clases de Cityscapes

IDClassIDClassIDClass
0road7traffic sign14truck
1sidewalk8vegetation15bus
2building9terrain16train
3wall10sky17motorcycle
4fence11person18bicycle
5pole12rider
6traffic light13car

Configuración del hardware y del host

ItemValue
BoardreComputer R Series with Raspberry Pi CM5
AcceleratorHailo-8 over PCIe, exposed as /dev/hailo0
RuntimeHailoRT 4.23.x
Python in container3.11, aarch64

Instale los paquetes de Hailo-8 en el host y confirme que el controlador y el dispositivo estén listos antes de iniciar el contenedor:

bash
sudo apt update
sudo apt install hailo-all
sudo reboot

# After reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

La versión de HailoRT prevista para esta imagen es 4.23.x.

Ejecutar con el vídeo de demostración

bash
sudo docker run --rm \
  --name cm5-hailo8-stdc1 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/stdc1:latest \
  python web_detection.py --model_path model/stdc1.hef --video_path video/test.mp4

Abra http://<Board_IP>:8000 para ver la previsualización web.

Modo de cámara USB

bash
sudo docker run --rm \
  --name cm5-hailo8-stdc1 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/stdc1:latest \
  python web_detection.py --model_path model/stdc1.hef --camera_id 0

REST API

Endpoint de inferencia:

text
POST http://<Board_IP>:8000/api/models/stdc1/predict

Ejemplo de solicitud de imagen:

bash
curl -X POST "http://<Board_IP>:8000/api/models/stdc1/predict" \
  -F "file=@test.jpg"
EndpointMethodPurpose
/GETWeb preview UI
/api/models/stdc1/predictPOSTSegmentation mask (JSON)
/api/models/stdc1/visualizePOSTOverlay image (JPEG)
/api/models/stdc1/classesGETCityscapes class list
/api/video_feedGETMJPEG preview stream

Notas de desarrollo

  • Source module: src/rpi5_hailo8_stdc1/
  • Dockerfile: docker/hailo8/stdc1.dockerfile
  • Container: ghcr.io/seeed-projects/recomputer-hailo8-cv/stdc1:latest
  • The module uses the HailoRT 4.23 VStreams API and a Hailo-8-specific HEF.

Entradas y salidas

Entrada: imagen (1024x1920 RGB). Salida: máscara de segmentación semántica de 19 clases (Cityscapes).