CV / STDC1
STDC1
reComputer R Series (CM5 + Hailo-8)
Segmentación semántica en tiempo real STDC1 en reComputer R Series con Hailo-10H.
Elige el dispositivo que estás usando. La guía de configuración y la documentación se actualizarán en consecuencia.
Primeros pasos
sudo docker run --rm \
--name cm5-hailo8-stdc1 \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/stdc1:latest \
python web_detection.py --model_path model/stdc1.hef --video_path video/test.mp4API REST
Usa la API REST para ejecutar inferencia. Copia los comandos siguientes.
curl -X POST "http://<Board_IP>:8000/api/models/stdc1/predict" \
-F "file=@test.jpg"import requests
resp = requests.post(
"http://<Board_IP>:8000/api/models/stdc1/predict",
files={"file": open("test.jpg", "rb")},
timeout=30,
)
print(resp.json())Detalles del modelo
reComputer R Series (CM5 + Hailo-8)STDC1 en reComputer R Series (CM5 + Hailo-8)
STDC1 (Short-Term Dense Concatenate) ejecuta segmentación semántica en tiempo real con 19 clases de Cityscapes en Hailo-8 mediante HailoRT.
Esta página está destinada a reComputer R Series (CM5 + Hailo-8) con un acelerador Hailo-8 PCIe.
Información del modelo
| Property | Value |
|---|---|
| Architecture | STDC1 (Short-Term Dense Concatenate) |
| Task | Semantic segmentation |
| Input | 1024x1920x3 RGB |
| Output | 1024x1920 class mask (19 classes) |
| Parameters | 8.27M |
| mIoU (Cityscapes) | 73.8% hardware reference |
| HEF | Hailo Model Zoo v2.19.0, Hailo-8 |
La precisión indicada es la referencia de Hailo Model Zoo, no una medición realizada en CM5.
Clases de Cityscapes
| ID | Class | ID | Class | ID | Class |
|---|---|---|---|---|---|
| 0 | road | 7 | traffic sign | 14 | truck |
| 1 | sidewalk | 8 | vegetation | 15 | bus |
| 2 | building | 9 | terrain | 16 | train |
| 3 | wall | 10 | sky | 17 | motorcycle |
| 4 | fence | 11 | person | 18 | bicycle |
| 5 | pole | 12 | rider | ||
| 6 | traffic light | 13 | car |
Configuración del hardware y del host
| Item | Value |
|---|---|
| Board | reComputer R Series with Raspberry Pi CM5 |
| Accelerator | Hailo-8 over PCIe, exposed as /dev/hailo0 |
| Runtime | HailoRT 4.23.x |
| Python in container | 3.11, aarch64 |
Instale los paquetes de Hailo-8 en el host y confirme que el controlador y el dispositivo estén listos antes de iniciar el contenedor:
sudo apt update
sudo apt install hailo-all
sudo reboot
# After reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0La versión de HailoRT prevista para esta imagen es 4.23.x.
Ejecutar con el vídeo de demostración
sudo docker run --rm \
--name cm5-hailo8-stdc1 \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/stdc1:latest \
python web_detection.py --model_path model/stdc1.hef --video_path video/test.mp4Abra http://<Board_IP>:8000 para ver la previsualización web.
Modo de cámara USB
sudo docker run --rm \
--name cm5-hailo8-stdc1 \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
--device /dev/video0:/dev/video0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/stdc1:latest \
python web_detection.py --model_path model/stdc1.hef --camera_id 0REST API
Endpoint de inferencia:
POST http://<Board_IP>:8000/api/models/stdc1/predictEjemplo de solicitud de imagen:
curl -X POST "http://<Board_IP>:8000/api/models/stdc1/predict" \
-F "file=@test.jpg"| Endpoint | Method | Purpose |
|---|---|---|
/ | GET | Web preview UI |
/api/models/stdc1/predict | POST | Segmentation mask (JSON) |
/api/models/stdc1/visualize | POST | Overlay image (JPEG) |
/api/models/stdc1/classes | GET | Cityscapes class list |
/api/video_feed | GET | MJPEG preview stream |
Notas de desarrollo
- Source module:
src/rpi5_hailo8_stdc1/ - Dockerfile:
docker/hailo8/stdc1.dockerfile - Container:
ghcr.io/seeed-projects/recomputer-hailo8-cv/stdc1:latest - The module uses the HailoRT 4.23 VStreams API and a Hailo-8-specific HEF.
Entradas y salidas
Entrada: imagen (1024x1920 RGB). Salida: máscara de segmentación semántica de 19 clases (Cityscapes).