CV / STARK
STARK-Lightning
reComputer R Series (CM5 + Hailo-8)
Seguimiento de un solo objeto con STARK-Lightning en reComputer R Series con Hailo-8.
Elige el dispositivo que estás usando. La guía de configuración y la documentación se actualizarán en consecuencia.
Primeros pasos
sudo docker run --rm \
--name cm5-hailo-stark-lightning \
--privileged \
--net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latestAPI REST
Usa la API REST para ejecutar inferencia. Copia los comandos siguientes.
curl http://localhost:8080/v1/chat/completions -d '{
"model": "stark-lightning",
"messages": [{"role": "user", "content": "Hello"}]
}'import requests
resp = requests.post(
"http://localhost:8080/v1/chat/completions",
json={"model": "stark-lightning", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())Pruebas de rendimiento oficiales
Estos datos proceden de las pruebas oficiales de Rockchip. El rendimiento en tu aplicación puede variar.
stark_lightning_repvgg_a0
reComputer R Series (CM5 + Hailo-8) · 320x320 · Hailo HEF
- Float Success-plot AUC
- 56.9
- Hardware Success-plot AUC
- 55.2
- FPS (batch 1)
- 1074
- Parameters (M)
- 4.62
- Operations (G)
- 3.48
Detalles del modelo
Seguimiento de un solo objeto con STARK-Lightning en reComputer R Series (CM5 + Hailo-8)
STARK-Lightning sigue un único objetivo en un vídeo sobre reComputer R Series con CM5 y Hailo-8. El HEF oficial de Hailo-8 recibe un recorte de plantilla de 128×128 y un recorte de búsqueda de 320×320. La aplicación inicializa la plantilla con la caja seleccionada en el primer fotograma y actualiza la caja en cada fotograma posterior.
Hardware y preparación del host
| Elemento | Valor |
|---|---|
| Placa | reComputer R Series con Raspberry Pi CM5 |
| Acelerador | Hailo-8 M.2 por PCIe, /dev/hailo0 |
| SO | Raspberry Pi OS Bookworm, aarch64 |
| Controlador del host | paquete apt hailo-all |
| HailoRT | 4.23.x; controlador, firmware, biblioteca nativa y wheel deben compartir major.minor |
sudo apt update
sudo apt install hailo-all
sudo reboot
# Tras el reinicio
hailortcli fw-control identify
ls /dev/hailo0
# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start dockerEjecutar con Docker
Construye la imagen desde el directorio del módulo:
cd src/rpi5_hailo8_stark_lightning_repvgg_a0
sudo docker build -f ../../docker/hailo8/stark_lightning_repvgg_a0.dockerfile \
-t rpi5-hailo8-stark:latest .Inicia la WebUI:
sudo docker run --rm --privileged --net=host \
-e PYTHONUNBUFFERED=1 \
--device /dev/hailo0:/dev/hailo0 \
-v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
-v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latestAbre http://<BOARD_IP>:8000, sube un vídeo, arrastra una caja alrededor del
objetivo en el primer fotograma y pulsa Run tracking.
Modelo y pipeline de seguimiento
| Elemento | Valor |
|---|---|
| HEF | stark_lightning_repvgg_a0.hef, 4.425.622 B, Model Zoo v2.20.0 |
| SHA256 del HEF | 7319ef5e0016e85510a71a86e8231a1fb0558a6475fa041e08919cc960c03299 |
| Entrada de plantilla | 128×128×3 RGB |
| Entrada de búsqueda | 320×320×3 RGB |
| Salida | 4 coordenadas xyxy normalizadas en el recorte de búsqueda |
| Parámetros / operaciones | 4,62M / 3,48G |
El primer fotograma recorta una región cuadrada de 2x el área del objetivo
alrededor de la caja seleccionada y la redimensiona a 128×128. Cada fotograma
posterior recorta una región de búsqueda de 5x alrededor del centro de la caja
anterior, la redimensiona a 320×320 y ejecuta ambas entradas en el HEF. Los dos mapas de calor de esquinas de 20×20 se decodifican con softmax por canal y soft-argmax sobre la rejilla de 320×320; los 4 valores resultantes se escalan por la relación del recorte de búsqueda, se desplazan por la posición del recorte y se recortan al marco.
El HEF aplica la normalización en la red (media [123.675, 116.28, 103.53],
desviación [58.395, 57.12, 57.375], orden RGB), así que la aplicación envía
píxeles RGB sin procesar como float32.
API HTTP
POST /api/video/upload— subir un vídeo.GET /api/video/first_frame?filename=...— JPEG del primer fotograma.POST /api/video/analyze— iniciar el seguimiento confilename,x,y,w,h.POST /api/video/analyze/stop— solicitar la cancelación.GET /api/video/status— progreso y nombre de salida.GET /api/video/download/{filename}— descargar el MP4 anotado.
curl -X POST "http://<BOARD_IP>:8000/api/video/analyze" \
-F "filename=demo.mp4" -F "x=420" -F "y=180" -F "w=160" -F "h=240"Rendimiento y estado de validación
Resultados oficiales de Hailo-8 en LaSOT: 56,9 Success-plot AUC en precisión completa y 55,2 en hardware, con 1074 FPS en batch size 1. Son cifras del Model Zoo, no mediciones de este pipeline WebUI.
Las comprobaciones estáticas, las pruebas sintéticas de recorte/mapeo y la prueba
de shape pasan. La carga en placa, el diseño de entradas/salidas y la precisión
real de seguimiento siguen pendientes; consulta el TEST_REPORT.md del módulo.
No presentes esta página como validada en hardware hasta completar esas
comprobaciones.
Limitaciones
- La caja del objetivo debe seleccionarse en el primer fotograma; no hay reinicialización ni seguimiento multiobjeto.
- El seguimiento es offline sobre vídeo subido; no hay vista previa de cámara en vivo.
- El módulo no se ha ejecutado en hardware Hailo-8 real.
- El servicio web está pensado para una LAN de confianza y no incluye autenticación ni TLS por defecto.
- Los vídeos de salida no tienen audio; las dimensiones impares pueden recortarse para la codificación.
Entradas y salidas
Entrada: un vídeo y una caja de objetivo en el primer fotograma. Salida: una caja seguida (x, y, w, h) por fotograma y un MP4 anotado.