CV / STARK

STARK-Lightning

reComputer R Series (CM5 + Hailo-8)

Seguimiento de un solo objeto con STARK-Lightning en reComputer R Series con Hailo-8.

3 descargas
Tamaño
4.2 MB
Memoria
4GB+
Precisión
Hailo HEF

Elige el dispositivo que estás usando. La guía de configuración y la documentación se actualizarán en consecuencia.

Primeros pasos

Desplegar
sudo docker run --rm \
  --name cm5-hailo-stark-lightning \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latest

API REST

Usa la API REST para ejecutar inferencia. Copia los comandos siguientes.

Curl
curl http://localhost:8080/v1/chat/completions -d '{
  "model": "stark-lightning",
  "messages": [{"role": "user", "content": "Hello"}]
}'
Python
import requests

resp = requests.post(
    "http://localhost:8080/v1/chat/completions",
    json={"model": "stark-lightning", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())

Pruebas de rendimiento oficiales

Estos datos proceden de las pruebas oficiales de Rockchip. El rendimiento en tu aplicación puede variar.

stark_lightning_repvgg_a0

reComputer R Series (CM5 + Hailo-8) · 320x320 · Hailo HEF

Float Success-plot AUC
56.9
Hardware Success-plot AUC
55.2
FPS (batch 1)
1074
Parameters (M)
4.62
Operations (G)
3.48

Detalles del modelo

Seguimiento de un solo objeto con STARK-Lightning en reComputer R Series (CM5 + Hailo-8)

STARK-Lightning sigue un único objetivo en un vídeo sobre reComputer R Series con CM5 y Hailo-8. El HEF oficial de Hailo-8 recibe un recorte de plantilla de 128×128 y un recorte de búsqueda de 320×320. La aplicación inicializa la plantilla con la caja seleccionada en el primer fotograma y actualiza la caja en cada fotograma posterior.

Hardware y preparación del host

ElementoValor
PlacareComputer R Series con Raspberry Pi CM5
AceleradorHailo-8 M.2 por PCIe, /dev/hailo0
SORaspberry Pi OS Bookworm, aarch64
Controlador del hostpaquete apt hailo-all
HailoRT4.23.x; controlador, firmware, biblioteca nativa y wheel deben compartir major.minor
bash
sudo apt update
sudo apt install hailo-all
sudo reboot

# Tras el reinicio
hailortcli fw-control identify
ls /dev/hailo0

# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start docker

Ejecutar con Docker

Construye la imagen desde el directorio del módulo:

bash
cd src/rpi5_hailo8_stark_lightning_repvgg_a0
sudo docker build -f ../../docker/hailo8/stark_lightning_repvgg_a0.dockerfile \
  -t rpi5-hailo8-stark:latest .

Inicia la WebUI:

bash
sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/stark_lightning_repvgg_a0:latest

Abre http://<BOARD_IP>:8000, sube un vídeo, arrastra una caja alrededor del objetivo en el primer fotograma y pulsa Run tracking.

Modelo y pipeline de seguimiento

ElementoValor
HEFstark_lightning_repvgg_a0.hef, 4.425.622 B, Model Zoo v2.20.0
SHA256 del HEF7319ef5e0016e85510a71a86e8231a1fb0558a6475fa041e08919cc960c03299
Entrada de plantilla128×128×3 RGB
Entrada de búsqueda320×320×3 RGB
Salida4 coordenadas xyxy normalizadas en el recorte de búsqueda
Parámetros / operaciones4,62M / 3,48G

El primer fotograma recorta una región cuadrada de 2x el área del objetivo alrededor de la caja seleccionada y la redimensiona a 128×128. Cada fotograma posterior recorta una región de búsqueda de 5x alrededor del centro de la caja anterior, la redimensiona a 320×320 y ejecuta ambas entradas en el HEF. Los dos mapas de calor de esquinas de 20×20 se decodifican con softmax por canal y soft-argmax sobre la rejilla de 320×320; los 4 valores resultantes se escalan por la relación del recorte de búsqueda, se desplazan por la posición del recorte y se recortan al marco.

El HEF aplica la normalización en la red (media [123.675, 116.28, 103.53], desviación [58.395, 57.12, 57.375], orden RGB), así que la aplicación envía píxeles RGB sin procesar como float32.

API HTTP

  • POST /api/video/upload — subir un vídeo.
  • GET /api/video/first_frame?filename=... — JPEG del primer fotograma.
  • POST /api/video/analyze — iniciar el seguimiento con filename, x, y, w, h.
  • POST /api/video/analyze/stop — solicitar la cancelación.
  • GET /api/video/status — progreso y nombre de salida.
  • GET /api/video/download/{filename} — descargar el MP4 anotado.
bash
curl -X POST "http://<BOARD_IP>:8000/api/video/analyze" \
  -F "filename=demo.mp4" -F "x=420" -F "y=180" -F "w=160" -F "h=240"

Rendimiento y estado de validación

Resultados oficiales de Hailo-8 en LaSOT: 56,9 Success-plot AUC en precisión completa y 55,2 en hardware, con 1074 FPS en batch size 1. Son cifras del Model Zoo, no mediciones de este pipeline WebUI.

Las comprobaciones estáticas, las pruebas sintéticas de recorte/mapeo y la prueba de shape pasan. La carga en placa, el diseño de entradas/salidas y la precisión real de seguimiento siguen pendientes; consulta el TEST_REPORT.md del módulo. No presentes esta página como validada en hardware hasta completar esas comprobaciones.

Limitaciones

  • La caja del objetivo debe seleccionarse en el primer fotograma; no hay reinicialización ni seguimiento multiobjeto.
  • El seguimiento es offline sobre vídeo subido; no hay vista previa de cámara en vivo.
  • El módulo no se ha ejecutado en hardware Hailo-8 real.
  • El servicio web está pensado para una LAN de confianza y no incluye autenticación ni TLS por defecto.
  • Los vídeos de salida no tienen audio; las dimensiones impares pueden recortarse para la codificación.

Entradas y salidas

Entrada: un vídeo y una caja de objetivo en el primer fotograma. Salida: una caja seguida (x, y, w, h) por fotograma y un MP4 anotado.