inteintegrity2026-11-14

Seguridad en almacenes con YOLO11 y reComputer RK3576

Detecta carretillas elevadoras y peatones con YOLO11 y ByteTrack en la NPU del reComputer RK3576. Incluye interfaz web local, alertas de peligro y modelos RKNN.

CVWarehouse SafetyreComputer RKGitHub
Demostración de seguridad de carretillas y peatones con reComputer RK3576

En los pasillos compartidos por carretillas elevadoras y peatones, identificar un acercamiento es una parte importante de la supervisión de seguridad. Este proyecto reúne detección de vehículos, seguimiento de personas y alertas por zonas en una interfaz web local, para mostrar quién se acerca a una carretilla y el estado de riesgo actual.

El proyecto ejecuta un modelo YOLO11n entrenado para almacenes en la NPU del reComputer RK3576 y utiliza ByteTrack para seguir carretillas y personas. Cuando un peatón se aproxima a las zonas proyectadas del vehículo, muestra CAUTION y, al entrar en la zona interior, DANGER en rojo. El panel del navegador ofrece vídeo anotado, parejas de riesgo actuales y descarga de eventos. La inferencia y el análisis se realizan localmente en la placa.

Código fuente: rk3576-warehouse-safety-monitor

Funciones de seguridad para carretillas y peatones

FunciónComportamiento
Detección de carretillas y personasUn modelo YOLO11n de dos clases se ejecuta en la NPU RK3576.
Identidades persistentesByteTrack asigna identificadores entre fotogramas.
Exclusión del conductorUna regla basada en los cuadros de detección excluye al conductor de las parejas de riesgo con peatones.
Alertas graduadasVerde, CAUTION en amarillo y DANGER en rojo indican la proximidad a las zonas proyectadas.
Interfaz web localPermite ver vídeo anotado, parejas actuales y eventos finalizados.
Exportación de resultadosGuarda MP4 anotado, CSV de eventos, JSON de resumen y registros por fotograma.
Vídeo de presentaciónAñade zonas luminosas semitransparentes sobre el suelo a los resultados grabados, desde un ordenador.

El ejemplo dura 10 segundos, con resolución de 1280 × 720 y 24 FPS. Los acercamientos alrededor de los segundos 5 y 8 activan alertas rojas. El conductor se identifica por separado como OPERATOR.

Cómo funciona

text
Video file / USB camera / RTSP
  → resize and letterbox to 640 × 640 RGB
  → YOLO11n RKNN inference on the RK3576 NPU
  → CPU detection decoding and NMS
  → CPU ByteTrack tracking
  → operator exclusion and pairwise zone analysis
  → Web UI, annotated video, and event logs

YOLO11n detecta carretillas y personas, mientras ByteTrack mantiene sus identidades entre fotogramas. El sistema empareja cada carretilla con peatones próximos fuera del vehículo, actualiza las alertas según su posición respecto a las zonas y registra las alertas continuas como eventos exportables. La detección utiliza la NPU; el seguimiento, las decisiones de alerta, el dibujo y la grabación utilizan la CPU.

Cómo se activan las alertas de proximidad

El sistema crea zonas proyectadas en el espacio de la imagen alrededor del cuadro de la carretilla y comprueba continuamente la posición de cada peatón. El punto del borde inferior del cuadro del peatón más cercano al centro de la carretilla determina la activación de una advertencia o una alerta de peligro.

Al aproximarse a la zona de advertencia aparece CAUTION en amarillo. Entrar en la zona interior activa DANGER en rojo. Las zonas representan proximidad en la imagen; no muestran distancias en metros sin calibrar.

Significado de los colores

EstadoVisualizaciónActivación
SupervisiónCuadro verde de la personaFuera de la zona de advertencia.
CAUTIONCuadro amarillo y mensaje de precauciónCerca de la zona proyectada del vehículo.
DANGERCuadro rojo, mensaje de peligro y borde rojo en el vídeo de presentaciónEntrada en la zona interior.

La elipse se centra en el punto medio inferior del cuadro de la carretilla. Su radio horizontal base equivale a 2.4 veces el ancho y el vertical a 0.4 veces la altura. En coordenadas normalizadas de la elipse, el peligro empieza en el radio 0.85 y la precaución en 1.05. Se desactivan al superar 0.93 y 1.20, respectivamente, para reducir las oscilaciones cerca del límite. El anillo verde exterior tiene radio 1.35.

Son ajustes configurables de regiones de imagen; no describen distancias medidas sobre el suelo ni las dimensiones reales de las horquillas o la carga.

El proyecto incluye models/warehouse_yolo11_rk3576_int8.rknn y models/warehouse_yolo11_rk3576_fp16.rknn, con sumas de comprobación en models/manifest.json. El orden de clases es 0: forklift, 1: person. Un detector COCO estándar no los sustituye, porque COCO no tiene una clase para carretillas elevadoras.

Ejecutar en reComputer RK3576

Utiliza Linux ARM64 con Python 3.11 y un controlador y Runtime de NPU RK3576 funcionales. Clona el proyecto, prepara el entorno e inicia el panel:

bash
git clone https://github.com/inteintegrity/rk3576-warehouse-safety-monitor.git
cd rk3576-warehouse-safety-monitor
bash run.sh setup
bash run.sh web

Abre http://<board-ip>:8088 desde un ordenador de la misma LAN de confianza, sustituyendo <board-ip> por la dirección de la placa.

  1. Mantén data/test_clip_nearmiss.mp4 como origen del ejemplo.
  2. Selecciona Start analysis para ver el vídeo y las parejas de riesgo.
  3. Selecciona Stop para terminar antes, o espera a que finalice el ejemplo.
  4. Descarga el MP4 anotado, el CSV de eventos o el JSON de resumen al finalizar.

Pulsa Ctrl+C en la terminal para detener el servidor. Para cambiar de puerto, utiliza bash run.sh web --port 8089. El campo de entrada acepta una ruta de vídeo existente, un índice USB o una URL RTSP; no permite subir archivos. Se verificaron la inferencia y la previsualización con archivos; USB/RTSP requieren pruebas con tus cámaras. El panel es para un solo operador, sin autenticación, en una LAN de confianza.

Para analizar sin el panel:

bash
bash run.sh video

Los resultados se guardan en outputs/demo: annotated.mp4, events.csv, summary.json y frame-trace.jsonl. Añade --source /path/to/video.mp4 para otro vídeo. Los eventos registran los ID de la pareja, tiempos de inicio y fin, duración y nivel máximo. El modo de zonas deja la distancia métrica vacía, en lugar de presentar metros sin calibrar. bash run.sh check comprueba dependencias y hashes de modelos; bash run.sh --help enumera los comandos disponibles.

Rendimiento de la NPU RK3576

La ejecución final de INT8 por CLI procesó los 240 fotogramas sin transmitir el panel:

MediciónResultado
Tiempo total, sin inicialización22.805 s
Rendimiento de la cadena completa10.52 FPS
Mediana de inferencia de la API NPU tras 15 fotogramas de calentamiento25.551 ms
Percentil 95 de inferencia de la API NPU tras el calentamiento31.269 ms

La cadena incluye decodificación, preprocesamiento, inferencia NPU, posprocesamiento CPU, seguimiento, dibujo, registros y grabación MP4. La comprobación posterior de la interfaz web completó 240 fotogramas a unos 9.5 FPS, con previsualización MJPEG y descargas CSV/JSON verificadas. Son ejecuciones individuales de demostración, no garantías de rendimiento sostenido.

Crear el vídeo con zonas luminosas

La vista en directo utiliza contornos ligeros y cuadros de alerta coloreados. El resplandor semitransparente rojo, amarillo y verde se renderiza sin conexión a partir del vídeo original y los registros de la placa:

bash
bash run.sh render outputs/demo

Copia el ejemplo y los resultados de la placa en los directorios correspondientes y utiliza un entorno Bash con Pillow, OpenCV y FFmpeg. Activa primero el entorno Python del equipo de renderizado. El script dibuja los fotogramas y codifica el MP4 H.264. El resultado es de 1920 × 1080 a 24 FPS y conserva los 10 segundos originales. La velocidad de reproducción no implica inferencia en directo a 24 FPS en la placa.

Validación y límites

Pasaron ocho comprobaciones de regresión: exclusión del conductor, decodificación DFL, preprocesamiento, detecciones y registros vacíos, tiempos, entradas no válidas, alertas rojas en los acercamientos e histéresis. Para ejecutarlas:

bash
bash run.sh test

El modelo se entrenó con 24 fotogramas etiquetados del mismo vídeo. También se utilizan fotogramas del ejemplo para calibrar INT8, por lo que el clip verifica el funcionamiento de la cadena y no constituye una evaluación independiente de precisión. Nuevos ángulos, oclusiones, cargas y posturas del conductor requieren validación adicional. Las zonas son una regla visual de proximidad, no un sistema de predicción de colisiones con certificación de seguridad.