En los pasillos compartidos por carretillas elevadoras y peatones, identificar un acercamiento es una parte importante de la supervisión de seguridad. Este proyecto reúne detección de vehículos, seguimiento de personas y alertas por zonas en una interfaz web local, para mostrar quién se acerca a una carretilla y el estado de riesgo actual.
El proyecto ejecuta un modelo YOLO11n entrenado para almacenes en la NPU del reComputer RK3576 y utiliza ByteTrack para seguir carretillas y personas. Cuando un peatón se aproxima a las zonas proyectadas del vehículo, muestra CAUTION y, al entrar en la zona interior, DANGER en rojo. El panel del navegador ofrece vídeo anotado, parejas de riesgo actuales y descarga de eventos. La inferencia y el análisis se realizan localmente en la placa.
Código fuente: rk3576-warehouse-safety-monitor
Funciones de seguridad para carretillas y peatones
| Función | Comportamiento |
|---|---|
| Detección de carretillas y personas | Un modelo YOLO11n de dos clases se ejecuta en la NPU RK3576. |
| Identidades persistentes | ByteTrack asigna identificadores entre fotogramas. |
| Exclusión del conductor | Una regla basada en los cuadros de detección excluye al conductor de las parejas de riesgo con peatones. |
| Alertas graduadas | Verde, CAUTION en amarillo y DANGER en rojo indican la proximidad a las zonas proyectadas. |
| Interfaz web local | Permite ver vídeo anotado, parejas actuales y eventos finalizados. |
| Exportación de resultados | Guarda MP4 anotado, CSV de eventos, JSON de resumen y registros por fotograma. |
| Vídeo de presentación | Añade zonas luminosas semitransparentes sobre el suelo a los resultados grabados, desde un ordenador. |
El ejemplo dura 10 segundos, con resolución de 1280 × 720 y 24 FPS. Los acercamientos alrededor de los segundos 5 y 8 activan alertas rojas. El conductor se identifica por separado como OPERATOR.
Cómo funciona
Video file / USB camera / RTSP
→ resize and letterbox to 640 × 640 RGB
→ YOLO11n RKNN inference on the RK3576 NPU
→ CPU detection decoding and NMS
→ CPU ByteTrack tracking
→ operator exclusion and pairwise zone analysis
→ Web UI, annotated video, and event logsYOLO11n detecta carretillas y personas, mientras ByteTrack mantiene sus identidades entre fotogramas. El sistema empareja cada carretilla con peatones próximos fuera del vehículo, actualiza las alertas según su posición respecto a las zonas y registra las alertas continuas como eventos exportables. La detección utiliza la NPU; el seguimiento, las decisiones de alerta, el dibujo y la grabación utilizan la CPU.
Cómo se activan las alertas de proximidad
El sistema crea zonas proyectadas en el espacio de la imagen alrededor del cuadro de la carretilla y comprueba continuamente la posición de cada peatón. El punto del borde inferior del cuadro del peatón más cercano al centro de la carretilla determina la activación de una advertencia o una alerta de peligro.
Al aproximarse a la zona de advertencia aparece CAUTION en amarillo. Entrar en la zona interior activa DANGER en rojo. Las zonas representan proximidad en la imagen; no muestran distancias en metros sin calibrar.
Significado de los colores
| Estado | Visualización | Activación |
|---|---|---|
| Supervisión | Cuadro verde de la persona | Fuera de la zona de advertencia. |
| CAUTION | Cuadro amarillo y mensaje de precaución | Cerca de la zona proyectada del vehículo. |
| DANGER | Cuadro rojo, mensaje de peligro y borde rojo en el vídeo de presentación | Entrada en la zona interior. |
La elipse se centra en el punto medio inferior del cuadro de la carretilla. Su radio horizontal base equivale a 2.4 veces el ancho y el vertical a 0.4 veces la altura. En coordenadas normalizadas de la elipse, el peligro empieza en el radio 0.85 y la precaución en 1.05. Se desactivan al superar 0.93 y 1.20, respectivamente, para reducir las oscilaciones cerca del límite. El anillo verde exterior tiene radio 1.35.
Son ajustes configurables de regiones de imagen; no describen distancias medidas sobre el suelo ni las dimensiones reales de las horquillas o la carga.
El proyecto incluye models/warehouse_yolo11_rk3576_int8.rknn y models/warehouse_yolo11_rk3576_fp16.rknn, con sumas de comprobación en models/manifest.json. El orden de clases es 0: forklift, 1: person. Un detector COCO estándar no los sustituye, porque COCO no tiene una clase para carretillas elevadoras.
Ejecutar en reComputer RK3576
Utiliza Linux ARM64 con Python 3.11 y un controlador y Runtime de NPU RK3576 funcionales. Clona el proyecto, prepara el entorno e inicia el panel:
git clone https://github.com/inteintegrity/rk3576-warehouse-safety-monitor.git
cd rk3576-warehouse-safety-monitor
bash run.sh setup
bash run.sh webAbre http://<board-ip>:8088 desde un ordenador de la misma LAN de confianza, sustituyendo <board-ip> por la dirección de la placa.
- Mantén
data/test_clip_nearmiss.mp4como origen del ejemplo. - Selecciona Start analysis para ver el vídeo y las parejas de riesgo.
- Selecciona Stop para terminar antes, o espera a que finalice el ejemplo.
- Descarga el MP4 anotado, el CSV de eventos o el JSON de resumen al finalizar.
Pulsa Ctrl+C en la terminal para detener el servidor. Para cambiar de puerto, utiliza bash run.sh web --port 8089. El campo de entrada acepta una ruta de vídeo existente, un índice USB o una URL RTSP; no permite subir archivos. Se verificaron la inferencia y la previsualización con archivos; USB/RTSP requieren pruebas con tus cámaras. El panel es para un solo operador, sin autenticación, en una LAN de confianza.
Para analizar sin el panel:
bash run.sh videoLos resultados se guardan en outputs/demo: annotated.mp4, events.csv, summary.json y frame-trace.jsonl. Añade --source /path/to/video.mp4 para otro vídeo. Los eventos registran los ID de la pareja, tiempos de inicio y fin, duración y nivel máximo. El modo de zonas deja la distancia métrica vacía, en lugar de presentar metros sin calibrar. bash run.sh check comprueba dependencias y hashes de modelos; bash run.sh --help enumera los comandos disponibles.
Rendimiento de la NPU RK3576
La ejecución final de INT8 por CLI procesó los 240 fotogramas sin transmitir el panel:
| Medición | Resultado |
|---|---|
| Tiempo total, sin inicialización | 22.805 s |
| Rendimiento de la cadena completa | 10.52 FPS |
| Mediana de inferencia de la API NPU tras 15 fotogramas de calentamiento | 25.551 ms |
| Percentil 95 de inferencia de la API NPU tras el calentamiento | 31.269 ms |
La cadena incluye decodificación, preprocesamiento, inferencia NPU, posprocesamiento CPU, seguimiento, dibujo, registros y grabación MP4. La comprobación posterior de la interfaz web completó 240 fotogramas a unos 9.5 FPS, con previsualización MJPEG y descargas CSV/JSON verificadas. Son ejecuciones individuales de demostración, no garantías de rendimiento sostenido.
Crear el vídeo con zonas luminosas
La vista en directo utiliza contornos ligeros y cuadros de alerta coloreados. El resplandor semitransparente rojo, amarillo y verde se renderiza sin conexión a partir del vídeo original y los registros de la placa:
bash run.sh render outputs/demoCopia el ejemplo y los resultados de la placa en los directorios correspondientes y utiliza un entorno Bash con Pillow, OpenCV y FFmpeg. Activa primero el entorno Python del equipo de renderizado. El script dibuja los fotogramas y codifica el MP4 H.264. El resultado es de 1920 × 1080 a 24 FPS y conserva los 10 segundos originales. La velocidad de reproducción no implica inferencia en directo a 24 FPS en la placa.
Validación y límites
Pasaron ocho comprobaciones de regresión: exclusión del conductor, decodificación DFL, preprocesamiento, detecciones y registros vacíos, tiempos, entradas no válidas, alertas rojas en los acercamientos e histéresis. Para ejecutarlas:
bash run.sh testEl modelo se entrenó con 24 fotogramas etiquetados del mismo vídeo. También se utilizan fotogramas del ejemplo para calibrar INT8, por lo que el clip verifica el funcionamiento de la cadena y no constituye una evaluación independiente de precisión. Nuevos ángulos, oclusiones, cargas y posturas del conductor requieren validación adicional. Las zonas son una regla visual de proximidad, no un sistema de predicción de colisiones con certificación de seguridad.