inteintegrity2026-11-14

Sécurité des entrepôts avec YOLO11 sur reComputer RK3576

Détectez chariots élévateurs et piétons avec YOLO11 et ByteTrack sur la NPU du reComputer RK3576. Interface web locale, alertes de danger et modèles RKNN inclus.

CVWarehouse SafetyreComputer RKGitHub
Démonstration de surveillance des chariots élévateurs et piétons sur reComputer RK3576

Dans les allées où circulent chariots élévateurs et piétons, repérer un rapprochement est une composante importante de la surveillance de sécurité. Ce projet réunit détection des véhicules, suivi des personnes et alertes par zones dans une interface web locale, pour montrer qui s’approche d’un chariot et le niveau de risque actuel.

Le projet exécute un modèle YOLO11n entraîné pour les entrepôts sur la NPU du reComputer RK3576 et suit les chariots et les personnes avec ByteTrack. Lorsqu’un piéton s’approche des zones projetées du véhicule, l’interface affiche CAUTION, puis DANGER en rouge s’il entre dans la zone intérieure. Le tableau de bord présente le flux annoté, les paires à risque et les événements téléchargeables. L’inférence et l’analyse s’effectuent localement sur la carte.

Code source : rk3576-warehouse-safety-monitor

Fonctions de sécurité pour chariots et piétons

FonctionComportement
Détection des chariots et des personnesUn modèle YOLO11n à deux classes s’exécute sur la NPU RK3576.
Identités persistantesByteTrack attribue des identifiants conservés entre les images.
Exclusion du conducteurUne règle fondée sur les boîtes de détection exclut le conducteur des paires de risque piéton.
Alertes graduéesVert, CAUTION jaune et DANGER rouge indiquent la proximité des zones projetées.
Interface web localeAffiche le flux annoté, les paires actuelles et les événements terminés.
Export des résultatsEnregistre MP4 annoté, CSV d’événements, résumé JSON et traces par image.
Vidéo de présentationAjoute sur ordinateur des zones lumineuses translucides au sol aux résultats enregistrés.

L’exemple est une vidéo de 10 secondes en 1280 × 720 à 24 FPS. Les rapprochements vers 5 et 8 secondes déclenchent des alertes rouges. Le conducteur est identifié séparément par OPERATOR.

Fonctionnement

text
Video file / USB camera / RTSP
  → resize and letterbox to 640 × 640 RGB
  → YOLO11n RKNN inference on the RK3576 NPU
  → CPU detection decoding and NMS
  → CPU ByteTrack tracking
  → operator exclusion and pairwise zone analysis
  → Web UI, annotated video, and event logs

YOLO11n détecte les chariots et les personnes, tandis que ByteTrack maintient leurs identités entre les images. Le système associe chaque chariot aux piétons proches à l’extérieur du véhicule, actualise les alertes selon leur position par rapport aux zones et enregistre les alertes continues sous forme d’événements exportables. La détection utilise la NPU ; le suivi, les décisions d’alerte, le dessin et l’enregistrement utilisent le CPU.

Déclenchement des alertes de proximité

Le système construit des zones projetées dans l’espace de l’image autour de la boîte du chariot et vérifie en continu la position de chaque piéton. Le point du bord inférieur de sa boîte le plus proche du centre du chariot détermine le déclenchement d’un avertissement ou d’une alerte de danger.

L’approche de la zone d’avertissement affiche CAUTION en jaune. L’entrée dans la zone intérieure affiche DANGER en rouge. Les zones représentent une proximité dans l’image ; elles n’affichent pas de distances non étalonnées en mètres.

Signification des couleurs

ÉtatAffichageDéclenchement
SurveillanceBoîte verte autour du piétonHors de la zone d’avertissement.
CAUTIONBoîte jaune et message de prudenceÀ proximité de la zone projetée du véhicule.
DANGERBoîte rouge, message de danger et bordure rouge dans la vidéo de présentationEntrée dans la zone intérieure.

L’ellipse est centrée au milieu du bord inférieur de la boîte du chariot. Son rayon horizontal de base vaut 2.4 fois la largeur et son rayon vertical 0.4 fois la hauteur. En coordonnées normalisées, le danger commence au rayon 0.85 et l’avertissement à 1.05. Ils s’effacent au-delà de 0.93 et 1.20 respectivement, pour limiter les changements rapides près des limites. L’anneau vert extérieur a un rayon de 1.35.

Ces réglages définissent des régions d’image configurables, pas des distances mesurées au sol ni les dimensions réelles des fourches et de la charge.

Le projet comprend models/warehouse_yolo11_rk3576_int8.rknn et models/warehouse_yolo11_rk3576_fp16.rknn, avec leurs sommes de contrôle dans models/manifest.json. L’ordre des classes est 0: forklift, 1: person. Un détecteur COCO standard ne peut pas les remplacer, car COCO ne comporte pas de classe de chariot élévateur.

Exécuter sur reComputer RK3576

Utilisez Linux ARM64 avec Python 3.11 et un pilote ainsi qu’un Runtime NPU RK3576 fonctionnels. Clonez le projet, préparez l’environnement et lancez le tableau de bord :

bash
git clone https://github.com/inteintegrity/rk3576-warehouse-safety-monitor.git
cd rk3576-warehouse-safety-monitor
bash run.sh setup
bash run.sh web

Depuis un ordinateur du même réseau local de confiance, ouvrez http://<board-ip>:8088 en remplaçant <board-ip> par l’adresse de la carte.

  1. Conservez data/test_clip_nearmiss.mp4 comme source pour l’exemple.
  2. Sélectionnez Start analysis pour observer le flux et les paires à risque.
  3. Sélectionnez Stop pour interrompre l’analyse ou attendez la fin de l’exemple.
  4. Téléchargez ensuite le MP4 annoté, le CSV d’événements ou le résumé JSON.

Appuyez sur Ctrl+C dans le terminal pour arrêter le serveur. Pour changer de port, utilisez bash run.sh web --port 8089. Le champ accepte un chemin vidéo existant, un indice de caméra USB ou une URL RTSP, sans commande de téléversement. L’inférence et l’aperçu sur fichier ont été vérifiés ; USB/RTSP nécessitent des essais avec vos caméras. Le tableau de bord est destiné à un seul opérateur, sans authentification, sur un réseau local de confiance.

Pour analyser sans tableau de bord :

bash
bash run.sh video

Les résultats sont enregistrés dans outputs/demo : annotated.mp4, events.csv, summary.json et frame-trace.jsonl. Ajoutez --source /path/to/video.mp4 pour une autre vidéo. Les événements indiquent les identifiants associés, les heures de début et de fin, la durée et le niveau maximal. Le mode par zones laisse la distance métrique vide plutôt que d’afficher des mètres non étalonnés. bash run.sh check vérifie dépendances et empreintes des modèles ; bash run.sh --help liste les commandes.

Performances de la NPU RK3576

L’exécution finale INT8 en ligne de commande a traité les 240 images sans diffusion du tableau de bord :

MesureRésultat
Durée totale hors initialisation22.805 s
Débit de la chaîne complète10.52 FPS
Médiane d’inférence de l’API NPU après 15 images de préchauffage25.551 ms
95e percentile d’inférence de l’API NPU après préchauffage31.269 ms

Le débit inclut décodage, prétraitement, inférence NPU, post-traitement CPU, suivi, dessin, traces et enregistrement MP4. La vérification ultérieure de l’interface web a terminé les 240 images à environ 9.5 FPS, avec aperçu MJPEG et téléchargements CSV/JSON vérifiés. Il s’agit de mesures de démonstration ponctuelles, pas de garanties de performances soutenues.

Créer la vidéo avec zones lumineuses

La vue en direct utilise des contours légers et des boîtes d’alerte colorées. Le halo rouge, jaune et vert translucide est rendu hors ligne à partir de la vidéo d’origine et des traces par image de la carte :

bash
bash run.sh render outputs/demo

Copiez l’exemple et les résultats dans les répertoires correspondants du projet, puis utilisez un environnement Bash avec Pillow, OpenCV et FFmpeg. Activez d’abord l’environnement Python de la machine de rendu. Le script réalise le rendu des images et l’encodage MP4 H.264. La vidéo exportée est en 1920 × 1080 à 24 FPS et conserve les 10 secondes de la source. Sa cadence de lecture ne signifie pas que l’inférence complète s’exécute en direct à 24 FPS sur la carte.

Validation et limites

Huit contrôles de régression ont réussi : exclusion du conducteur, décodage DFL, prétraitement, détections et journaux vides, horodatage, entrées invalides, alertes rouges lors des rapprochements et hystérésis. Pour les exécuter :

bash
bash run.sh test

Le modèle a été entraîné avec 24 images annotées du même exemple vidéo. Des images de cet exemple servent aussi à l’étalonnage INT8 : le clip valide donc la chaîne, pas une précision de détection indépendante. De nouveaux angles, occultations, chargements et postures du conducteur nécessitent des validations supplémentaires. Les zones constituent une règle visuelle de proximité, pas un système de prédiction de collision certifié pour la sécurité.