Dans les allées où circulent chariots élévateurs et piétons, repérer un rapprochement est une composante importante de la surveillance de sécurité. Ce projet réunit détection des véhicules, suivi des personnes et alertes par zones dans une interface web locale, pour montrer qui s’approche d’un chariot et le niveau de risque actuel.
Le projet exécute un modèle YOLO11n entraîné pour les entrepôts sur la NPU du reComputer RK3576 et suit les chariots et les personnes avec ByteTrack. Lorsqu’un piéton s’approche des zones projetées du véhicule, l’interface affiche CAUTION, puis DANGER en rouge s’il entre dans la zone intérieure. Le tableau de bord présente le flux annoté, les paires à risque et les événements téléchargeables. L’inférence et l’analyse s’effectuent localement sur la carte.
Code source : rk3576-warehouse-safety-monitor
Fonctions de sécurité pour chariots et piétons
| Fonction | Comportement |
|---|---|
| Détection des chariots et des personnes | Un modèle YOLO11n à deux classes s’exécute sur la NPU RK3576. |
| Identités persistantes | ByteTrack attribue des identifiants conservés entre les images. |
| Exclusion du conducteur | Une règle fondée sur les boîtes de détection exclut le conducteur des paires de risque piéton. |
| Alertes graduées | Vert, CAUTION jaune et DANGER rouge indiquent la proximité des zones projetées. |
| Interface web locale | Affiche le flux annoté, les paires actuelles et les événements terminés. |
| Export des résultats | Enregistre MP4 annoté, CSV d’événements, résumé JSON et traces par image. |
| Vidéo de présentation | Ajoute sur ordinateur des zones lumineuses translucides au sol aux résultats enregistrés. |
L’exemple est une vidéo de 10 secondes en 1280 × 720 à 24 FPS. Les rapprochements vers 5 et 8 secondes déclenchent des alertes rouges. Le conducteur est identifié séparément par OPERATOR.
Fonctionnement
Video file / USB camera / RTSP
→ resize and letterbox to 640 × 640 RGB
→ YOLO11n RKNN inference on the RK3576 NPU
→ CPU detection decoding and NMS
→ CPU ByteTrack tracking
→ operator exclusion and pairwise zone analysis
→ Web UI, annotated video, and event logsYOLO11n détecte les chariots et les personnes, tandis que ByteTrack maintient leurs identités entre les images. Le système associe chaque chariot aux piétons proches à l’extérieur du véhicule, actualise les alertes selon leur position par rapport aux zones et enregistre les alertes continues sous forme d’événements exportables. La détection utilise la NPU ; le suivi, les décisions d’alerte, le dessin et l’enregistrement utilisent le CPU.
Déclenchement des alertes de proximité
Le système construit des zones projetées dans l’espace de l’image autour de la boîte du chariot et vérifie en continu la position de chaque piéton. Le point du bord inférieur de sa boîte le plus proche du centre du chariot détermine le déclenchement d’un avertissement ou d’une alerte de danger.
L’approche de la zone d’avertissement affiche CAUTION en jaune. L’entrée dans la zone intérieure affiche DANGER en rouge. Les zones représentent une proximité dans l’image ; elles n’affichent pas de distances non étalonnées en mètres.
Signification des couleurs
| État | Affichage | Déclenchement |
|---|---|---|
| Surveillance | Boîte verte autour du piéton | Hors de la zone d’avertissement. |
| CAUTION | Boîte jaune et message de prudence | À proximité de la zone projetée du véhicule. |
| DANGER | Boîte rouge, message de danger et bordure rouge dans la vidéo de présentation | Entrée dans la zone intérieure. |
L’ellipse est centrée au milieu du bord inférieur de la boîte du chariot. Son rayon horizontal de base vaut 2.4 fois la largeur et son rayon vertical 0.4 fois la hauteur. En coordonnées normalisées, le danger commence au rayon 0.85 et l’avertissement à 1.05. Ils s’effacent au-delà de 0.93 et 1.20 respectivement, pour limiter les changements rapides près des limites. L’anneau vert extérieur a un rayon de 1.35.
Ces réglages définissent des régions d’image configurables, pas des distances mesurées au sol ni les dimensions réelles des fourches et de la charge.
Le projet comprend models/warehouse_yolo11_rk3576_int8.rknn et models/warehouse_yolo11_rk3576_fp16.rknn, avec leurs sommes de contrôle dans models/manifest.json. L’ordre des classes est 0: forklift, 1: person. Un détecteur COCO standard ne peut pas les remplacer, car COCO ne comporte pas de classe de chariot élévateur.
Exécuter sur reComputer RK3576
Utilisez Linux ARM64 avec Python 3.11 et un pilote ainsi qu’un Runtime NPU RK3576 fonctionnels. Clonez le projet, préparez l’environnement et lancez le tableau de bord :
git clone https://github.com/inteintegrity/rk3576-warehouse-safety-monitor.git
cd rk3576-warehouse-safety-monitor
bash run.sh setup
bash run.sh webDepuis un ordinateur du même réseau local de confiance, ouvrez http://<board-ip>:8088 en remplaçant <board-ip> par l’adresse de la carte.
- Conservez
data/test_clip_nearmiss.mp4comme source pour l’exemple. - Sélectionnez Start analysis pour observer le flux et les paires à risque.
- Sélectionnez Stop pour interrompre l’analyse ou attendez la fin de l’exemple.
- Téléchargez ensuite le MP4 annoté, le CSV d’événements ou le résumé JSON.
Appuyez sur Ctrl+C dans le terminal pour arrêter le serveur. Pour changer de port, utilisez bash run.sh web --port 8089. Le champ accepte un chemin vidéo existant, un indice de caméra USB ou une URL RTSP, sans commande de téléversement. L’inférence et l’aperçu sur fichier ont été vérifiés ; USB/RTSP nécessitent des essais avec vos caméras. Le tableau de bord est destiné à un seul opérateur, sans authentification, sur un réseau local de confiance.
Pour analyser sans tableau de bord :
bash run.sh videoLes résultats sont enregistrés dans outputs/demo : annotated.mp4, events.csv, summary.json et frame-trace.jsonl. Ajoutez --source /path/to/video.mp4 pour une autre vidéo. Les événements indiquent les identifiants associés, les heures de début et de fin, la durée et le niveau maximal. Le mode par zones laisse la distance métrique vide plutôt que d’afficher des mètres non étalonnés. bash run.sh check vérifie dépendances et empreintes des modèles ; bash run.sh --help liste les commandes.
Performances de la NPU RK3576
L’exécution finale INT8 en ligne de commande a traité les 240 images sans diffusion du tableau de bord :
| Mesure | Résultat |
|---|---|
| Durée totale hors initialisation | 22.805 s |
| Débit de la chaîne complète | 10.52 FPS |
| Médiane d’inférence de l’API NPU après 15 images de préchauffage | 25.551 ms |
| 95e percentile d’inférence de l’API NPU après préchauffage | 31.269 ms |
Le débit inclut décodage, prétraitement, inférence NPU, post-traitement CPU, suivi, dessin, traces et enregistrement MP4. La vérification ultérieure de l’interface web a terminé les 240 images à environ 9.5 FPS, avec aperçu MJPEG et téléchargements CSV/JSON vérifiés. Il s’agit de mesures de démonstration ponctuelles, pas de garanties de performances soutenues.
Créer la vidéo avec zones lumineuses
La vue en direct utilise des contours légers et des boîtes d’alerte colorées. Le halo rouge, jaune et vert translucide est rendu hors ligne à partir de la vidéo d’origine et des traces par image de la carte :
bash run.sh render outputs/demoCopiez l’exemple et les résultats dans les répertoires correspondants du projet, puis utilisez un environnement Bash avec Pillow, OpenCV et FFmpeg. Activez d’abord l’environnement Python de la machine de rendu. Le script réalise le rendu des images et l’encodage MP4 H.264. La vidéo exportée est en 1920 × 1080 à 24 FPS et conserve les 10 secondes de la source. Sa cadence de lecture ne signifie pas que l’inférence complète s’exécute en direct à 24 FPS sur la carte.
Validation et limites
Huit contrôles de régression ont réussi : exclusion du conducteur, décodage DFL, prétraitement, détections et journaux vides, horodatage, entrées invalides, alertes rouges lors des rapprochements et hystérésis. Pour les exécuter :
bash run.sh testLe modèle a été entraîné avec 24 images annotées du même exemple vidéo. Des images de cet exemple servent aussi à l’étalonnage INT8 : le clip valide donc la chaîne, pas une précision de détection indépendante. De nouveaux angles, occultations, chargements et postures du conducteur nécessitent des validations supplémentaires. Les zones constituent une règle visuelle de proximité, pas un système de prédiction de collision certifié pour la sécurité.