In magazijngangen waar heftrucks en voetgangers samen bewegen, is het herkennen van een dichte nadering een belangrijk onderdeel van veiligheidsbewaking. Dit project combineert voertuigdetectie, het volgen van personen en zonewaarschuwingen in een lokale webinterface. Zo ziet de gebruiker wie een heftruck nadert en welke risicostatus geldt.
Het project draait een voor magazijnen getraind YOLO11n-model op de NPU van de reComputer RK3576 en volgt heftrucks en personen met ByteTrack. Wanneer een voetganger de geprojecteerde voertuigzones nadert, verschijnt CAUTION; bij het betreden van de binnenste zone volgt rood DANGER. Het browserdashboard toont geannoteerde beelden, actuele risicoparen en downloadbare gebeurtenissen. Inferentie en analyse vinden lokaal op het board plaats.
Broncode: rk3576-warehouse-safety-monitor
Veiligheidsfuncties voor heftrucks en voetgangers
| Functie | Gedrag |
|---|---|
| Heftruck- en persoonsdetectie | Een YOLO11n-model met twee klassen draait op de RK3576-NPU. |
| Vaste identiteiten | ByteTrack kent ID’s toe die over meerdere frames behouden blijven. |
| Bestuurder uitsluiten | Een regel op basis van detectiekaders sluit de bestuurder uit van risicoparen met voetgangers. |
| Oplopende waarschuwingen | Groen, geel CAUTION en rood DANGER tonen de nabijheid van de geprojecteerde zones. |
| Lokale webinterface | Toont geannoteerde beelden, actuele paren en afgeronde gebeurtenissen. |
| Resultaten exporteren | Slaat geannoteerde MP4, gebeurtenis-CSV, JSON-samenvatting en framegegevens op. |
| Presentatievideo | Voegt op een desktop halfdoorzichtige lichtgevende vloerzones toe aan opgenomen inferentieresultaten. |
De voorbeeldvideo duurt 10 seconden, met 1280 × 720 pixels en 24 FPS. De dichte naderingen rond seconde 5 en 8 activeren rode gevarenmeldingen. De bestuurder krijgt afzonderlijk het label OPERATOR.
Werking
Video file / USB camera / RTSP
→ resize and letterbox to 640 × 640 RGB
→ YOLO11n RKNN inference on the RK3576 NPU
→ CPU detection decoding and NMS
→ CPU ByteTrack tracking
→ operator exclusion and pairwise zone analysis
→ Web UI, annotated video, and event logsYOLO11n detecteert heftrucks en personen; ByteTrack behoudt hun identiteit tussen frames. Het systeem koppelt elke heftruck aan nabije voetgangers buiten het voertuig, werkt meldingen bij op basis van hun positie ten opzichte van de zones en registreert doorlopende waarschuwingen als exporteerbare gebeurtenissen. Detectie draait op de NPU; volgen, waarschuwingslogica, tekenen en opnemen draaien op de CPU.
Hoe nabijheidswaarschuwingen werken
Het systeem maakt geprojecteerde zones in de beeldruimte rond het detectiekader van de heftruck en controleert voortdurend de positie van iedere voetganger. Het punt op de onderrand van het persoonskader dat het dichtst bij het heftruckcentrum ligt, bepaalt of een waarschuwing of gevarenmelding wordt geactiveerd.
Bij het naderen van de waarschuwingszone verschijnt geel CAUTION. Het betreden van de binnenste gevarenzone activeert rood DANGER. De zones tonen nabijheid in het beeld en geven geen ongekalibreerde afstanden in meters weer.
Betekenis van de kleuren
| Status | Weergave | Activering |
|---|---|---|
| Bewaking | Groen persoonskader | Buiten de waarschuwingszone. |
| CAUTION | Geel kader en waarschuwingstekst | Dicht bij de geprojecteerde voertuigzone. |
| DANGER | Rood kader, gevaartekst en rode beeldrand in de presentatievideo | Betreedt de binnenste zone. |
De ellips is gecentreerd op het midden van de onderrand van het heftruckkader. De horizontale basisstraal is 2.4 keer de kaderbreedte, de verticale 0.4 keer de hoogte. In genormaliseerde ellipscoördinaten begint gevaar bij straal 0.85 en voorzichtigheid bij 1.05. Gevaar wordt opgeheven voorbij 0.93 en voorzichtigheid voorbij 1.20, om wisselingen vlak bij de grens te beperken. De buitenste groene ring heeft straal 1.35.
Dit zijn instelbare beeldregio’s, geen gemeten vloerafstanden of werkelijke afmetingen van de vorken en lading.
Het project bevat models/warehouse_yolo11_rk3576_int8.rknn en models/warehouse_yolo11_rk3576_fp16.rknn, met controlesommen in models/manifest.json. De klassevolgorde is 0: forklift, 1: person. Een standaard COCO-detector kan ze niet vervangen, omdat COCO geen heftruckklasse heeft.
Uitvoeren op de reComputer RK3576
Gebruik ARM64-Linux met Python 3.11 en een werkend RK3576-NPU-stuurprogramma en Runtime. Kloon het project, bereid de omgeving voor en start het dashboard:
git clone https://github.com/inteintegrity/rk3576-warehouse-safety-monitor.git
cd rk3576-warehouse-safety-monitor
bash run.sh setup
bash run.sh webOpen http://<board-ip>:8088 op een computer in hetzelfde vertrouwde LAN. Vervang <board-ip> door het adres van het board.
- Laat
data/test_clip_nearmiss.mp4staan als bron voor het voorbeeld. - Kies Start analysis om de beelden en actuele risicoparen te bekijken.
- Kies Stop om vroegtijdig te stoppen of wacht tot het voorbeeld klaar is.
- Download daarna de geannoteerde MP4, gebeurtenis-CSV of JSON-samenvatting.
Druk in de terminal op Ctrl+C om de server te stoppen. Gebruik bash run.sh web --port 8089 voor een andere poort. Het invoerveld accepteert een bestaand videopad, USB-camera-index of RTSP-URL, maar heeft geen uploadfunctie. Inferentie en voorvertoning met bestanden zijn getest; USB/RTSP moeten nog met uw camera’s worden gecontroleerd. Het dashboard is bedoeld voor één gebruiker, zonder authenticatie, op een vertrouwd LAN.
Analyseren zonder dashboard:
bash run.sh videoResultaten staan onder outputs/demo: annotated.mp4, events.csv, summary.json en frame-trace.jsonl. Voeg --source /path/to/video.mp4 toe voor een andere video. Gebeurtenissen bevatten de gekoppelde ID’s, begin- en eindtijd, duur en hoogste waarschuwingsniveau. In de beeldzonemodus blijft de metrische afstand leeg in plaats van ongekalibreerde meters te tonen. bash run.sh check controleert afhankelijkheden en modelhashes; bash run.sh --help toont de beschikbare opdrachten.
Prestaties van de RK3576-NPU
De laatste INT8-CLI-uitvoering verwerkte alle 240 frames zonder dashboardstream:
| Meting | Resultaat |
|---|---|
| Totale verwerkingstijd zonder initialisatie | 22.805 s |
| Doorvoer van de volledige keten | 10.52 FPS |
| Mediaan van NPU-API-inferentie na 15 opwarmframes | 25.551 ms |
| 95e percentiel van NPU-API-inferentie na opwarmen | 31.269 ms |
De doorvoer omvat decoderen, voorbewerking, NPU-inferentie, CPU-nabewerking, volgen, tekenen, framegegevens en MP4-opname. De latere webinterfacetest verwerkte 240 frames met ongeveer 9.5 FPS; MJPEG-voorvertoning en CSV/JSON-downloads zijn ook gecontroleerd. Dit zijn afzonderlijke demometingen, geen garanties voor langdurige prestaties.
Een presentatievideo met lichtgevende zones maken
De liveweergave op het board gebruikt eenvoudige zonecontouren en gekleurde waarschuwingskaders. De halfdoorzichtige rode, gele en groene gloed wordt offline gerenderd uit de bronvideo en framegegevens van het board:
bash run.sh render outputs/demoKopieer de voorbeeldvideo en boardresultaten naar de bijbehorende projectmappen en gebruik een Bash-omgeving met Pillow, OpenCV en FFmpeg. Activeer eerst de Python-omgeving van de rendercomputer. Het script rendert de frames en codeert H.264-MP4. De uitvoer is 1920 × 1080 bij 24 FPS en behoudt de oorspronkelijke tijdlijn van 10 seconden. De afspeelsnelheid betekent niet dat de volledige inferentie live met 24 FPS op het board draait.
Validatie en beperkingen
Acht regressiecontroles zijn geslaagd: uitsluiting van de bestuurder, DFL-decodering, voorbewerking, lege detecties en logboeken, tijdverwerking, ongeldige invoer, rode meldingen bij dichte naderingen en hysterese. Voer ze uit met:
bash run.sh testHet model is getraind met 24 gelabelde frames uit dezelfde voorbeeldvideo. Ook de INT8-kalibratie gebruikt voorbeeldframes; de clip controleert dus de verwerkingsketen en is geen onafhankelijke nauwkeurigheidsmeting. Nieuwe camerahoeken, afscherming, ladingsvormen en houdingen van de bestuurder vragen aanvullende validatie. De zones zijn een visuele nabijheidsregel, geen veiligheidstechnisch gecertificeerd botsingsvoorspellingssysteem.