inteintegrity2026-11-14

Magazijnveiligheid met YOLO11 op de reComputer RK3576

Detecteer heftrucks en voetgangers met YOLO11 en ByteTrack op de RK3576-NPU. Met een lokale webinterface, rode gevarenmeldingen en RKNN-modellen.

CVWarehouse SafetyreComputer RKGitHub
Demonstratie van veiligheidsbewaking voor heftrucks en voetgangers op de reComputer RK3576

In magazijngangen waar heftrucks en voetgangers samen bewegen, is het herkennen van een dichte nadering een belangrijk onderdeel van veiligheidsbewaking. Dit project combineert voertuigdetectie, het volgen van personen en zonewaarschuwingen in een lokale webinterface. Zo ziet de gebruiker wie een heftruck nadert en welke risicostatus geldt.

Het project draait een voor magazijnen getraind YOLO11n-model op de NPU van de reComputer RK3576 en volgt heftrucks en personen met ByteTrack. Wanneer een voetganger de geprojecteerde voertuigzones nadert, verschijnt CAUTION; bij het betreden van de binnenste zone volgt rood DANGER. Het browserdashboard toont geannoteerde beelden, actuele risicoparen en downloadbare gebeurtenissen. Inferentie en analyse vinden lokaal op het board plaats.

Broncode: rk3576-warehouse-safety-monitor

Veiligheidsfuncties voor heftrucks en voetgangers

FunctieGedrag
Heftruck- en persoonsdetectieEen YOLO11n-model met twee klassen draait op de RK3576-NPU.
Vaste identiteitenByteTrack kent ID’s toe die over meerdere frames behouden blijven.
Bestuurder uitsluitenEen regel op basis van detectiekaders sluit de bestuurder uit van risicoparen met voetgangers.
Oplopende waarschuwingenGroen, geel CAUTION en rood DANGER tonen de nabijheid van de geprojecteerde zones.
Lokale webinterfaceToont geannoteerde beelden, actuele paren en afgeronde gebeurtenissen.
Resultaten exporterenSlaat geannoteerde MP4, gebeurtenis-CSV, JSON-samenvatting en framegegevens op.
PresentatievideoVoegt op een desktop halfdoorzichtige lichtgevende vloerzones toe aan opgenomen inferentieresultaten.

De voorbeeldvideo duurt 10 seconden, met 1280 × 720 pixels en 24 FPS. De dichte naderingen rond seconde 5 en 8 activeren rode gevarenmeldingen. De bestuurder krijgt afzonderlijk het label OPERATOR.

Werking

text
Video file / USB camera / RTSP
  → resize and letterbox to 640 × 640 RGB
  → YOLO11n RKNN inference on the RK3576 NPU
  → CPU detection decoding and NMS
  → CPU ByteTrack tracking
  → operator exclusion and pairwise zone analysis
  → Web UI, annotated video, and event logs

YOLO11n detecteert heftrucks en personen; ByteTrack behoudt hun identiteit tussen frames. Het systeem koppelt elke heftruck aan nabije voetgangers buiten het voertuig, werkt meldingen bij op basis van hun positie ten opzichte van de zones en registreert doorlopende waarschuwingen als exporteerbare gebeurtenissen. Detectie draait op de NPU; volgen, waarschuwingslogica, tekenen en opnemen draaien op de CPU.

Hoe nabijheidswaarschuwingen werken

Het systeem maakt geprojecteerde zones in de beeldruimte rond het detectiekader van de heftruck en controleert voortdurend de positie van iedere voetganger. Het punt op de onderrand van het persoonskader dat het dichtst bij het heftruckcentrum ligt, bepaalt of een waarschuwing of gevarenmelding wordt geactiveerd.

Bij het naderen van de waarschuwingszone verschijnt geel CAUTION. Het betreden van de binnenste gevarenzone activeert rood DANGER. De zones tonen nabijheid in het beeld en geven geen ongekalibreerde afstanden in meters weer.

Betekenis van de kleuren

StatusWeergaveActivering
BewakingGroen persoonskaderBuiten de waarschuwingszone.
CAUTIONGeel kader en waarschuwingstekstDicht bij de geprojecteerde voertuigzone.
DANGERRood kader, gevaartekst en rode beeldrand in de presentatievideoBetreedt de binnenste zone.

De ellips is gecentreerd op het midden van de onderrand van het heftruckkader. De horizontale basisstraal is 2.4 keer de kaderbreedte, de verticale 0.4 keer de hoogte. In genormaliseerde ellipscoördinaten begint gevaar bij straal 0.85 en voorzichtigheid bij 1.05. Gevaar wordt opgeheven voorbij 0.93 en voorzichtigheid voorbij 1.20, om wisselingen vlak bij de grens te beperken. De buitenste groene ring heeft straal 1.35.

Dit zijn instelbare beeldregio’s, geen gemeten vloerafstanden of werkelijke afmetingen van de vorken en lading.

Het project bevat models/warehouse_yolo11_rk3576_int8.rknn en models/warehouse_yolo11_rk3576_fp16.rknn, met controlesommen in models/manifest.json. De klassevolgorde is 0: forklift, 1: person. Een standaard COCO-detector kan ze niet vervangen, omdat COCO geen heftruckklasse heeft.

Uitvoeren op de reComputer RK3576

Gebruik ARM64-Linux met Python 3.11 en een werkend RK3576-NPU-stuurprogramma en Runtime. Kloon het project, bereid de omgeving voor en start het dashboard:

bash
git clone https://github.com/inteintegrity/rk3576-warehouse-safety-monitor.git
cd rk3576-warehouse-safety-monitor
bash run.sh setup
bash run.sh web

Open http://<board-ip>:8088 op een computer in hetzelfde vertrouwde LAN. Vervang <board-ip> door het adres van het board.

  1. Laat data/test_clip_nearmiss.mp4 staan als bron voor het voorbeeld.
  2. Kies Start analysis om de beelden en actuele risicoparen te bekijken.
  3. Kies Stop om vroegtijdig te stoppen of wacht tot het voorbeeld klaar is.
  4. Download daarna de geannoteerde MP4, gebeurtenis-CSV of JSON-samenvatting.

Druk in de terminal op Ctrl+C om de server te stoppen. Gebruik bash run.sh web --port 8089 voor een andere poort. Het invoerveld accepteert een bestaand videopad, USB-camera-index of RTSP-URL, maar heeft geen uploadfunctie. Inferentie en voorvertoning met bestanden zijn getest; USB/RTSP moeten nog met uw camera’s worden gecontroleerd. Het dashboard is bedoeld voor één gebruiker, zonder authenticatie, op een vertrouwd LAN.

Analyseren zonder dashboard:

bash
bash run.sh video

Resultaten staan onder outputs/demo: annotated.mp4, events.csv, summary.json en frame-trace.jsonl. Voeg --source /path/to/video.mp4 toe voor een andere video. Gebeurtenissen bevatten de gekoppelde ID’s, begin- en eindtijd, duur en hoogste waarschuwingsniveau. In de beeldzonemodus blijft de metrische afstand leeg in plaats van ongekalibreerde meters te tonen. bash run.sh check controleert afhankelijkheden en modelhashes; bash run.sh --help toont de beschikbare opdrachten.

Prestaties van de RK3576-NPU

De laatste INT8-CLI-uitvoering verwerkte alle 240 frames zonder dashboardstream:

MetingResultaat
Totale verwerkingstijd zonder initialisatie22.805 s
Doorvoer van de volledige keten10.52 FPS
Mediaan van NPU-API-inferentie na 15 opwarmframes25.551 ms
95e percentiel van NPU-API-inferentie na opwarmen31.269 ms

De doorvoer omvat decoderen, voorbewerking, NPU-inferentie, CPU-nabewerking, volgen, tekenen, framegegevens en MP4-opname. De latere webinterfacetest verwerkte 240 frames met ongeveer 9.5 FPS; MJPEG-voorvertoning en CSV/JSON-downloads zijn ook gecontroleerd. Dit zijn afzonderlijke demometingen, geen garanties voor langdurige prestaties.

Een presentatievideo met lichtgevende zones maken

De liveweergave op het board gebruikt eenvoudige zonecontouren en gekleurde waarschuwingskaders. De halfdoorzichtige rode, gele en groene gloed wordt offline gerenderd uit de bronvideo en framegegevens van het board:

bash
bash run.sh render outputs/demo

Kopieer de voorbeeldvideo en boardresultaten naar de bijbehorende projectmappen en gebruik een Bash-omgeving met Pillow, OpenCV en FFmpeg. Activeer eerst de Python-omgeving van de rendercomputer. Het script rendert de frames en codeert H.264-MP4. De uitvoer is 1920 × 1080 bij 24 FPS en behoudt de oorspronkelijke tijdlijn van 10 seconden. De afspeelsnelheid betekent niet dat de volledige inferentie live met 24 FPS op het board draait.

Validatie en beperkingen

Acht regressiecontroles zijn geslaagd: uitsluiting van de bestuurder, DFL-decodering, voorbewerking, lege detecties en logboeken, tijdverwerking, ongeldige invoer, rode meldingen bij dichte naderingen en hysterese. Voer ze uit met:

bash
bash run.sh test

Het model is getraind met 24 gelabelde frames uit dezelfde voorbeeldvideo. Ook de INT8-kalibratie gebruikt voorbeeldframes; de clip controleert dus de verwerkingsketen en is geen onafhankelijke nauwkeurigheidsmeting. Nieuwe camerahoeken, afscherming, ladingsvormen en houdingen van de bestuurder vragen aanvullende validatie. De zones zijn een visuele nabijheidsregel, geen veiligheidstechnisch gecertificeerd botsingsvoorspellingssysteem.