In Lagergängen, die Gabelstapler und Fußgänger gemeinsam nutzen, gehört das Erkennen einer Annäherung zur Sicherheitsüberwachung. Dieses Projekt verbindet Fahrzeugerkennung, Personenverfolgung und Zonenwarnungen in einer lokalen Weboberfläche. Sie zeigt, wer sich einem Stapler nähert und welcher Risikostatus aktuell vorliegt.
Ein für Lagerumgebungen trainiertes YOLO11n-Modell läuft auf der NPU des reComputer RK3576. ByteTrack verfolgt Stapler und Personen. Nähert sich ein Fußgänger den projizierten Fahrzeugzonen, erscheint CAUTION; beim Eintritt in die innere Zone folgt DANGER in Rot. Das Browser-Dashboard bietet ein annotiertes Videobild, aktuelle Risikopaare und herunterladbare Ereignisse. Inferenz und Auswertung erfolgen lokal auf dem Board.
Quellcode: rk3576-warehouse-safety-monitor
Sicherheitsfunktionen für Gabelstapler und Fußgänger
| Funktion | Verhalten |
|---|---|
| Stapler- und Personenerkennung | Ein YOLO11n-Modell mit zwei Klassen läuft auf der RK3576-NPU. |
| Beständige Identitäten | ByteTrack vergibt IDs über mehrere Frames hinweg. |
| Fahrerausschluss | Eine Regel anhand der Erkennungsrahmen nimmt den Fahrer aus den Fußgänger-Risikopaaren heraus. |
| Abgestufte Warnungen | Grün, gelbes CAUTION und rotes DANGER kennzeichnen die Nähe zu den projizierten Zonen. |
| Lokale Weboberfläche | Zeigt annotierte Bilder, aktuelle Paare und abgeschlossene Ereignisse. |
| Ergebnisausgabe | Speichert annotiertes MP4, Ereignis-CSV, JSON-Zusammenfassung und Frame-Protokolle. |
| Präsentationsvideo | Ergänzt aufgezeichnete Inferenzergebnisse am Desktop um halbtransparente leuchtende Bodenzonen. |
Das Beispielvideo dauert 10 Sekunden bei 1280 × 720 und 24 FPS. Die Annäherungen um Sekunde 5 und 8 lösen rote Gefahrenwarnungen aus. Der Fahrer wird getrennt als OPERATOR gekennzeichnet.
Funktionsweise
Video file / USB camera / RTSP
→ resize and letterbox to 640 × 640 RGB
→ YOLO11n RKNN inference on the RK3576 NPU
→ CPU detection decoding and NMS
→ CPU ByteTrack tracking
→ operator exclusion and pairwise zone analysis
→ Web UI, annotated video, and event logsYOLO11n erkennt Stapler und Personen, während ByteTrack ihre Identitäten zwischen den Frames erhält. Das System bildet Paare aus jedem Stapler und nahen Fußgängern außerhalb des Fahrzeugs. Es aktualisiert Warnungen anhand der Position zu den Zonen und protokolliert zusammenhängende Warnungen als exportierbare Ereignisse. Die Erkennung läuft auf der NPU; Tracking, Warnlogik, Zeichnen und Aufzeichnen laufen auf der CPU.
So werden Annäherungswarnungen ausgelöst
Das System legt projizierte Zonen im Bildraum um den Erkennungsrahmen des Staplers und prüft kontinuierlich die Position jedes Fußgängers. Maßgeblich ist der Punkt auf der Unterkante des Personenrahmens, der dem Staplerzentrum am nächsten liegt.
Die Annäherung an den Warnbereich zeigt gelbes CAUTION. Beim Eintritt in den inneren Gefahrenbereich erscheint rotes DANGER. Die Zonen stellen Nähe im Bild dar und geben keine unkalibrierten Entfernungen in Metern aus.
Bedeutung der Farben
| Zustand | Anzeige | Auslöser |
|---|---|---|
| Überwachung | Grüner Personenrahmen | Außerhalb des Warnbereichs. |
| CAUTION | Gelber Rahmen und Warntext | Nahe an der projizierten Fahrzeugzone. |
| DANGER | Roter Rahmen, Gefahrentext und roter Bildrand im Präsentationsvideo | Eintritt in die innere Zone. |
Das Ellipsenzentrum liegt in der Mitte der Unterkante des Staplerrahmens. Der horizontale Basisradius beträgt das 2.4-Fache der Rahmenbreite, der vertikale das 0.4-Fache der Höhe. In normierten Ellipsenkoordinaten beginnt Gefahr bei Radius 0.85 und Vorsicht bei 1.05. Gefahr wird jenseits von 0.93, Vorsicht jenseits von 1.20 aufgehoben. Das vermindert Zustandswechsel nahe der Grenze. Der äußere grüne Anzeigering hat Radius 1.35.
Diese Werte sind einstellbare Bildregionen, keine gemessenen Bodenabstände oder tatsächlichen Abmessungen von Gabel und Ladung.
Das Projekt enthält models/warehouse_yolo11_rk3576_int8.rknn und models/warehouse_yolo11_rk3576_fp16.rknn. Prüfsummen stehen in models/manifest.json. Die Klassenreihenfolge ist 0: forklift, 1: person. Ein gewöhnlicher COCO-Detektor ersetzt diese Modelle nicht, da COCO keine Gabelstaplerklasse enthält.
Auf dem reComputer RK3576 starten
Verwenden Sie ARM64-Linux mit Python 3.11 sowie funktionierendem RK3576-NPU-Treiber und Runtime. Klonen Sie das Projekt, bereiten Sie die Umgebung vor und starten Sie das Dashboard:
git clone https://github.com/inteintegrity/rk3576-warehouse-safety-monitor.git
cd rk3576-warehouse-safety-monitor
bash run.sh setup
bash run.sh webÖffnen Sie http://<board-ip>:8088 auf einem Rechner im selben vertrauenswürdigen LAN. Ersetzen Sie <board-ip> durch die Adresse des Boards.
- Behalten Sie für das Beispiel
data/test_clip_nearmiss.mp4als Quelle bei. - Wählen Sie Start analysis, um Videobild und Risikopaare zu sehen.
- Wählen Sie Stop zum vorzeitigen Beenden oder warten Sie auf das Ende des Beispiels.
- Laden Sie danach annotiertes MP4, Ereignis-CSV oder JSON-Zusammenfassung herunter.
Ctrl+C im Terminal beendet den Server. Ein anderer Port lässt sich mit bash run.sh web --port 8089 wählen. Das Eingabefeld akzeptiert einen vorhandenen Videopfad, einen USB-Kameraindex oder eine RTSP-URL, bietet aber keinen Datei-Upload. Inferenz und Vorschau mit Dateien wurden geprüft; USB/RTSP müssen mit Ihren Kameras getestet werden. Das Dashboard ist für einen einzelnen Bediener ohne Authentifizierung in einem vertrauenswürdigen LAN vorgesehen.
Analyse ohne Dashboard:
bash run.sh videoDie Ergebnisse liegen unter outputs/demo: annotated.mp4, events.csv, summary.json und frame-trace.jsonl. Für ein anderes Video ergänzen Sie --source /path/to/video.mp4. Ereignisse erfassen Paar-IDs, Start- und Endzeit, Dauer und höchste Warnstufe. Im Bildzonenmodus bleibt die metrische Entfernung leer, statt unkalibrierte Meterwerte zu zeigen. bash run.sh check prüft Abhängigkeiten und Modell-Hashes; bash run.sh --help listet die Befehle auf.
Leistung der RK3576-NPU
Der abschließende INT8-CLI-Durchlauf verarbeitete alle 240 Frames ohne Dashboard-Stream:
| Messgröße | Ergebnis |
|---|---|
| Gesamtdauer ohne Initialisierung | 22.805 s |
| Durchsatz der gesamten Pipeline | 10.52 FPS |
| Median der NPU-API-Inferenz nach 15 Aufwärmframes | 25.551 ms |
| 95. Perzentil der NPU-API-Inferenz nach dem Aufwärmen | 31.269 ms |
Der Durchsatz umfasst Dekodierung, Vorverarbeitung, NPU-Inferenz, CPU-Nachverarbeitung, Tracking, Zeichnen, Frame-Protokolle und MP4-Aufzeichnung. Die anschließende Weboberflächenprüfung verarbeitete 240 Frames mit etwa 9.5 FPS; MJPEG-Vorschau und CSV/JSON-Downloads wurden bestätigt. Dies sind einzelne Demo-Messungen, keine Garantien für dauerhaften Durchsatz.
Präsentationsvideo mit leuchtenden Zonen erstellen
Die Liveansicht verwendet einfache Zonenlinien und farbige Warnrahmen. Der halbtransparente rote, gelbe und grüne Leuchteffekt wird offline aus dem Quellvideo und den Frame-Protokollen des Boards gerendert:
bash run.sh render outputs/demoKopieren Sie Beispiel und Board-Ausgaben in die entsprechenden Projektverzeichnisse und verwenden Sie eine Bash-Umgebung mit Pillow, OpenCV und FFmpeg. Aktivieren Sie vorher die Python-Umgebung des Renderrechners. Das Skript rendert die Frames und kodiert das H.264-MP4. Das exportierte Video hat 1920 × 1080 bei 24 FPS und behält die 10 Sekunden der Quelle bei. Die Wiedergaberate bedeutet nicht, dass die gesamte Inferenz auf dem Board live mit 24 FPS läuft.
Validierung und Grenzen
Acht Regressionsprüfungen bestanden: Fahrerausschluss, DFL-Dekodierung, Vorverarbeitung, leere Erkennungen und Protokolle, Zeitbehandlung, ungültige Eingaben, rote Warnungen in den Annäherungsszenen und Hysterese. Starten Sie sie mit:
bash run.sh testDas Modell wurde mit 24 beschrifteten Frames aus demselben Beispielvideo trainiert. Auch die INT8-Kalibrierung nutzt Beispielframes. Der Clip prüft daher die Pipeline und stellt keine unabhängige Genauigkeitsbewertung dar. Neue Kamerawinkel, Verdeckungen, Ladungsformen und Fahrerhaltungen benötigen zusätzliche Validierung. Die Zonen sind eine visuelle Annäherungsregel, kein sicherheitszertifiziertes Kollisionsvorhersagesystem.