inteintegrity2026-11-14

Lagersicherheit mit YOLO11 auf dem reComputer RK3576

Erkennen und verfolgen Sie Gabelstapler und Fußgänger mit YOLO11 und ByteTrack auf der RK3576-NPU. Mit lokaler Weboberfläche, roten Gefahrenwarnungen und RKNN-Modellen.

CVWarehouse SafetyreComputer RKGitHub
Demo zur Sicherheitsüberwachung von Gabelstaplern und Fußgängern auf dem reComputer RK3576

In Lagergängen, die Gabelstapler und Fußgänger gemeinsam nutzen, gehört das Erkennen einer Annäherung zur Sicherheitsüberwachung. Dieses Projekt verbindet Fahrzeugerkennung, Personenverfolgung und Zonenwarnungen in einer lokalen Weboberfläche. Sie zeigt, wer sich einem Stapler nähert und welcher Risikostatus aktuell vorliegt.

Ein für Lagerumgebungen trainiertes YOLO11n-Modell läuft auf der NPU des reComputer RK3576. ByteTrack verfolgt Stapler und Personen. Nähert sich ein Fußgänger den projizierten Fahrzeugzonen, erscheint CAUTION; beim Eintritt in die innere Zone folgt DANGER in Rot. Das Browser-Dashboard bietet ein annotiertes Videobild, aktuelle Risikopaare und herunterladbare Ereignisse. Inferenz und Auswertung erfolgen lokal auf dem Board.

Quellcode: rk3576-warehouse-safety-monitor

Sicherheitsfunktionen für Gabelstapler und Fußgänger

FunktionVerhalten
Stapler- und PersonenerkennungEin YOLO11n-Modell mit zwei Klassen läuft auf der RK3576-NPU.
Beständige IdentitätenByteTrack vergibt IDs über mehrere Frames hinweg.
FahrerausschlussEine Regel anhand der Erkennungsrahmen nimmt den Fahrer aus den Fußgänger-Risikopaaren heraus.
Abgestufte WarnungenGrün, gelbes CAUTION und rotes DANGER kennzeichnen die Nähe zu den projizierten Zonen.
Lokale WeboberflächeZeigt annotierte Bilder, aktuelle Paare und abgeschlossene Ereignisse.
ErgebnisausgabeSpeichert annotiertes MP4, Ereignis-CSV, JSON-Zusammenfassung und Frame-Protokolle.
PräsentationsvideoErgänzt aufgezeichnete Inferenzergebnisse am Desktop um halbtransparente leuchtende Bodenzonen.

Das Beispielvideo dauert 10 Sekunden bei 1280 × 720 und 24 FPS. Die Annäherungen um Sekunde 5 und 8 lösen rote Gefahrenwarnungen aus. Der Fahrer wird getrennt als OPERATOR gekennzeichnet.

Funktionsweise

text
Video file / USB camera / RTSP
  → resize and letterbox to 640 × 640 RGB
  → YOLO11n RKNN inference on the RK3576 NPU
  → CPU detection decoding and NMS
  → CPU ByteTrack tracking
  → operator exclusion and pairwise zone analysis
  → Web UI, annotated video, and event logs

YOLO11n erkennt Stapler und Personen, während ByteTrack ihre Identitäten zwischen den Frames erhält. Das System bildet Paare aus jedem Stapler und nahen Fußgängern außerhalb des Fahrzeugs. Es aktualisiert Warnungen anhand der Position zu den Zonen und protokolliert zusammenhängende Warnungen als exportierbare Ereignisse. Die Erkennung läuft auf der NPU; Tracking, Warnlogik, Zeichnen und Aufzeichnen laufen auf der CPU.

So werden Annäherungswarnungen ausgelöst

Das System legt projizierte Zonen im Bildraum um den Erkennungsrahmen des Staplers und prüft kontinuierlich die Position jedes Fußgängers. Maßgeblich ist der Punkt auf der Unterkante des Personenrahmens, der dem Staplerzentrum am nächsten liegt.

Die Annäherung an den Warnbereich zeigt gelbes CAUTION. Beim Eintritt in den inneren Gefahrenbereich erscheint rotes DANGER. Die Zonen stellen Nähe im Bild dar und geben keine unkalibrierten Entfernungen in Metern aus.

Bedeutung der Farben

ZustandAnzeigeAuslöser
ÜberwachungGrüner PersonenrahmenAußerhalb des Warnbereichs.
CAUTIONGelber Rahmen und WarntextNahe an der projizierten Fahrzeugzone.
DANGERRoter Rahmen, Gefahrentext und roter Bildrand im PräsentationsvideoEintritt in die innere Zone.

Das Ellipsenzentrum liegt in der Mitte der Unterkante des Staplerrahmens. Der horizontale Basisradius beträgt das 2.4-Fache der Rahmenbreite, der vertikale das 0.4-Fache der Höhe. In normierten Ellipsenkoordinaten beginnt Gefahr bei Radius 0.85 und Vorsicht bei 1.05. Gefahr wird jenseits von 0.93, Vorsicht jenseits von 1.20 aufgehoben. Das vermindert Zustandswechsel nahe der Grenze. Der äußere grüne Anzeigering hat Radius 1.35.

Diese Werte sind einstellbare Bildregionen, keine gemessenen Bodenabstände oder tatsächlichen Abmessungen von Gabel und Ladung.

Das Projekt enthält models/warehouse_yolo11_rk3576_int8.rknn und models/warehouse_yolo11_rk3576_fp16.rknn. Prüfsummen stehen in models/manifest.json. Die Klassenreihenfolge ist 0: forklift, 1: person. Ein gewöhnlicher COCO-Detektor ersetzt diese Modelle nicht, da COCO keine Gabelstaplerklasse enthält.

Auf dem reComputer RK3576 starten

Verwenden Sie ARM64-Linux mit Python 3.11 sowie funktionierendem RK3576-NPU-Treiber und Runtime. Klonen Sie das Projekt, bereiten Sie die Umgebung vor und starten Sie das Dashboard:

bash
git clone https://github.com/inteintegrity/rk3576-warehouse-safety-monitor.git
cd rk3576-warehouse-safety-monitor
bash run.sh setup
bash run.sh web

Öffnen Sie http://<board-ip>:8088 auf einem Rechner im selben vertrauenswürdigen LAN. Ersetzen Sie <board-ip> durch die Adresse des Boards.

  1. Behalten Sie für das Beispiel data/test_clip_nearmiss.mp4 als Quelle bei.
  2. Wählen Sie Start analysis, um Videobild und Risikopaare zu sehen.
  3. Wählen Sie Stop zum vorzeitigen Beenden oder warten Sie auf das Ende des Beispiels.
  4. Laden Sie danach annotiertes MP4, Ereignis-CSV oder JSON-Zusammenfassung herunter.

Ctrl+C im Terminal beendet den Server. Ein anderer Port lässt sich mit bash run.sh web --port 8089 wählen. Das Eingabefeld akzeptiert einen vorhandenen Videopfad, einen USB-Kameraindex oder eine RTSP-URL, bietet aber keinen Datei-Upload. Inferenz und Vorschau mit Dateien wurden geprüft; USB/RTSP müssen mit Ihren Kameras getestet werden. Das Dashboard ist für einen einzelnen Bediener ohne Authentifizierung in einem vertrauenswürdigen LAN vorgesehen.

Analyse ohne Dashboard:

bash
bash run.sh video

Die Ergebnisse liegen unter outputs/demo: annotated.mp4, events.csv, summary.json und frame-trace.jsonl. Für ein anderes Video ergänzen Sie --source /path/to/video.mp4. Ereignisse erfassen Paar-IDs, Start- und Endzeit, Dauer und höchste Warnstufe. Im Bildzonenmodus bleibt die metrische Entfernung leer, statt unkalibrierte Meterwerte zu zeigen. bash run.sh check prüft Abhängigkeiten und Modell-Hashes; bash run.sh --help listet die Befehle auf.

Leistung der RK3576-NPU

Der abschließende INT8-CLI-Durchlauf verarbeitete alle 240 Frames ohne Dashboard-Stream:

MessgrößeErgebnis
Gesamtdauer ohne Initialisierung22.805 s
Durchsatz der gesamten Pipeline10.52 FPS
Median der NPU-API-Inferenz nach 15 Aufwärmframes25.551 ms
95. Perzentil der NPU-API-Inferenz nach dem Aufwärmen31.269 ms

Der Durchsatz umfasst Dekodierung, Vorverarbeitung, NPU-Inferenz, CPU-Nachverarbeitung, Tracking, Zeichnen, Frame-Protokolle und MP4-Aufzeichnung. Die anschließende Weboberflächenprüfung verarbeitete 240 Frames mit etwa 9.5 FPS; MJPEG-Vorschau und CSV/JSON-Downloads wurden bestätigt. Dies sind einzelne Demo-Messungen, keine Garantien für dauerhaften Durchsatz.

Präsentationsvideo mit leuchtenden Zonen erstellen

Die Liveansicht verwendet einfache Zonenlinien und farbige Warnrahmen. Der halbtransparente rote, gelbe und grüne Leuchteffekt wird offline aus dem Quellvideo und den Frame-Protokollen des Boards gerendert:

bash
bash run.sh render outputs/demo

Kopieren Sie Beispiel und Board-Ausgaben in die entsprechenden Projektverzeichnisse und verwenden Sie eine Bash-Umgebung mit Pillow, OpenCV und FFmpeg. Aktivieren Sie vorher die Python-Umgebung des Renderrechners. Das Skript rendert die Frames und kodiert das H.264-MP4. Das exportierte Video hat 1920 × 1080 bei 24 FPS und behält die 10 Sekunden der Quelle bei. Die Wiedergaberate bedeutet nicht, dass die gesamte Inferenz auf dem Board live mit 24 FPS läuft.

Validierung und Grenzen

Acht Regressionsprüfungen bestanden: Fahrerausschluss, DFL-Dekodierung, Vorverarbeitung, leere Erkennungen und Protokolle, Zeitbehandlung, ungültige Eingaben, rote Warnungen in den Annäherungsszenen und Hysterese. Starten Sie sie mit:

bash
bash run.sh test

Das Modell wurde mit 24 beschrifteten Frames aus demselben Beispielvideo trainiert. Auch die INT8-Kalibrierung nutzt Beispielframes. Der Clip prüft daher die Pipeline und stellt keine unabhängige Genauigkeitsbewertung dar. Neue Kamerawinkel, Verdeckungen, Ladungsformen und Fahrerhaltungen benötigen zusätzliche Validierung. Die Zonen sind eine visuelle Annäherungsregel, kein sicherheitszertifiziertes Kollisionsvorhersagesystem.