Übersicht
Die Demo analysiert beim Start eine aufgezeichnete Förderbandsequenz. Die C++-Engine verwendet MPP zur Dekodierung, RGA zur Vorverarbeitung und RKNN zur Ausführung des YOLO26n-INT8-Tablettendetektors auf der NPU des RK3576. Der Browser blendet die verfolgten Erkennungen bei der Wiedergabe anhand der Videozeitstempel ein.

Auf dem reComputer RK3576 ausführen
Verwenden Sie ein Systemabbild mit funktionsfähigen MPP-, RGA- und RKNPU-Treibern. Installieren Sie Python mit Unterstützung für virtuelle Umgebungen und FFmpeg mit ffprobe. Die Demo stellt die Zeitstempel mit ffprobe wieder her, wenn MPP den Zeitstempel des letzten Frames wiederholt.
Legen Sie die lokalen Kopien von rk3576-ai-demos und rockchip-yolo-cpp im selben übergeordneten Verzeichnis ab. Verwenden Sie im Stammverzeichnis von rockchip-yolo-cpp den Commit 2b30157 oder eine spätere Revision, die dessen Korrektur für die Dekodierung räumlicher Klassifikationslogits enthält. Bauen Sie die Kommandozeilenversion der Engine.
./nvr build --cli-onlyWechseln Sie in das Stammverzeichnis von rk3576-ai-demos. Prüfen Sie, ob examples/cv/pill-counter/run.py vorhanden ist und ob models/pills-rk3576-int8/ sowohl best-rk3576.rknn als auch die passende Datei metadata.yaml enthält. Legen Sie Ihre lokale H.264-MP4-Datei unter examples/cv/pill-counter/data/watermarked_preview.mp4 ab oder geben Sie mit --video den Pfad zu Ihrem Video an.
python3 -m venv .venv
source .venv/bin/activate
python -m pip install fastapi==0.115.6 'uvicorn[standard]==0.34.0'Wenn Sie die Engine mit ihrem lokalen SDK gebaut haben, nehmen Sie dessen Laufzeitbibliotheken in den Bibliothekssuchpfad Ihrer Shell auf.
engine_repo="$(cd ../rockchip-yolo-cpp && pwd)"
export LD_LIBRARY_PATH="$engine_repo/.local/deps/rknn/lib:$engine_repo/.local/deps/rga/lib:$engine_repo/.local/deps/mpp/lib${LD_LIBRARY_PATH:+:$LD_LIBRARY_PATH}"Starten Sie die Demo aus derselben Shell.
python examples/cv/pill-counter/run.py \
--engine ../rockchip-yolo-cpp/.local/build/bin/rk-nvr \
--video examples/cv/pill-counter/data/watermarked_preview.mp4Zähllinie zeichnen und Ergebnis prüfen
Öffnen Sie http://<RK3576_IP>:8010 in einem Browser im selben Netzwerk und warten Sie, bis die Analyse abgeschlossen ist. Ziehen Sie im Video eine Linie quer zur Bewegungsrichtung der Tabletten oder wählen Sie Center line. Wählen Sie dann Play. Türkise Rahmen markieren erkannte Tabletten. Bernsteinfarbene Rahmen markieren Tabletten, die bis zur aktuellen Wiedergabeposition bereits gezählt wurden.
Jede verfolgte Tablette wird einmal gezählt, wenn ihr Mittelpunkt die Strecke in einer der beiden Richtungen überquert. Wenn Sie die Linie neu zeichnen, werden die Überquerungen für das ganze Video neu berechnet. Beim Springen zu einer anderen Position oder beim erneuten Abspielen zeigt die Demo die Anzahl bis zur aktuellen Wiedergabeposition an. Die Position der Linie und die lückenlose Objektverfolgung beeinflussen das Ergebnis.