2026-11-18

Compter des comprimés sur un convoyeur avec YOLO26 sur reComputer RK3576

Tracez une ligne sur une vidéo de convoyeur et comptez les comprimés qui la franchissent grâce à l’inférence YOLO26n INT8 sur le NPU du RK3576.

CVObject TrackingYOLOGitHub

Présentation

Au démarrage, la démonstration analyse une vidéo enregistrée d’un convoyeur. Le moteur C++ utilise MPP pour le décodage, RGA pour le prétraitement et RKNN pour exécuter le détecteur de comprimés YOLO26n INT8 sur le NPU du RK3576. Le navigateur superpose les détections suivies pendant la lecture en utilisant les horodatages de la vidéo.

Comprimés franchissant la ligne de comptage dans la démonstration sur navigateur

Exécuter la démonstration sur reComputer RK3576

Utilisez une image système dotée de pilotes MPP, RGA et RKNPU fonctionnels. Installez Python avec la prise en charge des environnements virtuels et FFmpeg avec ffprobe. La démonstration utilise ffprobe pour récupérer les horodatages si MPP répète celui de la dernière image.

Placez les copies locales de rk3576-ai-demos et de rockchip-yolo-cpp dans le même répertoire parent. À la racine de rockchip-yolo-cpp, utilisez le commit 2b30157 ou une révision ultérieure qui contient son correctif de décodage des logits de classification spatiale. Compilez l’interface en ligne de commande du moteur.

bash
./nvr build --cli-only

Accédez à la racine de rk3576-ai-demos. Vérifiez que examples/cv/pill-counter/run.py est présent et que models/pills-rk3576-int8/ contient best-rk3576.rknn et le fichier metadata.yaml associé. Placez votre fichier MP4 H.264 dans examples/cv/pill-counter/data/watermarked_preview.mp4 ou modifiez l’argument --video pour indiquer le chemin de votre vidéo.

bash
python3 -m venv .venv
source .venv/bin/activate
python -m pip install fastapi==0.115.6 'uvicorn[standard]==0.34.0'

Si vous avez compilé le moteur avec son SDK local, ajoutez ses bibliothèques d’exécution au chemin de recherche des bibliothèques du shell.

bash
engine_repo="$(cd ../rockchip-yolo-cpp && pwd)"
export LD_LIBRARY_PATH="$engine_repo/.local/deps/rknn/lib:$engine_repo/.local/deps/rga/lib:$engine_repo/.local/deps/mpp/lib${LD_LIBRARY_PATH:+:$LD_LIBRARY_PATH}"

Lancez la démonstration depuis la même session du shell.

bash
python examples/cv/pill-counter/run.py \
  --engine ../rockchip-yolo-cpp/.local/build/bin/rk-nvr \
  --video examples/cv/pill-counter/data/watermarked_preview.mp4

Tracer une ligne et vérifier le comptage

Ouvrez http://<RK3576_IP>:8010 dans un navigateur connecté au même réseau, puis attendez la fin de l’analyse. Faites glisser le pointeur sur la vidéo pour tracer une ligne qui coupe la trajectoire des comprimés, ou sélectionnez Center line. Sélectionnez ensuite Play. Les cadres bleu-vert signalent les détections et les cadres ambre signalent les comprimés déjà comptés à la position de lecture actuelle.

Chaque comprimé suivi est compté une seule fois lorsque son centre franchit le segment de ligne dans un sens ou dans l’autre. Si vous retracez la ligne, les franchissements sont recalculés pour toute la vidéo. Lorsque vous vous déplacez dans la vidéo ou relancez la lecture, le compteur affiche le total atteint à la position actuelle. L’emplacement de la ligne et la continuité du suivi influent sur le comptage.