2026-11-18

Cuenta pastillas en una cinta transportadora con YOLO26 en reComputer RK3576

Traza una línea en un vídeo de una cinta transportadora y cuenta las pastillas que la cruzan mediante inferencia YOLO26n INT8 en la NPU del RK3576.

CVObject TrackingYOLOGitHub

Descripción general

Al iniciarse, la demostración analiza un vídeo grabado de una cinta transportadora. El motor C++ usa MPP para decodificar, RGA para preprocesar y RKNN para ejecutar el detector de pastillas YOLO26n INT8 en la NPU del RK3576. Durante la reproducción, el navegador superpone las detecciones seguidas según las marcas de tiempo del vídeo.

Pastillas cruzando la línea de recuento en la demostración del navegador

Ejecutar en reComputer RK3576

Usa una imagen del sistema con controladores MPP, RGA y RKNPU operativos. Instala Python con soporte para entornos virtuales y FFmpeg con ffprobe. La demostración usa ffprobe para recuperar las marcas de tiempo si MPP repite la del último fotograma.

Coloca los repositorios locales rk3576-ai-demos y rockchip-yolo-cpp en el mismo directorio padre. Desde la raíz de rockchip-yolo-cpp, usa el commit 2b30157 o una revisión posterior que incluya la corrección para decodificar los logits de clasificación espacial. Compila la CLI del motor.

bash
./nvr build --cli-only

Cambia a la raíz de rk3576-ai-demos. Comprueba que exista examples/cv/pill-counter/run.py y que models/pills-rk3576-int8/ contenga best-rk3576.rknn y su archivo metadata.yaml correspondiente. Coloca tu archivo MP4 H.264 en examples/cv/pill-counter/data/watermarked_preview.mp4 o modifica el argumento --video para indicar la ruta de tu vídeo.

bash
python3 -m venv .venv
source .venv/bin/activate
python -m pip install fastapi==0.115.6 'uvicorn[standard]==0.34.0'

Si compilaste el motor con su SDK local, añade las bibliotecas de ejecución a la ruta de búsqueda de bibliotecas de tu shell.

bash
engine_repo="$(cd ../rockchip-yolo-cpp && pwd)"
export LD_LIBRARY_PATH="$engine_repo/.local/deps/rknn/lib:$engine_repo/.local/deps/rga/lib:$engine_repo/.local/deps/mpp/lib${LD_LIBRARY_PATH:+:$LD_LIBRARY_PATH}"

Inicia la demostración desde la misma sesión de shell.

bash
python examples/cv/pill-counter/run.py \
  --engine ../rockchip-yolo-cpp/.local/build/bin/rk-nvr \
  --video examples/cv/pill-counter/data/watermarked_preview.mp4

Trazar una línea y revisar el recuento

Abre http://<RK3576_IP>:8010 en un navegador de la misma red y espera a que termine el análisis. Arrastra sobre el vídeo para trazar una línea que corte la trayectoria de las pastillas, o selecciona Center line. A continuación, selecciona Play. Los recuadros verde azulado indican detecciones y los de color ámbar indican las pastillas ya contadas hasta el punto actual de reproducción.

Cada pastilla seguida se cuenta una sola vez cuando su centro cruza el segmento de línea en cualquiera de los dos sentidos. Si vuelves a trazar la línea, se recalculan los cruces para todo el vídeo. Al saltar a otro punto o reproducir de nuevo el vídeo, se muestra el recuento acumulado hasta el punto actual. La posición de la línea y la continuidad del seguimiento influyen en el recuento.