CV / MobileNet

MobileNetV2

ImageNet classification with configurable Top-K results, browser preview, and REST API access.

2 descargas

Precisión

RKNN

Elige el dispositivo que estás usando. La guía de configuración y la documentación se actualizarán en consecuencia.

Plataforma

Tamaño

Motor de inferencia

Primeros pasos

Desplegar

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 -e RKNN_LOG_LEVEL=0 \
  --device /dev/dri/renderD128:/dev/dri/renderD128 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-mobilenet:latest \
  python3 web_classification.py --model_path model/rk3576_mobilenet_v2.rknn --camera_id -1

API REST

Usa la API REST para ejecutar inferencia. Copia los comandos siguientes.

Curl

curl http://localhost:8080/v1/chat/completions -d '{
  "model": "mobilenet-v2-rknn",
  "messages": [{"role": "user", "content": "Hello"}]
}'

Python

import requests

resp = requests.post(
    "http://localhost:8080/v1/chat/completions",
    json={"model": "mobilenet-v2-rknn", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())

Detalles del modelo

MobileNetV2 en reComputer RK3576 y RK3588

Esta página se adapta de los README de MobileNetV2 en reComputer-RK-CV. El servicio ejecuta clasificación ImageNet con RKNN-Toolkit-Lite2 y ofrece vista previa web, flujo MJPEG, comprobación de estado y REST API.

Información del modelo

Propiedad	Valor
Tarea	Clasificación de imágenes
Entrada	Imagen de `224 x 224`
Salida	Etiquetas ImageNet Top-K y puntuaciones de confianza configurables
Modelo RK3576	`model/rk3576_mobilenet_v2.rknn`
Modelo RK3588	`model/rk3588_mobilenet_v2.rknn`
Etiquetas	`model/synset.txt`

Ejecutar el servicio

RK3576

bash

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 -e RKNN_LOG_LEVEL=0 \
  --device /dev/dri/renderD128:/dev/dri/renderD128 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-mobilenet:latest \
  python3 web_classification.py \
  --model_path model/rk3576_mobilenet_v2.rknn --camera_id -1

RK3588

bash

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 -e RKNN_LOG_LEVEL=0 \
  --device /dev/dri/renderD128:/dev/dri/renderD128 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3588-mobilenet:latest \
  python3 web_classification.py \
  --model_path model/rk3588_mobilenet_v2.rknn --camera_id -1

Abra http://<BOARD_IP>:8000 para la página web o http://<BOARD_IP>:8000/docs para OpenAPI. Sustituya --camera_id -1 por un ID de cámara asignado o use --video_path video/test.mp4 para el vídeo incluido.

Modos de entrada y argumentos de inicio

La aplicación acepta una imagen subida, un fotograma de un MP4 subido seleccionado por marca de tiempo, un vídeo local en bucle o un fotograma de cámara. El vídeo local tiene prioridad sobre la cámara.

Argumento	Predeterminado	Descripción
`--model_path`	Obligatorio	Modelo RKNN seleccionado para el SoC de destino.
`--camera_id`	`1`	Índice de cámara; use `-1` para el modo de solo carga.
`--video_path`	Ninguno	Ruta del MP4 local. Prevalece sobre `--camera_id`.
`--host`	`0.0.0.0`	Dirección de escucha de FastAPI.
`--port`	`8000`	Puerto del servicio.

Para una cámara USB, asigne el nodo de dispositivo correspondiente, por ejemplo --device /dev/video0:/dev/video0, y pase --camera_id 0.

REST API

Endpoint: POST /api/models/mobilenet/predict

Los campos multipart incluyen file, video, timestamp, conf y topk. topk acepta valores de 1 a 20 y su valor predeterminado es 5.

bash

curl -X POST "http://<BOARD_IP>:8000/api/models/mobilenet/predict" \
  -F "file=@bell.jpg" -F "topk=5" -F "conf=0.01"

Para clasificar un fotograma a los 5.5 segundos de un MP4:

bash

curl -X POST "http://<BOARD_IP>:8000/api/models/mobilenet/predict" \
  -F "video=@test.mp4" -F "timestamp=5.5" -F "topk=3"

Ejemplo de respuesta:

json

{
  "success": true,
  "model": "mobilenet",
  "source": "uploaded image",
  "predictions": [
    {"class": "n02123045 tabby, tabby cat", "confidence": 0.91}
  ],
  "image": {"width": 640, "height": 480}
}

GET /api/config devuelve el conf_thresh global. Actualícelo con POST /api/config y JSON como {"conf_thresh":0.1}. Un valor conf de la solicitud prevalece sobre el umbral global para esa solicitud.

Endpoint	Finalidad
`GET /api/health`	Plataforma, ruta del modelo y disponibilidad.
`GET /api/video_feed`	Vista previa MJPEG anotada.
`POST /api/video/upload`	Subir JPG, JPEG, PNG, BMP o MP4.
`POST /api/video/analyze`	Iniciar análisis asíncrono mediante el `filename` subido.
`GET /api/video/status`	Progreso y estado de error.
`GET /api/video/list`	Archivos subidos y generados.
`GET /api/video/download/{filename}`	Descargar un resultado generado.

Sustitución del modelo

El preprocesamiento conserva el orden de canales BGR requerido por este modelo, aplica softmax y filtra los resultados Top-K. Un modelo de sustitución debe conservar la disposición de entrada, el orden de canales, la normalización y el formato de salida. Actualice synset.txt al cambiar el conjunto de clases. Las cargas y salidas se almacenan en workspace/; defina RK_CV_WORKSPACE para usar otro directorio.

Compilar localmente

Ejecute desde la raíz del repositorio upstream:

bash

docker build -f docker/rk3576/mobilenet.dockerfile \
  -t rk3576-mobilenet:local src/rk3576_mobilenet

docker build -f docker/rk3588/mobilenet.dockerfile \
  -t rk3588-mobilenet:local src/rk3588_mobilenet

Entradas y salidas

Input: image, video frame, or camera frame. Output: Top-K ImageNet labels and confidence scores.