CV / MobileNet

MobileNetV2

MobileNetV2 image classification accelerated by RKNN on reComputer RK3576 and RK3588.

2 téléchargements

Précision

RKNN

Choisissez l'appareil que vous utilisez. Le guide de configuration et la documentation seront mis à jour en conséquence.

Plateforme

Taille

Moteur d'inférence

Pour commencer

Déployer

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 -e RKNN_LOG_LEVEL=0 \
  --device /dev/dri/renderD128:/dev/dri/renderD128 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-mobilenet:latest \
  python3 web_classification.py --model_path model/rk3576_mobilenet_v2.rknn --camera_id -1

API REST

Utilisez l'API REST pour exécuter l'inférence. Copiez les commandes ci-dessous.

Curl

curl http://localhost:8080/v1/chat/completions -d '{
  "model": "mobilenet-v2-rknn",
  "messages": [{"role": "user", "content": "Hello"}]
}'

Python

import requests

resp = requests.post(
    "http://localhost:8080/v1/chat/completions",
    json={"model": "mobilenet-v2-rknn", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())

Détails du modèle

Démarrage rapide

1. Installer Docker

Exécutez les commandes suivantes sur la carte de développement pour installer Docker :

bash

# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
# Aliyun
sudo sh get-docker.sh --mirror Aliyun
# systemd
sudo systemctl enable docker
sudo systemctl start docker

2. Exécuter le projet (une commande, aperçu double mode)

Cette page est adaptée des README MobileNetV2 de reComputer-RK-CV. Le service exécute la classification ImageNet avec RKNN-Toolkit-Lite2 et fournit un aperçu Web, un flux MJPEG, un contrôle d’état et une REST API.

Informations sur le modèle

Propriété	Valeur
Tâche	Classification d’images
Entrée	Image `224 x 224`
Sortie	Étiquettes ImageNet Top-K et scores de confiance configurables
Modèle RK3576	`model/rk3576_mobilenet_v2.rknn`
Modèle RK3588	`model/rk3588_mobilenet_v2.rknn`
Étiquettes	`model/synset.txt`

Étape A : télécharger les images

bash

sudo docker pull ghcr.io/seeed-projects/recomputer-rk-cv/rk3588-mobilenet:latest
sudo docker pull ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-mobilenet:latest

Étape B : exécuter en un clic

Pour RK3576:

bash

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 -e RKNN_LOG_LEVEL=0 \
  --device /dev/dri/renderD128:/dev/dri/renderD128 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-mobilenet:latest \
  python3 web_classification.py \
  --model_path model/rk3576_mobilenet_v2.rknn --camera_id -1

Pour RK3588:

bash

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 -e RKNN_LOG_LEVEL=0 \
  --device /dev/dri/renderD128:/dev/dri/renderD128 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3588-mobilenet:latest \
  python3 web_classification.py \
  --model_path model/rk3588_mobilenet_v2.rknn --camera_id -1

Ouvrez http://<BOARD_IP>:8000 pour la page Web ou http://<BOARD_IP>:8000/docs pour OpenAPI. Remplacez --camera_id -1 par l’identifiant d’une caméra mappée, ou utilisez --video_path video/test.mp4 pour la vidéo fournie.

🔌 Documentation de l’API

1. Interface d’inférence du modèle (Predict)

Endpoint : POST /api/models/mobilenet/predict

Paramètres de requête (Multipart/Form-Data) :

Les champs facultatifs sont file, video, timestamp, conf et topk ; topk va de 1 à 20 et conf de 0.0 à 1.0. Sans téléversement, la source vidéo active est utilisée.

Exemples d’utilisation :

bash

curl -X POST "http://<BOARD_IP>:8000/api/models/mobilenet/predict" \
  -F "file=@bell.jpg" -F "topk=5" -F "conf=0.01"

Pour classer l’image située à 5.5 secondes dans un MP4 :

bash

curl -X POST "http://<BOARD_IP>:8000/api/models/mobilenet/predict" \
  -F "video=@test.mp4" -F "timestamp=5.5" -F "topk=3"

Format de réponse (JSON) :

json

{
  "success": true,
  "model": "mobilenet",
  "source": "uploaded image",
  "predictions": [
    {"class": "n02123045 tabby, tabby cat", "confidence": 0.91}
  ],
  "image": {"width": 640, "height": 480}
}

2. Interface de configuration système (Config)

GET /api/config renvoie le conf_thresh global. Mettez-le à jour avec POST /api/config et un JSON tel que {"conf_thresh":0.1}. La valeur conf de la requête remplace le seuil global pour cette requête.

Endpoint	Fonction
`GET /api/health`	Plateforme, chemin du modèle et état de préparation.
`GET /api/video_feed`	Aperçu MJPEG annoté.
`POST /api/video/upload`	Téléverser un JPG, JPEG, PNG, BMP ou MP4.
`POST /api/video/analyze`	Démarrer une analyse asynchrone avec le `filename` téléversé.
`GET /api/video/status`	Progression et état d’erreur.
`GET /api/video/list`	Fichiers téléversés et générés.
`GET /api/video/download/{filename}`	Télécharger un résultat généré.

3. Arguments de ligne de commande

L’application accepte une image téléversée, une image d’un MP4 téléversé choisie par horodatage, une vidéo locale en boucle ou une image caméra. La vidéo locale est prioritaire.

Argument	Valeur par défaut	Description
`--model_path`	Obligatoire	Modèle RKNN choisi pour le SoC cible.
`--camera_id`	`1`	Indice de caméra ; utilisez `-1` pour le mode téléversement uniquement.
`--video_path`	Aucun	Chemin du MP4 local. Remplace `--camera_id`.
`--host`	`0.0.0.0`	Adresse d’écoute FastAPI.
`--port`	`8000`	Port du service.

Pour une caméra USB, mappez le nœud correspondant, par exemple --device /dev/video0:/dev/video0, et passez --camera_id 0.

Interface de flux vidéo en temps réel (Video Feed)

Obtenez le dernier flux MJPEG annoté pour l’aperçu dans le navigateur :

Endpoint: GET /api/video_feed
Exemple d’utilisation: <img src="http://<BOARD_IP>:8000/api/video_feed">

🛠️ Guide du développeur (recommandations de production)

Remplacement du modèle

Le prétraitement conserve l’ordre BGR requis, applique softmax et filtre les résultats Top-K. Un modèle de remplacement doit conserver la disposition d’entrée, l’ordre des canaux, la normalisation et le format de sortie. Mettez à jour synset.txt si les classes changent. Les téléversements et résultats sont stockés sous workspace/ ; définissez RK_CV_WORKSPACE pour changer de répertoire.

Compiler localement

Exécutez depuis la racine du dépôt upstream :

bash

docker build -f docker/rk3576/mobilenet.dockerfile \
  -t rk3576-mobilenet:local src/rk3576_mobilenet

docker build -f docker/rk3588/mobilenet.dockerfile \
  -t rk3588-mobilenet:local src/rk3588_mobilenet

Entrées et sorties

Input: image, video frame, or camera frame. Output: Top-K ImageNet labels and confidence scores.