CV / YOLOv5

YOLOv5s_seg

YOLOv5s_Seg Instanzsegmentierungsserie Standardversion, leichtgewichtig und effizient, entwickelt für pixelgenaue Segmentierung und Maskenvorhersage mit präziser regionaler Partitionierung, ideal für Edge-Bereitstellung.

330 Downloads

Größe

~11.3MB

Speicher

2GB+

Präzision

INT8

Wähle das Gerät, das du verwendest. Die Einrichtungsanleitung und Dokumentation werden entsprechend aktualisiert.

Plattform

Inferenz-Engine

Erste Schritte

Deploy

sudo docker run --rm \
  --name rk3588-yolov5s-seg \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  -e RKNN_LOG_LEVEL=0 \
  --device /dev/video0:/dev/video0 \
  --device /dev/dri/renderD128:/dev/dri/renderD128 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3588-yolov5_seg:latest \
  python3 web_detection.py --model_path model/yolov5s-seg.rknn --video video/test.mp4

REST API

Verwende die REST API für die Inferenz. Kopiere die folgenden Befehle.

Curl

curl -X POST "http://127.0.0.1:8000/api/models/yolov5_seg/predict" -F "realtime=true"
# Or without file parameters
curl -X POST "http://127.0.0.1:8000/api/models/yolov5_seg/predict"

Python

import requests
import json
resp = requests.post(
    "http://127.0.0.1:8000/api/models/yolov5_seg/predict",
    json={},
    timeout=30
)
result = resp.json()
print(json.dumps(result, indent=2, ensure_ascii=False))

Modelldetails

Schnellstart

1. Docker installieren

Fuehren Sie die folgenden Befehle auf dem Entwicklungsboard aus, um Docker zu installieren:

bash

# Installationsskript herunterladen
curl -fsSL https://get.docker.com -o get-docker.sh
# Mit Aliyun-Mirror-Source installieren
sudo sh get-docker.sh --mirror Aliyun
# Docker starten und Autostart beim Booten aktivieren
sudo systemctl enable docker
sudo systemctl start docker

2. Projekt ausfuehren (Ein Befehl, Dual-Mode-Vorschau)

Dieses Projekt unterstuetzt die Vorschau ueber einen "Webbrowser". Das Projekt kann mit einem einzigen Befehl ausgefuehrt werden. Zusaetzlich wird eine Fast-API-Schnittstelle bereitgestellt, um die individuelle Entwicklung und das Testen der Benutzer zu erleichtern.

Schritt A: Images pullen

bash

sudo docker pull ghcr.io/Seeed-Projects/recomputer-rk-cv/rk3588-yolov5_seg:latest
sudo docker pull ghcr.io/Seeed-Projects/recomputer-rk-cv/rk3576-yolov5_seg:latest

Schritt B: Mit einem Klick ausfuehren

Fuer RK3588:

bash

sudo docker run --rm --privileged --net=host \
    -e PYTHONUNBUFFERED=1 \
    -e RKNN_LOG_LEVEL=0 \
    --device /dev/video0:/dev/video0 \
    --device /dev/dri/renderD128:/dev/dri/renderD128 \
    -v /proc/device-tree/compatible:/proc/device-tree/compatible \
    ghcr.io/seeed-projects/recomputer-rk-cv/rk3588-yolov5_seg:latest \
    python3 web_detection.py --model_path model/yolov5n_seg.rknn --video video/test.mp4

Fuer RK3576:

bash

sudo docker run --rm --privileged --net=host \
    -e PYTHONUNBUFFERED=1 \
    -e RKNN_LOG_LEVEL=0 \
    --device /dev/video0:/dev/video0 \
    --device /dev/dri/renderD128:/dev/dri/renderD128 \
    -v /proc/device-tree/compatible:/proc/device-tree/compatible \
    ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-yolov5_seg:latest \
    python3 web_detection.py --model_path model/yolov5n_seg.rknn --video video/test.mp4

Zugriff ueber: http://<Board_IP>:8000

Hinweis: Wenn Sie benutzerdefinierte Klassen benoetigen, koennen Sie -v $(pwd)/class_config.txt:/app/class_config.txt \ Mount und den --class_path Parameter hinzufuegen. Das Programm verwendet standardmaessig COCO 80 Klassen.

Beispiel:

bash

sudo docker run --rm --privileged --net=host \
    -e PYTHONUNBUFFERED=1 \
    -e RKNN_LOG_LEVEL=0 \
    -v $(pwd)/class_config.txt:/app/class_config.txt \
    --device /dev/video0:/dev/video0 \
    --device /dev/dri/renderD128:/dev/dri/renderD128 \
    -v /proc/device-tree/compatible:/proc/device-tree/compatible \
    ghcr.io/seeed-projects/recomputer-rk-cv/rk3588-yolov5_seg:latest \
    python3 web_detection.py --model_path model/yolov5n-seg.rknn --video video/test.mp4 --class_path class_config.txt

🔌 API-Dokumentation

Dieses Projekt bietet RESTful-Schnittstellen, die mit dem Ultralytics Cloud API-Standard kompatibel sind und Instanzsegmentierung ueber Bild-, Video-Uploads oder direkte Kameraaufrufe unterstuetzen.

1. Modellinferenzschnittstelle (Predict)

Endpunkt: POST /api/models/yolov5_seg/predict

Anfrageparameter (Multipart/Form-Data):

file: (Optional) Zu erkennende Bilddatei.
video: (Optional) Zu erkennende MP4-Videodatei.
timestamp: (Optional) Zeitstempel in der Videodatei (Sekunden), gibt Erkennungsergebnisse fuer den Frame zu diesem Zeitpunkt zurueck. Standard ist 0.
realtime: (Optional) Boolean. Wenn true oder wenn keine file/video-Parameter angegeben sind, werden Erkennungsergebnisse fuer den aktuellen Kameraframe zurueckgegeben.
conf: (Optional) Konfidenzschwellenwert fuer eine einzelne Anfrage, Bereich 0,0-1,0.
iou: (Optional) NMS-IOU-Schwellenwert fuer eine einzelne Anfrage, Bereich 0,0-1,0.

Verwendungsbeispiele:

1. Bilderkennung:

bash

curl -X POST "http://127.0.0.1:8000/api/models/yolov5_seg/predict" -F "file=@/home/cat/001.jpg"

2. Erkennung eines bestimmten Videoframes:

bash

curl -X POST "http://127.0.0.1:8000/api/models/yolov5_seg/predict" -F "video=@/home/cat/test.mp4" -F "timestamp=5.5"

3. Aktuellen Kameraframe erkennen:

bash

curl -X POST "http://127.0.0.1:8000/api/models/yolov5_seg/predict" -F "realtime=true"
# Oder ohne Dateiparameter
curl -X POST "http://127.0.0.1:8000/api/models/yolov5_seg/predict"

Antwortformat (JSON):

json

{
  "success": true,
  "source": "video frame at 5.5s",
  "predictions": [
    {
      "class": "person",
      "confidence": 0.92,
      "box": { "x1": 100, "y1": 200, "x2": 300, "y2": 500 },
      "polygons": [
        [100, 200], [150, 210], [160, 300]
      ]
    }
  ],
  "image": { "width": 1280, "height": 720 }
}

2. Systemkonfigurationsschnittstelle (Config)

Wird verwendet, um Schwellenwerte fuer Echtzeit-Videostreams und Standardinferenz dynamisch anzupassen.

Aktuelle Konfiguration abrufen

Endpunkt: GET /api/config
Antwort: {"obj_thresh": 0.25, "nms_thresh": 0.45}

Systemkonfiguration aktualisieren

Endpunkt: POST /api/config
Anfrage-Body (JSON): {"obj_thresh": 0.3, "nms_thresh": 0.5}
Antwort: {"status": "success"}

3. Echtzeit-Videostream-Schnittstelle (Video Feed)

Echtzeit-MJPEG-Videostream mit eingezeichneten Erkennungsboxen und Segmentierungsmasken abrufen, kann direkt in HTML <img>-Tags eingebettet werden.

Endpunkt: GET /api/video_feed
Verwendungsbeispiel: <img src="http://<Board_IP>:8000/api/video_feed">

🛠️ Entwicklerhandbuch (Produktionsempfehlungen)

Codebeschreibung

web_detection.py:
- Dual-Mode-Unterstuetzung: Integriert FastAPI und unterstuetzt sowohl lokales Rendering als auch MJPEG-Streaming-Ausgabe.
- Umgebungsadaptiv: Erkennt automatisch die DISPLAY-Umgebungsvariable und ueberspringt stillschweigend die GUI-Initialisierung, wenn nicht vorhanden.
- RKNN-Inferenz: Kapselt RKNN-Initialisierung, Modellladung und Multi-Core-Inferenzlogik.
- Dynamisches Laden: Unterstuetzt dynamisches Laden von Klassenkonfigurationen ueber --class_path.
- Nachbearbeitung: Hochleistungs-Numpy-basierte Bounding-Box-Dekodierung, NMS und Konturextraktion (cv2.findContours).

Modelle aendern

Legen Sie das trainierte und konvertierte .rknn-Modell im model/-Verzeichnis ab.
Fuegen Sie das --model_path-Argument zum Ausfuehrungsbefehl hinzu, um auf das neue Modell zu verweisen.