YOLOv8n_object

Schnellstart

1. Docker installieren

Fuehren Sie die folgenden Befehle auf dem Entwicklungsboard aus, um Docker zu installieren:

# Installationsskript herunterladen
curl -fsSL https://get.docker.com -o get-docker.sh
# Mit Aliyun-Mirror-Source installieren
sudo sh get-docker.sh --mirror Aliyun
# Docker starten und Autostart beim Booten aktivieren
sudo systemctl enable docker
sudo systemctl start docker

2. Projekt ausfuehren (Ein Befehl, Dual-Mode-Vorschau)

Dieses Projekt unterstuetzt die gleichzeitige Vorschau ueber Lokale GUI und Web-Browser. Das Programm erkennt automatisch die Anzeigeumgebung und wechselt in den Web-Modus, wenn kein Display angeschlossen ist.

Schritt A: Anzeigeberechtigungen konfigurieren (Optional)

Wenn Sie einen Monitor angeschlossen haben und das Fenster lokal sehen moechten:

xhost +local:docker

Schritt B: Mit einem Klick ausfuehren

Fuer RK3588:

sudo docker run --rm --privileged --net=host \
    -e PYTHONUNBUFFERED=1 \
    -e RKNN_LOG_LEVEL=0 \
    --device /dev/video0:/dev/video0 \
    --device /dev/dri/renderD128:/dev/dri/renderD128 \
    -v /proc/device-tree/compatible:/proc/device-tree/compatible \
    ghcr.io/seeed-projects/recomputer-rk-cv/rk3588-yolov8:latest \
    python3 web_detection.py --model_path model/yolov8n.rknn --video video/test.mp4

Fuer RK3576:

sudo docker run --rm --privileged --net=host \
    -e PYTHONUNBUFFERED=1 \
    -e RKNN_LOG_LEVEL=0 \
    --device /dev/video0:/dev/video0 \
    --device /dev/dri/renderD128:/dev/dri/renderD128 \
    -v /proc/device-tree/compatible:/proc/device-tree/compatible \
    ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-yolov8:latest \
    python3 web_detection.py --model_path model/yolov8n.rknn --video video/test.mp4

Zugriff ueber: http://<Board_IP>:8000

Hinweis: Wenn Sie benutzerdefinierte Klassen benoetigen, koennen Sie -v $(pwd)/class_config.txt:/app/class_config.txt \ Mount und den --class_path Parameter hinzufuegen. Das Programm verwendet standardmaessig COCO 80 Klassen.

Beispiel:

sudo docker run --rm --privileged --net=host \
    -e PYTHONUNBUFFERED=1 \
    -e RKNN_LOG_LEVEL=0 \
    -v $(pwd)/class_config.txt:/app/class_config.txt \
    --device /dev/video0:/dev/video0 \
    --device /dev/dri/renderD128:/dev/dri/renderD128 \
    -v /proc/device-tree/compatible:/proc/device-tree/compatible \
    ghcr.io/seeed-projects/recomputer-rk-cv/rk3588-yolov8:latest \
    python3 web_detection.py --model_path model/yolov8n.rknn --video video/test.mp4 --class_path class_config.txt

🔌 API-Dokumentation

Dieses Projekt bietet RESTful-Schnittstellen, die mit dem Ultralytics Cloud API-Standard kompatibel sind und Objekterkennung ueber Bild-, Video-Uploads oder direkte Kameraaufrufe unterstuetzen.

1. Modellinferenzschnittstelle (Predict)

Endpunkt: POST /api/models/yolov8/predict

Anfrageparameter (Multipart/Form-Data):

• file: (Optional) Zu erkennende Bilddatei.
• video: (Optional) Zu erkennende MP4-Videodatei.
• timestamp: (Optional) Zeitstempel in der Videodatei (Sekunden), gibt Erkennungsergebnisse fuer den Frame zu diesem Zeitpunkt zurueck. Standard ist 0.
• realtime: (Optional) Boolean. Wenn true oder wenn keine file/video-Parameter angegeben sind, werden Erkennungsergebnisse fuer den aktuellen Kameraframe zurueckgegeben.
• conf: (Optional) Konfidenzschwellenwert fuer eine einzelne Anfrage, Bereich 0,0-1,0.
• iou: (Optional) NMS-IOU-Schwellenwert fuer eine einzelne Anfrage, Bereich 0,0-1,0.

Verwendungsbeispiele:

1. Bilderkennung:

curl -X POST "http://127.0.0.1:8000/api/models/yolov8/predict" -F "file=@/home/cat/001.jpg"

2. Erkennung eines bestimmten Videoframes:

curl -X POST "http://127.0.0.1:8000/api/models/yolov8/predict" -F "video=@/home/cat/test.mp4" -F "timestamp=5.5"

3. Aktuellen Kameraframe erkennen:

curl -X POST "http://127.0.0.1:8000/api/models/yolov8/predict" -F "realtime=true"
# Oder ohne Dateiparameter
curl -X POST "http://127.0.0.1:8000/api/models/yolov8/predict"

Antwortformat (JSON):

{
  "success": true,
  "source": "video frame at 5.5s",
  "predictions": [
    {
      "class": "person",
      "confidence": 0.92,
      "box": { "x1": 100, "y1": 200, "x2": 300, "y2": 500 }
    }
  ],
  "image": { "width": 1280, "height": 720 }
}

2. Systemkonfigurationsschnittstelle (Config)

Wird verwendet, um Schwellenwerte fuer Echtzeit-Videostreams und Standardinferenz dynamisch anzupassen.

Aktuelle Konfiguration abrufen

• Endpunkt: GET /api/config
• Antwort: {"obj_thresh": 0.25, "nms_thresh": 0.45}

Systemkonfiguration aktualisieren

• Endpunkt: POST /api/config
• Anfrage-Body (JSON): {"obj_thresh": 0.3, "nms_thresh": 0.5}
• Antwort: {"status": "success"}

3. Echtzeit-Videostream-Schnittstelle (Video Feed)

Echtzeit-MJPEG-Videostream mit eingezeichneten Erkennungsboxen abrufen, kann direkt in HTML <img>-Tags eingebettet werden.

• Endpunkt: GET /api/video_feed
• Verwendungsbeispiel: <img src="http://<Board_IP>:8000/api/video_feed">

🛠️ Entwicklerhandbuch (Produktionsempfehlungen)

Codebeschreibung

• web_detection.py:
  • Dual-Mode-Unterstuetzung: Integriert FastAPI und unterstuetzt sowohl lokales Rendering als auch MJPEG-Streaming-Ausgabe.
  • Umgebungsadaptiv: Erkennt automatisch die DISPLAY-Umgebungsvariable und ueberspringt stillschweigend die GUI-Initialisierung, wenn nicht vorhanden.
  • RKNN-Inferenz: Kapselt RKNN-Initialisierung, Modellladung und Multi-Core-Inferenzlogik.
  • Dynamisches Laden: Unterstuetzt dynamisches Laden von Klassenkonfigurationen ueber --class_path.
  • Nachbearbeitung: YOLOv8-spezifische Box-Dekodierung und NMS-Logik.

Modelle aendern

1. Legen Sie das trainierte und konvertierte .rknn-Modell im model/-Verzeichnis ab.
2. Fuegen Sie das --model_path-Argument zum Ausfuehrungsbefehl hinzu, um auf das neue Modell zu verweisen.