Nvidia CUDA

NVIDIA® TensorRT™ ist ein Ökosystem von APIs für leistungsstarke Deep-Learning-Inferenz. TensorRT enthält eine Inferenz-Laufzeit und Modelloptimierungen, die niedrige Latenz und hohen Durchsatz für Produktionsanwendungen liefern. Das TensorRT-Ökosystem umfasst TensorRT, TensorRT-LLM, TensorRT Model Optimizer und TensorRT Cloud.

"Hello World" für TensorRT

In diesem Beispiel werden wir ein neuronales Netzwerk mit Klassifizierungsfähigkeiten basierend auf PyTorch erstellen, um handschriftliche Ziffernerkennung zu implementieren. Das Modell wird auf dem MNIST-Datensatz trainiert und getestet. Schließlich wird das Modell in das TensorRT-Format konvertiert, um die Inferenzgeschwindigkeit des neuronalen Netzwerks zu beschleunigen.

Dies ist ein Testfall von Nvidia. Hier versuchen wir, ihn auf einem Jetson-Gerät bereitzustellen und auszuführen.

Hinweis: Für weitere Informationen lesen Sie bitte:

• https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html#network_python
• https://github.com/NVIDIA/TensorRT/tree/main/samples/python/network_api_pytorch_mnist

Vorbereiten der Laufzeitumgebung

TensorRT

Jetpack hat TensorRT vorinstalliert.

Bitte führen Sie den folgenden Befehl im Terminal aus. Wenn die TensorRT-Version im Terminal ausgegeben wird, bedeutet dies, dass TensorRT korrekt installiert ist.

sudo apt install nvidia-jetpack
python3 -c "import tensorrt as trt; print(f'TensorRT version: {trt.__version__}')"

Pytorch und Torchvision

Bitte lesen Sie Modul 3.5 für die Installation von PyTorch und Torchvision. Ich habe Version 2.0.0 von torch installiert.

Ausführen des Beispiels

Laden Sie die Python-Skripte aus dem scripts-Ordner herunter und kopieren Sie sie auf das Jetson-Gerät.

Öffnen Sie das Terminal und führen Sie aus:

cd <path-of-scripts>
python3 sample.py

Wenn das Beispiel erfolgreich ausgeführt wird, sollten Sie eine Übereinstimmung zwischen dem Testfall und der Vorhersage sehen.

Test Case: 4
Prediction: 4

Hinweis: Bitte ignorieren Sie alle Warnmeldungen, die während der Ausführung des Programms erscheinen.

Mehr erfahren