Nvidia CUDA

NVIDIA® TensorRT™ is een ecosysteem van API's voor hoogwaardige deep learning-inferentie. TensorRT bevat een inferentie-runtime en modeloptimalisaties die lage latentie en hoge doorvoer leveren voor productieapplicaties. Het TensorRT-ecosysteem omvat TensorRT, TensorRT-LLM, TensorRT Model Optimizer en TensorRT Cloud.

"Hello World" voor TensorRT

In dit voorbeeld maken we een neuraal netwerk met classificatiemogelijkheden op basis van PyTorch om handschriftherkenning van cijfers te implementeren. Het model wordt getraind en getest op de MNIST-dataset. Ten slotte wordt het model geconverteerd naar het TensorRT-formaat om de inferentiesnelheid van het neurale netwerk te versnellen.

Dit is een testcase van Nvidia. Hier proberen we het te implementeren en uit te voeren op een Jetson-apparaat.

Opmerking: Raadpleeg voor meer informatie:

• https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html#network_python
• https://github.com/NVIDIA/TensorRT/tree/main/samples/python/network_api_pytorch_mnist

De runtime-omgeving voorbereiden

TensorRT

Jetpack heeft TensorRT voorgeïnstalleerd.

Voer de volgende opdracht uit in de terminal. Als de TensorRT-versie in de terminal wordt afgedrukt, betekent dit dat TensorRT correct is geïnstalleerd.

sudo apt install nvidia-jetpack
python3 -c "import tensorrt as trt; print(f'TensorRT version: {trt.__version__}')"

Pytorch en Torchvision

Raadpleeg Module 3.5 voor de installatie van PyTorch en Torchvision. Ik heb versie 2.0.0 van torch geïnstalleerd.

Het voorbeeld uitvoeren

Download de Python-scripts van de scripts map en kopieer ze naar het Jetson-apparaat.

Open de terminal en voer uit:

cd <path-of-scripts>
python3 sample.py

Als het voorbeeld succesvol wordt uitgevoerd, zou u een overeenkomst moeten zien tussen de testcase en de voorspelling.

Test Case: 4
Prediction: 4

Opmerking: Negeer eventuele waarschuwingsberichten die verschijnen tijdens de uitvoering van het programma.

Meer informatie