Nvidia CUDA

NVIDIA® TensorRT™ est un écosystème d'API pour l'inférence d'apprentissage profond haute performance. TensorRT comprend un runtime d'inférence et des optimisations de modèle qui offrent une latence faible et un débit élevé pour les applications de production. L'écosystème TensorRT comprend TensorRT, TensorRT-LLM, TensorRT Model Optimizer et TensorRT Cloud.

"Hello World" pour TensorRT

Dans cet exemple, nous créerons un réseau neuronal avec des capacités de classification basé sur PyTorch pour implémenter la reconnaissance de chiffres manuscrits. Le modèle sera entraîné et testé sur l'ensemble de données MNIST. Enfin, le modèle sera converti au format TensorRT pour accélérer la vitesse d'inférence du réseau neuronal.

Ceci est un cas de test de Nvidia. Ici, nous essayons de le déployer et de l'exécuter sur un appareil Jetson.

Note: Pour plus d'informations, consultez:

• https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html#network_python
• https://github.com/NVIDIA/TensorRT/tree/main/samples/python/network_api_pytorch_mnist

Préparer l'environnement d'exécution

TensorRT

Jetpack a TensorRT préinstallé.

Veuillez exécuter la commande suivante dans le terminal. Si la version de TensorRT s'affiche dans le terminal, cela signifie que TensorRT est installé correctement.

sudo apt install nvidia-jetpack
python3 -c "import tensorrt as trt; print(f'TensorRT version: {trt.__version__}')"

Pytorch et Torchvision

Veuillez vous référer à Module 3.5 pour l'installation de PyTorch et Torchvision. J'ai installé la version 2.0.0 de torch.

Exécuter l'exemple

Téléchargez les scripts Python depuis le dossier scripts et copiez-les sur l'appareil Jetson.

Ouvrez le terminal et exécutez:

cd <path-of-scripts>
python3 sample.py

Si l'exemple s'exécute avec succès, vous devriez voir une correspondance entre le cas de test et la prédiction.

Test Case: 4
Prediction: 4

Note: Veuillez ignorer les messages d'avertissement qui apparaissent pendant l'exécution du programme.

En savoir plus