Nvidia CUDA

NVIDIA® TensorRT™ es un ecosistema de APIs para inferencia de aprendizaje profundo de alto rendimiento. TensorRT incluye un runtime de inferencia y optimizaciones de modelos que ofrecen baja latencia y alto rendimiento para aplicaciones de producción. El ecosistema de TensorRT incluye TensorRT, TensorRT-LLM, TensorRT Model Optimizer y TensorRT Cloud.

"Hello World" para TensorRT

En este ejemplo, crearemos una red neuronal con capacidades de clasificación basada en PyTorch para implementar el reconocimiento de dígitos manuscritos. El modelo se entrenará y probará en el conjunto de datos MNIST. Finalmente, el modelo se convertirá al formato TensorRT para acelerar la velocidad de inferencia de la red neuronal.

Este es un caso de prueba de Nvidia. Aquí intentamos implementarlo y ejecutarlo en un dispositivo Jetson.

Nota: Para más información, consulte:

• https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html#network_python
• https://github.com/NVIDIA/TensorRT/tree/main/samples/python/network_api_pytorch_mnist

Preparar el entorno de ejecución

TensorRT

Jetpack tiene TensorRT preinstalado.

Por favor ejecute el siguiente comando en la terminal. Si la versión de TensorRT se imprime en la terminal, significa que TensorRT está instalado correctamente.

sudo apt install nvidia-jetpack
python3 -c "import tensorrt as trt; print(f'TensorRT version: {trt.__version__}')"

Pytorch y Torchvision

Consulte Módulo 3.5 para la instalación de PyTorch y Torchvision. He instalado la versión 2.0.0 de torch.

Ejecutar el ejemplo

Descargue los scripts de Python de la carpeta scripts y cópielos al dispositivo Jetson.

Abra la terminal y ejecute:

cd <path-of-scripts>
python3 sample.py

Si el ejemplo se ejecuta exitosamente, debería ver una coincidencia entre el caso de prueba y la predicción.

Test Case: 4
Prediction: 4

Nota: Por favor ignore cualquier mensaje de advertencia que aparezca durante la ejecución del programa.

Aprender más