Nvidia CUDA

NVIDIA® TensorRT™是一个用于高性能深度学习推理的API生态系统。TensorRT包含推理运行时和模型优化，可为生产应用提供低延迟和高吞吐量。TensorRT生态系统包括TensorRT、TensorRT-LLM、TensorRT Model Optimizer和TensorRT Cloud。

TensorRT的"Hello World"

在这个示例中，我们将创建一个基于PyTorch的具有分类功能的神经网络，以实现手写数字识别。该模型将在MNIST数据集上进行训练和测试。最后，模型将被转换为TensorRT格式，以加速神经网络的推理速度。

这是Nvidia的一个测试案例。这里我们尝试在Jetson设备上部署和运行它。

注意：有关更多信息，请参阅：

• https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html#network_python
• https://github.com/NVIDIA/TensorRT/tree/main/samples/python/network_api_pytorch_mnist

准备运行环境

TensorRT

Jetpack已预装TensorRT。

请在终端中运行以下命令。如果在终端中打印出TensorRT版本，则表示TensorRT已正确安装。

sudo apt install nvidia-jetpack
python3 -c "import tensorrt as trt; print(f'TensorRT version: {trt.__version__}')"

Pytorch和Torchvision

有关PyTorch和Torchvision的安装，请参阅模块 3.5。我已安装torch 2.0.0版本。

运行示例

从scripts文件夹下载Python脚本，并将其复制到Jetson设备。

打开终端并运行：

cd <path-of-scripts>
python3 sample.py

如果示例成功运行，您应该会看到测试用例和预测之间的匹配。

Test Case: 4
Prediction: 4

注意：请忽略程序执行期间出现的任何警告消息。

了解更多