Nvidia CUDA

NVIDIA® TensorRT™は、高性能ディープラーニング推論用のAPIのエコシステムです。TensorRTには、低レイテンシーと高スループットを提供する推論ランタイムとモデル最適化が含まれています。TensorRTエコシステムには、TensorRT、TensorRT-LLM、TensorRT Model Optimizer、TensorRT Cloudが含まれます。

TensorRTの"Hellow World"

このサンプルでは、手書き数字認識を実装するために、PyTorchベースの分類機能を持つニューラルネットワークを作成します。モデルはMNISTデータセットでトレーニングおよびテストされます。最後に、ニューラルネットワークの推論速度を高速化するために、モデルをTensorRT形式に変換します。

これはNvidiaのテストケースです。ここでは、Jetsonデバイスに展開して実行하려とします。

注：詳細については、以下を参照してください：

• https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html#network_python
• https://github.com/NVIDIA/TensorRT/tree/main/samples/python/network_api_pytorch_mnist

実行環境の準備

TensorRT

JetpackにはTensorRTがプリインストールされています。

ターミナルで次のコマンドを実行してください。TensorRTバージョンがターミナルに表示される場合は、TensorRTが正しくインストールされています。

sudo apt install nvidia-jetpack
python3 -c "import tensorrt as trt; print(f'TensorRT version: {trt.__version__}')"

PytorchとTorchvision

PyTorchとTorchvisionのインストールについては、モジュール 3.5を参照してください。torchのバージョン2.0.0をインストールしています。

サンプルの実行

scriptsフォルダからPythonスクリプトをダウンロードし、Jetsonデバイスにコピーします。

ターミナルを開き、次を実行します：

cd <path-of-scripts>
python3 sample.py

サンプルが正常に実行されると、テストケースと予測の一致が表示されるはずです。

Test Case: 4
Prediction: 4

注：プログラムの実行中に表示される警告メッセージは無視してください。

詳細を見る