4.9 DeepStream et Jetson

Pourquoi c'est important

À ce stade du cours, l'apprenant comprend les tâches de vision par ordinateur, l'entraînement de modèles, l'exportation et les pipelines en temps réel. L'étape suivante est de voir comment ces idées passent à l'échelle pour devenir un système d'IA edge pratique.

C'est là que DeepStream et Jetson deviennent importants.

DeepStream n'est pas qu'un autre outil de démonstration. C'est un framework pour construire des systèmes d'analyse de streaming haute performance. Sur les appareils Jetson, il aide à connecter l'entrée caméra, l'inférence, le suivi, les métadonnées et les services système dans une architecture plus orientée production.

Objectifs d'apprentissage

À la fin de cette section, vous devriez être capable de :

  • expliquer ce qu'est DeepStream et pourquoi il est important
  • comprendre pourquoi Jetson est une plateforme d'IA edge solide
  • décrire les rôles de JPS, VST, Redis, Ingress et Analytics
  • comprendre en quoi les systèmes multistream diffèrent des démos à flux unique
  • exécuter et examiner un workflow de base orienté DeepStream/JPS

Concepts clés / Théorie

Pourquoi Jetson pour la vision en edge

Les appareils Jetson sont conçus pour des charges de travail d'IA en edge où l'inférence locale est importante. Raisons courantes d'utiliser Jetson :

  • traitement local à faible latence
  • dépendance réduite au cloud
  • accélération GPU sur matériel embarqué
  • prise en charge de l'analyse vidéo en temps réel

Ce que DeepStream apporte

Comparé à un simple script qui lit une caméra et exécute un modèle, DeepStream fournit :

  • décodage accéléré matériellement
  • traitement adapté au batch
  • suivi intégré
  • génération de métadonnées
  • meilleure prise en charge de l'analyse multistream

Ce que Jetson Platform Services apporte

Jetson Platform Services ajoute une couche orientée service autour du pipeline.

Composants importants :

  • VST pour l'intégration de flux et la gestion vidéo
  • Redis pour les métadonnées et la communication inter-services
  • Ingress pour un accès externe unifié
  • Analytics pour des règles telles que ROI et franchissement de ligne

De la démo au système

Un script de démonstration unique répond souvent à :

  • puis-je lire une caméra
  • puis-je exécuter un modèle

Un déploiement au niveau système doit répondre à davantage :

  • puis-je passer à plusieurs flux
  • puis-je gérer les métadonnées
  • puis-je récupérer en cas d'instabilité
  • puis-je exposer des services aux opérateurs et autres applications

C'est la mentalité système que cette section introduit.

Termes clés

  • DeepStream : framework d'analyse de streaming de NVIDIA
  • JPS : Jetson Platform Services
  • VST : Video Storage Toolkit
  • Redis : magasin de données en mémoire souvent utilisé comme épine dorsale des métadonnées
  • Ingress : couche de routage pour l'accès aux services externes
  • Analytics : service pour la logique d'événements basée sur des règles

Exemple travaillé / Exemple de code

Démarrer les services principaux

bash
sudo systemctl start jetson-redis
sudo systemctl start jetson-ingress
sudo systemctl start jetson-vst

Vérifier que les services JPS existent

bash
ls /opt/nvidia/jetson/services
systemctl status jetson-redis
systemctl status jetson-vst

Exécution d'un échantillon DeepStream typique

bash
deepstream-app -c /opt/nvidia/deepstream/deepstream/samples/configs/deepstream-app/source30_1080p_dec_infer-resnet_tiled_display_int8.txt

Inspecter un chemin de flux géré

bash
gst-launch-1.0 rtspsrc location=rtsp://<jetson-ip>:8554/<stream> latency=200 ! \
  rtph264depay ! h264parse ! avdec_h264 ! videoconvert ! autovideosink

Idées reçues fréquentes

  • « DeepStream ne sert qu'au benchmarking. »
    • C'est aussi un framework de construction de systèmes pour l'analyse de streaming.
  • « Si une caméra fonctionne, le déploiement multistream est juste plus de la même chose. »
    • Les systèmes multistream introduisent des préoccupations de planification, de métadonnées et de stabilité.
  • « Le déploiement Jetson ne concerne que la conversion du modèle. »
    • Le déploiement comprend aussi la gestion d'entrée, les services, la supervision et la logique d'événements.

Exercices / Réflexion

  1. Expliquez avec vos propres mots en quoi DeepStream diffère d'un simple script d'inférence OpenCV.
  2. Listez trois raisons pour lesquelles un déploiement multistream est plus difficile qu'une démo à flux unique.
  3. Dessinez un diagramme de blocs simple montrant comment camera -> DeepStream -> tracking -> metadata -> analytics pourrait s'enchaîner.
  4. Réfléchissez au moment où un apprenant devrait choisir un déploiement local Jetson plutôt qu'un traitement uniquement dans le cloud.

Résumé

DeepStream et Jetson transforment la vision par ordinateur en un système edge complet. Cette section aide l'apprenant à passer de la pensée d'un modèle sur un flux à celle d'une analyse visuelle évolutive, basée sur les services.

Étape suivante suggérée

Poursuivez avec 4.10 Technologies de vision d'avant-garde et perspectives, puis explorez l'annexe AI NVR sur reComputer.

Références