9.6 Bildsegmentierung

Docker-Nutzungsreferenz: Modul 3.7 Docker

Offizieller Weblink zur Isaac ROS Bildsegmentierung: https://nvidia-isaac-ros.github.io/repositories_and_packages/isaac_ros_image_segmentation/index.html

Übersicht

Die Isaac ROS Bildsegmentierung enthält ein ROS-Paket für die semantische Bildsegmentierung.

Diese Pakete bieten eine pixelweise Klassifizierung von Eingabebildern, indem sie GPU-beschleunigte Inferenz auf dem DNN-Modell ausführen. Jedes Pixel, das in ein Bild eingeht, wird in eine definierte Gruppe von Kategorien projiziert. Die Sensorfunktion kann die Ausgabevorhersagen verwenden, um die räumliche Position jeder Kategorie in einem zweidimensionalen Bild zu verstehen oder sie mit der entsprechenden Tiefenposition in einer dreidimensionalen Szene zu integrieren.

Schnellstart

Um die Entwicklung zu vereinfachen, verwenden wir hauptsächlich Isaac ROS Dev Docker-Images und führen darauf Auswirkungsdemonstrationen durch. Die Demonstration erfordert nicht die Installation eines Kamerageräts, da Datenströme der Kamera durch Abspielen der rosbag-Datei simuliert werden.

Wenn Sie den Workflow auf echter Hardware oder mit einer angeschlossenen Kamera ausführen möchten, finden Sie in der offiziellen Isaac ROS-Dokumentation Informationen zu unterstützten Kamera-Setups.

Öffnen Sie ein Terminal, wechseln Sie in den Workspace und betreten Sie den Isaac ROS-Entwicklungscontainer.

cd ${ISAAC_ROS_WS}/src

cd ${ISAAC_ROS_WS}/src/isaac_ros_common && \
./scripts/run_dev.sh

Führen Sie den folgenden Startbefehl aus:

ros2 launch isaac_ros_examples isaac_ros_examples.launch.py launch_fragments:=segformer interface_specs_file:=${ISAAC_ROS_WS}/isaac_ros_assets/isaac_ros_segformer/quickstart_interface_specs.json model_name:=peoplesemsegformer model_repository_paths:=[${ISAAC_ROS_WS}/isaac_ros_assets/models]

Öffnen Sie ein zweites Terminal und betreten Sie den Container.

cd ${ISAAC_ROS_WS}/src/isaac_ros_common && \
./scripts/run_dev.sh

Führen Sie den folgenden Befehl aus:

ros2 bag play -l isaac_ros_assets/isaac_ros_segformer/segformer_sample_data

Ergebnis anzeigen

Öffnen Sie das dritte Terminal und betreten Sie den Container.

cd ${ISAAC_ROS_WS}/src/isaac_ros_common && \
./scripts/run_dev.sh

Führen Sie den folgenden Befehl aus, um das Ergebnis anzuzeigen:

ros2 run rqt_image_view rqt_image_view /segformer/colored_segmentation_mask