9.6 Beeldsegmentatie

Docker-gebruiksreferentie: Module 3.7 Docker

Officiële weblink voor Isaac ROS beeldsegmentatie: https://nvidia-isaac-ros.github.io/repositories_and_packages/isaac_ros_image_segmentation/index.html

Overzicht

Isaac ROS beeldsegmentatie bevat een ROS-pakket voor semantische beeldsegmentatie.

Deze pakketten bieden een classificatie op pixelniveau van invoerbeelden door GPU-versnelde inferentie uit te voeren op het DNN-model. Elke pixel die een beeld binnenkomt, wordt geprojecteerd om in een gedefinieerde groep categorieën te vallen. De sensorfunctie kan uitvoervoorspellingen gebruiken om de ruimtelijke positie van elke categorie in een tweedimensionaal beeld te begrijpen of om deze te integreren met de overeenkomstige diepteposotie in een driedimensionale scène.

Snelstart

Om de ontwikkeling te vereenvoudigen, gebruiken we voornamelijk Isaac ROS Dev Docker-images en voeren daarop impactdemonstraties uit. De demonstratie vereist geen installatie van een camera-apparaat, omdat de gegevensstromen van de camera worden gesimuleerd door het afspelen van het rosbag-bestand.

Als u van plan bent de workflow op echte hardware of met een aangesloten camera uit te voeren, raadpleeg dan de officiële Isaac ROS-documentatie voor ondersteunde camera-instellingen.

Open een terminal, ga naar de werkruimte en betreed de Isaac ROS-ontwikkelingscontainer.

bash


cd ${ISAAC_ROS_WS}/src

cd ${ISAAC_ROS_WS}/src/isaac_ros_common && \
./scripts/run_dev.sh

Voer de volgende lanceringsopdracht uit:

bash


ros2 launch isaac_ros_examples isaac_ros_examples.launch.py launch_fragments:=segformer interface_specs_file:=${ISAAC_ROS_WS}/isaac_ros_assets/isaac_ros_segformer/quickstart_interface_specs.json model_name:=peoplesemsegformer model_repository_paths:=[${ISAAC_ROS_WS}/isaac_ros_assets/models]

Open een tweede terminal en betreed de container.

bash


cd ${ISAAC_ROS_WS}/src/isaac_ros_common && \
./scripts/run_dev.sh

Voer de volgende opdracht uit:

bash


ros2 bag play -l isaac_ros_assets/isaac_ros_segformer/segformer_sample_data

Het resultaat bekijken

Open de derde terminal en betreed de container.

bash


cd ${ISAAC_ROS_WS}/src/isaac_ros_common && \
./scripts/run_dev.sh

Voer de volgende opdracht uit om het resultaat te bekijken:

bash


ros2 run rqt_image_view rqt_image_view /segformer/colored_segmentation_mask