9.6 Segmentación de Imágenes

Referencia de uso de Docker: Módulo 3.7 Docker

Enlace web oficial de segmentación de imágenes Isaac ROS: https://nvidia-isaac-ros.github.io/repositories_and_packages/isaac_ros_image_segmentation/index.html

Descripción general

La segmentación de imágenes Isaac ROS contiene un paquete ROS para segmentación semántica de imágenes.

Estos paquetes proporcionan una clasificación a nivel de píxel de las imágenes de entrada al ejecutar inferencia con aceleración por GPU sobre el modelo DNN. Cada píxel que entra en una imagen se proyecta para caer dentro de un grupo definido de categorías. La función del sensor puede usar las predicciones de salida para entender la posición espacial de cada categoría en una imagen bidimensional o para integrarla con la posición de profundidad correspondiente en una escena tridimensional.

Inicio rápido

Para simplificar el desarrollo, utilizamos principalmente imágenes Isaac ROS Dev Docker y realizamos demostraciones de impacto sobre ellas. La demostración no requiere la instalación de ningún dispositivo de cámara, ya que simula los flujos de datos de la cámara reproduciendo el archivo rosbag.

Si planea ejecutar el flujo de trabajo en hardware real o con una cámara conectada, consulte la documentación oficial de Isaac ROS para conocer las configuraciones de cámara compatibles.

Abra una terminal, muévase al espacio de trabajo y entre en el contenedor de desarrollo Isaac ROS.

bash


cd ${ISAAC_ROS_WS}/src

cd ${ISAAC_ROS_WS}/src/isaac_ros_common && \
./scripts/run_dev.sh

Ejecute el siguiente comando de lanzamiento:

bash


ros2 launch isaac_ros_examples isaac_ros_examples.launch.py launch_fragments:=segformer interface_specs_file:=${ISAAC_ROS_WS}/isaac_ros_assets/isaac_ros_segformer/quickstart_interface_specs.json model_name:=peoplesemsegformer model_repository_paths:=[${ISAAC_ROS_WS}/isaac_ros_assets/models]

Abra una segunda terminal y entre en el contenedor.

bash


cd ${ISAAC_ROS_WS}/src/isaac_ros_common && \
./scripts/run_dev.sh

Ejecute el siguiente comando:

bash


ros2 bag play -l isaac_ros_assets/isaac_ros_segformer/segformer_sample_data

Ver el resultado

Abra la tercera terminal y entre en el contenedor.

bash


cd ${ISAAC_ROS_WS}/src/isaac_ros_common && \
./scripts/run_dev.sh

Ejecute el siguiente comando para ver el resultado:

bash


ros2 run rqt_image_view rqt_image_view /segformer/colored_segmentation_mask