9.8 Objectdetectie

Docker-gebruiksreferentie: Module 3.7 Docker

Isaac ROS Objectcontrole-netwerklink: https://nvidia-isaac-ros.github.io/repositories_and_packages/isaac_ros_object_detection/index.html

Overzicht

Isaac ROS objectdetectie omvat softwarepakketten in ROS 2 om objectdetectie uit te voeren. Isaac ros rtdetr, Isaac ros dectnet en isaac ros yolov8 bieden respectievelijk een methode voor ruimtelijke classificatie van invoerbeelden met behulp van begrenzingskaders. De classificatie wordt geïmplementeerd door het GPU-versnellingsmodel van de bijbehorende structuur:

isac ros rtdetr: RT-DTR-model

isac ros dectnet: DetectNet-model

isac ros yolov8: YOLOv8-model

Uitvoervoorspellingen kunnen worden gebruikt om het bestaan van objecten in beelden en hun ruimtelijke locatie te begrijpen.

Snelstart

Om de ontwikkeling te vereenvoudigen, gebruiken we voornamelijk Isaac ROS Dev Docker-images en voeren daarop impactdemonstraties uit. De demonstratie vereist geen installatie van een camera-apparaat, omdat de gegevensstromen van de camera worden gesimuleerd door het afspelen van het rosbag-bestand.

Als u van plan bent de workflow op echte hardware of met een aangesloten camera uit te voeren, raadpleeg dan de officiële Isaac ROS-documentatie voor ondersteunde camera-instellingen.

Open een terminal, ga naar de werkruimte en betreed de Isaac ROS-ontwikkelingscontainer.

bash

cd ${ISAAC_ROS_WS}/src

cd ${ISAAC_ROS_WS}/src/isaac_ros_common && \
./scripts/run_dev.sh

Voer de volgende lanceringsopdracht uit:

bash

ros2 launch isaac_ros_examples isaac_ros_examples.launch.py launch_fragments:=detectnet interface_specs_file:=${ISAAC_ROS_WS}/isaac_ros_assets/isaac_ros_detectnet/quickstart_interface_specs.json

Open een tweede terminal en betreed de container.

bash

cd ${ISAAC_ROS_WS}/src/isaac_ros_common && \
./scripts/run_dev.sh

Voer de volgende opdracht uit:

bash

ros2 bag play -l ${ISAAC_ROS_WS}/isaac_ros_assets/isaac_ros_detectnet/rosbags/detectnet_rosbag --remap image:=image_rect camera_info:=camera_info_rect

Het resultaat bekijken

Open de derde terminal en betreed de container.

bash

cd ${ISAAC_ROS_WS}/src/isaac_ros_common && \
./scripts/run_dev.sh

Voer de volgende opdracht uit:

bash

ros2 run isaac_ros_detectnet isaac_ros_detectnet_visualizer.py --ros-args --remap image:=detectnet_encoder/resize/image

Open de vierde terminal en betreed de container.

bash

cd ${ISAAC_ROS_WS}/src/isaac_ros_common && \
./scripts/run_dev.sh

Voer de volgende opdracht uit om het resultaat te bekijken:

bash

ros2 run rqt_image_view rqt_image_view /detectnet_processed_image