9.9 3D-poseschatting

Docker-gebruiksreferentie: Module 3.7 Docker

Officiële link voor Isaac ROS 3D-poseschatting: https://nvidia-isaac-ros.github.io/repositories_and_packages/isaac_ros_pose_estimation/isaac_ros_centerpose/index.html

Overzicht

Isaac ROS Pose Estimation bevat drie hoofd-ROS 2-pakketten voor 6-DoF-objectposeworkflows. De onderstaande tabel vat de verschillen tussen hen samen.

Pakket	Nieuw object zonder hertrainen	TAO-ondersteuning	Relatieve snelheid	Relatieve kwaliteit	Beste toepassing
`isaac_ros_foundationpose`	Ja	N/A	Snel	Beste	Zero-shot poseschatting en tracking voor ongeziene objecten
`isaac_ros_dope`	Nee	Nee	Snelst	Goed	Volwassen, lichtgewicht poseschatting voor bekende objecten
`isaac_ros_centerpose`	Nee	Ja	Sneller	Beter	Poseschatting van bekende objecten met NVIDIA TAO-trainingsondersteuning

Deze pakketten gebruiken GPU om DNN-redenering te versnellen om de houding van het object te schatten. De sensorfunctie kan uitvoervoorspellingen gebruiken om te integreren met de overeenkomstige diepte, en zo de 3D-houding en afstand van het object voor navigatie of bediening te bieden.

Snelstart

Om de ontwikkeling te vereenvoudigen, gebruiken we voornamelijk Isaac ROS Dev Docker-images en voeren daarop impactdemonstraties uit. De demonstratie vereist geen installatie van een camera-apparaat, omdat de gegevensstromen van de camera worden gesimuleerd door het afspelen van het rosbag-bestand.

Als u van plan bent de workflow op echte hardware of met een aangesloten camera uit te voeren, raadpleeg dan de officiële Isaac ROS-documentatie voor ondersteunde camera-instellingen.

Open een terminal, ga naar de werkruimte en betreed de Isaac ROS-ontwikkelingscontainer.

bash


cd ${ISAAC_ROS_WS}/src

cd ${ISAAC_ROS_WS}/src/isaac_ros_common && \
./scripts/run_dev.sh

Voer de volgende lanceringsopdracht uit:

bash


ros2 launch isaac_ros_examples isaac_ros_examples.launch.py launch_fragments:=centerpose,centerpose_visualizer interface_specs_file:=${ISAAC_ROS_WS}/isaac_ros_assets/isaac_ros_centerpose/quickstart_interface_specs.json model_name:=centerpose_shoe model_repository_paths:=[${ISAAC_ROS_WS}/isaac_ros_assets/models]

Open een tweede terminal en betreed de container.

bash


cd ${ISAAC_ROS_WS}/src/isaac_ros_common && \
./scripts/run_dev.sh

Voer de volgende opdracht uit:

bash


ros2 bag play -l ${ISAAC_ROS_WS}/isaac_ros_assets/isaac_ros_centerpose/quickstart.bag

Het resultaat bekijken

Open de derde terminal en betreed de container.

bash


cd ${ISAAC_ROS_WS}/src/isaac_ros_common && \
./scripts/run_dev.sh

Voer de volgende opdracht uit om het resultaat te bekijken:

bash


ros2 run rqt_image_view rqt_image_view /centerpose/image_visualized

PreviousObjectdetectie

NextVisuele SLAM