Aller au contenu

Entraîner et exécuter π0.5 avec SO-ARM

Téléchargement de la plateforme SenseCraft Robotics : Télécharger

Ce tutoriel utilise un projet d’organisation de bureau composé de trois tâches pour présenter la collecte de données, l’entraînement dans le cloud et la validation réelle avec SO-ARM + π0.5. Les étapes détaillées portent sur le placement d’une boîte carrée dans un bac de rangement. Collectez les deux autres tâches de la même manière, puis fusionnez les trois jeux de données pour l’entraînement.

À la fin, saisissez « Place the square box in the storage bin » pour vérifier que le robot place la boîte dans le bac, puis testez les instructions des deux autres tâches.

Vous pouvez d’abord regarder le tutoriel vidéo ci-dessous ou suivre ensuite le guide illustré étape par étape.

Un modèle VLA (Vision-Language-Action) combine les informations visuelles, linguistiques et d’action. Les caméras capturent les objets et leurs conteneurs de destination, l’instruction précise l’objet à saisir et où le déposer, et l’état du robot fournit notamment les positions articulaires. Le modèle combine ces entrées pour prédire les actions suivantes.

Processus complet :

Créer un projet → Configurer le robot et les caméras → Collecter des démonstrations avec instructions → Vérifier et fusionner les jeux de données → Entraîner dans le cloud → Exécuter sur le robot → Évaluer et compléter les données

Une tâche nécessite généralement plusieurs démonstrations. Dans un jeu multi-tâches, chaque Episode doit conserver l’instruction correspondante.

ConceptSignificationExemple
Instruction de tâche (Task)Objectif que le robot doit accomplirPlacer la boîte carrée dans le bac de rangement
EpisodeEnregistrement complet d’une exécution avec images, états et actionsSaisir la boîte, la déposer dans le bac et arrêter l’enregistrement

Préparez les éléments suivants :

  • Un bras leader et un bras follower SO-ARM assemblés et fonctionnels.

  • Les alimentations, câbles USB et caméras compatibles.

  • Un ordinateur avec l’application de bureau SenseCraft Robotics mise à jour en V1.1.27 et une connexion réseau stable.

    Téléchargement du logiciel : Télécharger

  • Un espace de stockage local suffisant et assez de crédits pour l’entraînement.

  • La boîte carrée, le bac de rangement et une surface de travail stable.

Lors d’une première utilisation, terminez l’assemblage et la configuration de base avant de poursuivre.

Avant l’exécution, fixez la base, dégagez la zone de mouvement et assurez-vous de pouvoir arrêter rapidement le robot. Éloignez les personnes et objets fragiles pendant les premiers essais.

Environnement d’entraînement SO-ARM

3. Créer un projet d’entraînement de modèle IA

Section intitulée « 3. Créer un projet d’entraînement de modèle IA »
  1. Ouvrez SenseCraft Robotics.
  2. Créez un projet au nom explicite, par exemple SOARM-Desktop-Organization.
  3. Sélectionnez AI Model Training comme objectif du projet.
  4. Après la création, ouvrez Device Setup.

Un projet AI Model Training permet de collecter des données, d’entraîner un modèle et d’effectuer l’inférence. Pour enregistrer et répéter uniquement une trajectoire fixe, choisissez Action Playback.

Liste des projets et création d’un projet

Création d’un projet AI Model Training

Dans Device Setup, suivez les indications :

  1. Sélectionner l’appareil : choisissez le modèle utilisé, ici SO-ARM.
  2. Associer les ports série : identifiez les ports leader et follower. Branchez et associez d’abord le leader, puis le follower pour éviter de les inverser.
  3. Calibrer : suivez la procédure pour établir les références articulaires. SO-ARM prend en charge la calibration automatique et manuelle. Pour le mode automatique, placez le bras comme indiqué et laissez assez d’espace pour éviter les collisions.
  4. Vérifier la téléopération : déplacez lentement le leader et vérifiez le suivi du follower ainsi que l’ouverture de la pince.
  5. Associer les caméras : sélectionnez les caméras et contrôlez leur aperçu en direct.

La boîte et le bac doivent être clairement visibles. Simulez le trajet complet et vérifiez que la saisie et le dépôt restent dans l’image. Avec une caméra au poignet, vérifiez la visibilité de la zone de préhension. Faites de même pour les deux autres tâches.

Conservez autant que possible les mêmes positions de caméra, angles, réglages et conditions d’éclairage entre collecte et exécution. Après toute modification, vérifiez la compatibilité avec les données et modèles existants.

Pour plus de détails, consultez le guide SO-ARM101.

5. Collecter des démonstrations avec instructions

Section intitulée « 5. Collecter des démonstrations avec instructions »

5.1 Créer un jeu de données et saisir la description

Section intitulée « 5.1 Créer un jeu de données et saisir la description »
  1. Ouvrez Datasets et créez un jeu de données pour la tâche.
  2. Saisissez un nom et une description. Cette description devient l’instruction de chaque Episode. Décrivez clairement l’action et la destination, par exemple « Pick up the square box and place it in the storage bin », et évitez les formulations vagues.
  3. Définissez le nombre d’Episodes, leur durée et la durée de repos. Commencez par 50 Episodes par tâche et complétez après filtrage afin de conserver au moins 50 démonstrations valides. Un essai complet aide à définir la durée ; 10 à 15 secondes de repos suffisent généralement pour remettre la scène en place.
  4. Vérifiez le robot, les caméras et les paramètres de stockage.
  5. Placez les objets et le robot en position de départ, dans la zone atteignable. Gardez d’abord les positions fixes, puis ajoutez des positions aléatoires lors de l’optimisation.

Page avant la création d’un jeu de données

Nom, description et paramètres de collecte

  1. Démarrez l’enregistrement.
  2. Téléopérez le follower avec le leader pour réaliser une démonstration complète.
  3. Arrêtez l’enregistrement lorsque la tâche est terminée.
  4. Vérifiez et conservez les démonstrations valides.
  5. Réinitialisez les objets et le robot, puis recommencez.

Avant chaque Episode, remettez la boîte et le robot dans leur position initiale et laissez le bac en place. Enregistrez la séquence : approcher → fermer la pince → soulever → déplacer au-dessus du bac → relâcher. Répétez séparément pour les deux autres tâches.

Démarrer l’enregistrement

Progression de l’enregistrement des Episodes

Enregistrez chaque tâche séparément pour entraîner un modèle multi-tâches.

TâcheExemple d’instruction
Placer la boîte carrée dans le bacPick up the square box and place it in the storage bin.
Placer l’orange sur l’assiettePick up the orange and place it on the fruit plate.
Placer le donut dans la boîte à jouetsPick up the donut and place it in the toy box.

Créez un jeu de données distinct pour chacune des trois tâches. L’instruction de chaque lot doit correspondre à la démonstration ; ne réutilisez pas celle de la boîte pour les autres tâches.

Liste des jeux de données des trois tâches

Avant l’entraînement, contrôlez par tâche :

  • l’exactitude et l’exhaustivité des instructions ;
  • la netteté des images et la visibilité des actions importantes ;
  • l’absence d’échecs évidents ou de segments sans rapport ;
  • la couverture suffisante de chaque tâche.

Après vérification, sélectionnez les trois jeux dans la fonction de fusion. Nommez le résultat « desktop organization » si souhaité, conservez l’association et l’instruction d’origine de chaque Episode, puis utilisez-le pour l’entraînement.

Vérifiez la compatibilité des types de robot, configurations de caméra, FPS, espaces d’action et autres réglages. En cas d’incompatibilité, ajustez les sources ou recollectez les données.

Avec 50 Episodes valides par source, le résultat doit afficher 3 tâches et 150 Episodes. Filtrez chaque tâche, relisez quelques enregistrements, excluez les échecs et complétez les données manquantes.

Tâches et Episodes après fusion

Entrée de fusion dans la liste

Sélection et fusion des trois sources

  1. Ouvrez Train.
  2. Choisissez le GPU cloud.
  3. Sélectionnez le jeu de données vérifié.
  4. Choisissez π0.5 comme stratégie.
  5. Utilisez la configuration recommandée pour le premier essai.
  6. Vérifiez les paramètres, ressources, quotas et coûts affichés.
  7. Soumettez la tâche et suivez sa progression.

La plateforme vérifie la compatibilité avant l’envoi. Corrigez toute instruction manquante, configuration de caméra incompatible ou autre problème avant de réessayer.

Une fois l’entraînement terminé, ouvrez Models et retrouvez le modèle correspondant. Son nom combine généralement le nom du jeu de données et la stratégie.

La fin de l’entraînement ne garantit pas les performances réelles : validez toujours le modèle sur le robot. Exécutez-le d’abord, puis décidez d’ajouter des données ou d’ajuster les paramètres selon les échecs observés.

Modèle entraîné dans la liste

Progression de l’entraînement π0.5

Mode d’exécution : les modèles VLA, notamment π0.5, exigent beaucoup de calcul GPU et de mémoire. Utilisez ici un GPU cloud pour l’inférence ; le robot et les caméras restent connectés à l’ordinateur local, qui exécute les sorties du modèle. Maintenez une connexion stable. Pour une inférence locale, vérifiez d’abord la configuration matérielle et logicielle.

  1. Ouvrez Run.
  2. Choisissez le GPU cloud.
  3. Sélectionnez le modèle π0.5 entraîné et un mode d’exécution compatible.
  4. Vérifiez les connexions et la concordance avec la configuration d’entraînement.
  5. Replacez la boîte, le bac et le robot comme lors de la collecte. Utilisez les mêmes vues, objets et disposition pour le premier test.
  6. Saisissez « Pick up the square box and place it in the storage bin. ». Pour les autres tâches, réinitialisez leur scène et utilisez leur instruction d’origine.
  7. Lancez l’exécution et arrêtez immédiatement en cas de mouvement anormal.

Validez chaque tâche d’un modèle multi-tâches avec son instruction correspondante.

Exécuter le modèle VLA

Problème observéPremier contrôle ou ajout recommandé
Réussite depuis peu de positionsAjouter des démonstrations correctes avec différentes positions
Saisies manquées ou placements imprécisVérifier caméras, calibration et qualité des données, puis compléter les scénarios concernés
Une tâche multi-tâches est moins performanteVérifier ses instructions, la qualité des Episodes et la couverture des données
Baisse après changement de caméra ou de scèneVérifier la cohérence et collecter dans les nouvelles conditions
Actions incohérentes avec l’instructionVérifier l’association tâche/Episode et l’instruction d’exécution

Conservez les versions des données, configurations et résultats de chaque itération. Corrigez d’abord les problèmes de données évidents avant d’ajuster les paramètres d’entraînement.

Un jeu de données peut-il contenir plusieurs tâches ?

Section intitulée « Un jeu de données peut-il contenir plusieurs tâches ? »

Oui. Chaque Episode doit conserver la bonne instruction et les configurations d’appareil, de caméra et de données doivent être compatibles.

Peut-on exécuter n’importe quelle tâche en changeant seulement l’instruction ?

Section intitulée « Peut-on exécuter n’importe quelle tâche en changeant seulement l’instruction ? »

Ce n’est pas garanti. Les performances dépendent du modèle de base, des démonstrations et des conditions réelles. Validez d’abord les tâches couvertes par l’entraînement.

Les données d’évaluation peuvent-elles servir à poursuivre l’entraînement ?

Section intitulée « Les données d’évaluation peuvent-elles servir à poursuivre l’entraînement ? »

Oui, après vérification et filtrage. Utilisez les échecs pour analyser les problèmes et ajoutez en priorité des démonstrations correctes des scénarios concernés.

Modifiez l’emplacement dans les paramètres de l’application et suivez les instructions de migration. Vérifiez ensuite l’accès aux jeux de données, modèles, enregistrements et données d’évaluation.