Entraîner et exécuter π0.5 avec SO-ARM
Téléchargement de la plateforme SenseCraft Robotics : Télécharger
Ce tutoriel utilise un projet d’organisation de bureau composé de trois tâches pour présenter la collecte de données, l’entraînement dans le cloud et la validation réelle avec SO-ARM + π0.5. Les étapes détaillées portent sur le placement d’une boîte carrée dans un bac de rangement. Collectez les deux autres tâches de la même manière, puis fusionnez les trois jeux de données pour l’entraînement.
À la fin, saisissez « Place the square box in the storage bin » pour vérifier que le robot place la boîte dans le bac, puis testez les instructions des deux autres tâches.
Vous pouvez d’abord regarder le tutoriel vidéo ci-dessous ou suivre ensuite le guide illustré étape par étape.
1. Comprendre le processus d’entraînement
Section intitulée « 1. Comprendre le processus d’entraînement »Un modèle VLA (Vision-Language-Action) combine les informations visuelles, linguistiques et d’action. Les caméras capturent les objets et leurs conteneurs de destination, l’instruction précise l’objet à saisir et où le déposer, et l’état du robot fournit notamment les positions articulaires. Le modèle combine ces entrées pour prédire les actions suivantes.
Processus complet :
Créer un projet → Configurer le robot et les caméras → Collecter des démonstrations avec instructions → Vérifier et fusionner les jeux de données → Entraîner dans le cloud → Exécuter sur le robot → Évaluer et compléter les données
Une tâche nécessite généralement plusieurs démonstrations. Dans un jeu multi-tâches, chaque Episode doit conserver l’instruction correspondante.
| Concept | Signification | Exemple |
|---|---|---|
| Instruction de tâche (Task) | Objectif que le robot doit accomplir | Placer la boîte carrée dans le bac de rangement |
| Episode | Enregistrement complet d’une exécution avec images, états et actions | Saisir la boîte, la déposer dans le bac et arrêter l’enregistrement |
2. Prérequis
Section intitulée « 2. Prérequis »Préparez les éléments suivants :
-
Un bras leader et un bras follower SO-ARM assemblés et fonctionnels.
-
Les alimentations, câbles USB et caméras compatibles.
-
Un ordinateur avec l’application de bureau SenseCraft Robotics mise à jour en V1.1.27 et une connexion réseau stable.
Téléchargement du logiciel : Télécharger
-
Un espace de stockage local suffisant et assez de crédits pour l’entraînement.
-
La boîte carrée, le bac de rangement et une surface de travail stable.
Lors d’une première utilisation, terminez l’assemblage et la configuration de base avant de poursuivre.
Avant l’exécution, fixez la base, dégagez la zone de mouvement et assurez-vous de pouvoir arrêter rapidement le robot. Éloignez les personnes et objets fragiles pendant les premiers essais.

3. Créer un projet d’entraînement de modèle IA
Section intitulée « 3. Créer un projet d’entraînement de modèle IA »- Ouvrez SenseCraft Robotics.
- Créez un projet au nom explicite, par exemple
SOARM-Desktop-Organization. - Sélectionnez AI Model Training comme objectif du projet.
- Après la création, ouvrez Device Setup.
Un projet AI Model Training permet de collecter des données, d’entraîner un modèle et d’effectuer l’inférence. Pour enregistrer et répéter uniquement une trajectoire fixe, choisissez Action Playback.


4. Configurer le bras robotique et les caméras
Section intitulée « 4. Configurer le bras robotique et les caméras »Dans Device Setup, suivez les indications :
- Sélectionner l’appareil : choisissez le modèle utilisé, ici SO-ARM.
- Associer les ports série : identifiez les ports leader et follower. Branchez et associez d’abord le leader, puis le follower pour éviter de les inverser.
- Calibrer : suivez la procédure pour établir les références articulaires. SO-ARM prend en charge la calibration automatique et manuelle. Pour le mode automatique, placez le bras comme indiqué et laissez assez d’espace pour éviter les collisions.
- Vérifier la téléopération : déplacez lentement le leader et vérifiez le suivi du follower ainsi que l’ouverture de la pince.
- Associer les caméras : sélectionnez les caméras et contrôlez leur aperçu en direct.
La boîte et le bac doivent être clairement visibles. Simulez le trajet complet et vérifiez que la saisie et le dépôt restent dans l’image. Avec une caméra au poignet, vérifiez la visibilité de la zone de préhension. Faites de même pour les deux autres tâches.
Conservez autant que possible les mêmes positions de caméra, angles, réglages et conditions d’éclairage entre collecte et exécution. Après toute modification, vérifiez la compatibilité avec les données et modèles existants.
Pour plus de détails, consultez le guide SO-ARM101.
5. Collecter des démonstrations avec instructions
Section intitulée « 5. Collecter des démonstrations avec instructions »5.1 Créer un jeu de données et saisir la description
Section intitulée « 5.1 Créer un jeu de données et saisir la description »- Ouvrez Datasets et créez un jeu de données pour la tâche.
- Saisissez un nom et une description. Cette description devient l’instruction de chaque Episode. Décrivez clairement l’action et la destination, par exemple « Pick up the square box and place it in the storage bin », et évitez les formulations vagues.
- Définissez le nombre d’Episodes, leur durée et la durée de repos. Commencez par 50 Episodes par tâche et complétez après filtrage afin de conserver au moins 50 démonstrations valides. Un essai complet aide à définir la durée ; 10 à 15 secondes de repos suffisent généralement pour remettre la scène en place.
- Vérifiez le robot, les caméras et les paramètres de stockage.
- Placez les objets et le robot en position de départ, dans la zone atteignable. Gardez d’abord les positions fixes, puis ajoutez des positions aléatoires lors de l’optimisation.


5.2 Enregistrer plusieurs Episodes
Section intitulée « 5.2 Enregistrer plusieurs Episodes »- Démarrez l’enregistrement.
- Téléopérez le follower avec le leader pour réaliser une démonstration complète.
- Arrêtez l’enregistrement lorsque la tâche est terminée.
- Vérifiez et conservez les démonstrations valides.
- Réinitialisez les objets et le robot, puis recommencez.
Avant chaque Episode, remettez la boîte et le robot dans leur position initiale et laissez le bac en place. Enregistrez la séquence : approcher → fermer la pince → soulever → déplacer au-dessus du bac → relâcher. Répétez séparément pour les deux autres tâches.


5.3 Collecter différentes tâches
Section intitulée « 5.3 Collecter différentes tâches »Enregistrez chaque tâche séparément pour entraîner un modèle multi-tâches.
| Tâche | Exemple d’instruction |
|---|---|
| Placer la boîte carrée dans le bac | Pick up the square box and place it in the storage bin. |
| Placer l’orange sur l’assiette | Pick up the orange and place it on the fruit plate. |
| Placer le donut dans la boîte à jouets | Pick up the donut and place it in the toy box. |
Créez un jeu de données distinct pour chacune des trois tâches. L’instruction de chaque lot doit correspondre à la démonstration ; ne réutilisez pas celle de la boîte pour les autres tâches.

6. Vérifier et fusionner les jeux de données
Section intitulée « 6. Vérifier et fusionner les jeux de données »Avant l’entraînement, contrôlez par tâche :
- l’exactitude et l’exhaustivité des instructions ;
- la netteté des images et la visibilité des actions importantes ;
- l’absence d’échecs évidents ou de segments sans rapport ;
- la couverture suffisante de chaque tâche.
Après vérification, sélectionnez les trois jeux dans la fonction de fusion. Nommez le résultat « desktop organization » si souhaité, conservez l’association et l’instruction d’origine de chaque Episode, puis utilisez-le pour l’entraînement.
Vérifiez la compatibilité des types de robot, configurations de caméra, FPS, espaces d’action et autres réglages. En cas d’incompatibilité, ajustez les sources ou recollectez les données.
Avec 50 Episodes valides par source, le résultat doit afficher 3 tâches et 150 Episodes. Filtrez chaque tâche, relisez quelques enregistrements, excluez les échecs et complétez les données manquantes.



7. Entraîner π0.5 dans le cloud
Section intitulée « 7. Entraîner π0.5 dans le cloud »- Ouvrez Train.
- Choisissez le GPU cloud.
- Sélectionnez le jeu de données vérifié.
- Choisissez π0.5 comme stratégie.
- Utilisez la configuration recommandée pour le premier essai.
- Vérifiez les paramètres, ressources, quotas et coûts affichés.
- Soumettez la tâche et suivez sa progression.
La plateforme vérifie la compatibilité avant l’envoi. Corrigez toute instruction manquante, configuration de caméra incompatible ou autre problème avant de réessayer.
Une fois l’entraînement terminé, ouvrez Models et retrouvez le modèle correspondant. Son nom combine généralement le nom du jeu de données et la stratégie.
La fin de l’entraînement ne garantit pas les performances réelles : validez toujours le modèle sur le robot. Exécutez-le d’abord, puis décidez d’ajouter des données ou d’ajuster les paramètres selon les échecs observés.


8. Exécuter le modèle sur SO-ARM
Section intitulée « 8. Exécuter le modèle sur SO-ARM »Mode d’exécution : les modèles VLA, notamment π0.5, exigent beaucoup de calcul GPU et de mémoire. Utilisez ici un GPU cloud pour l’inférence ; le robot et les caméras restent connectés à l’ordinateur local, qui exécute les sorties du modèle. Maintenez une connexion stable. Pour une inférence locale, vérifiez d’abord la configuration matérielle et logicielle.
- Ouvrez Run.
- Choisissez le GPU cloud.
- Sélectionnez le modèle π0.5 entraîné et un mode d’exécution compatible.
- Vérifiez les connexions et la concordance avec la configuration d’entraînement.
- Replacez la boîte, le bac et le robot comme lors de la collecte. Utilisez les mêmes vues, objets et disposition pour le premier test.
- Saisissez « Pick up the square box and place it in the storage bin. ». Pour les autres tâches, réinitialisez leur scène et utilisez leur instruction d’origine.
- Lancez l’exécution et arrêtez immédiatement en cas de mouvement anormal.
Validez chaque tâche d’un modèle multi-tâches avec son instruction correspondante.

9. Améliorer le modèle selon les résultats
Section intitulée « 9. Améliorer le modèle selon les résultats »| Problème observé | Premier contrôle ou ajout recommandé |
|---|---|
| Réussite depuis peu de positions | Ajouter des démonstrations correctes avec différentes positions |
| Saisies manquées ou placements imprécis | Vérifier caméras, calibration et qualité des données, puis compléter les scénarios concernés |
| Une tâche multi-tâches est moins performante | Vérifier ses instructions, la qualité des Episodes et la couverture des données |
| Baisse après changement de caméra ou de scène | Vérifier la cohérence et collecter dans les nouvelles conditions |
| Actions incohérentes avec l’instruction | Vérifier l’association tâche/Episode et l’instruction d’exécution |
Conservez les versions des données, configurations et résultats de chaque itération. Corrigez d’abord les problèmes de données évidents avant d’ajuster les paramètres d’entraînement.
10. Questions fréquentes
Section intitulée « 10. Questions fréquentes »Un jeu de données peut-il contenir plusieurs tâches ?
Section intitulée « Un jeu de données peut-il contenir plusieurs tâches ? »Oui. Chaque Episode doit conserver la bonne instruction et les configurations d’appareil, de caméra et de données doivent être compatibles.
Peut-on exécuter n’importe quelle tâche en changeant seulement l’instruction ?
Section intitulée « Peut-on exécuter n’importe quelle tâche en changeant seulement l’instruction ? »Ce n’est pas garanti. Les performances dépendent du modèle de base, des démonstrations et des conditions réelles. Validez d’abord les tâches couvertes par l’entraînement.
Les données d’évaluation peuvent-elles servir à poursuivre l’entraînement ?
Section intitulée « Les données d’évaluation peuvent-elles servir à poursuivre l’entraînement ? »Oui, après vérification et filtrage. Utilisez les échecs pour analyser les problèmes et ajoutez en priorité des démonstrations correctes des scénarios concernés.
Que faire si le stockage local est insuffisant ?
Section intitulée « Que faire si le stockage local est insuffisant ? »Modifiez l’emplacement dans les paramètres de l’application et suivez les instructions de migration. Vérifiez ensuite l’accès aux jeux de données, modèles, enregistrements et données d’évaluation.