Guide d'entraînement SO-ARM101

Ce tutoriel utilise un bras Leader SO-ARM101 et un bras Follower SO-ARM101 avec SenseCraft Robotics. Il couvre le flux de travail complet, de la création de projet et de la configuration des appareils à la collecte de données, l’entraînement du modèle et l’utilisation.

L’exemple de tâche consiste à prendre un objet au point A et à le placer au point B. Il est fourni uniquement pour expliquer la procédure. Les utilisateurs peuvent concevoir d’autres scénarios d’application, tels que le tri, la manipulation, l’emballage, l’appui sur des boutons, ou le branchement et le débranchement.

Note de version Les noms d’interface, les emplacements des boutons et les moteurs d’entraînement peuvent changer selon les versions de SenseCraft Robotics. Les ports série tels que COM21, COM35, COM3 et COM6, ainsi que les noms de jeux de données, sont des exemples issus d’une vidéo. Utilisez toujours les appareils détectés par l’ordinateur actuel.

Aperçu du tutoriel

Ce tutoriel suit l’ordre de la configuration du matériel et de l’utilisation du logiciel :

Chapitre	Étape	Contenu principal
Chapitre 1	Préparation	Liste du matériel, configuration requise pour l’ordinateur et le logiciel, vérifications de scène et de sécurité
Chapitre 2	Connecter les bras	Montage physique et connexions des câbles
Chapitre 3	Flux de travail logiciel	Flux de travail principal : configuration des appareils ➔ collecte de données ➔ entraînement du modèle ➔ déploiement et utilisation

---

1. Préparation

1.1 Matériel

La liste suivante est basée sur la Liste des pièces officielle fournie avec le kit SO-ARM101.

Accessoires Leader et Follower

Élément	Leader	Follower
Bras Acheter maintenant	Bras Leader assemblé noir ×1	Bras Follower assemblé blanc ×1
Carte de contrôle servo LeRobot	×1	×1
Câble d’alimentation	Câble d’alimentation 5 V (multi-têtes) ×1	Pro : câble d’alimentation 12 V ×1 ; Standard : 5 V
Câble de données	Câble de données USB-C ×1	Câble de données USB-C ×1
Câble d’adaptateur d’alimentation CC	×1	×1
Collier de montage	×2	×2

Matériaux et accessoires partagés

Accessoire	Quantité	Description
Pièces de pince flexible	×1	Installées à l’extrémité du bras
Caméra USB 32 × 32 mm	×2	Deux caméras sont requises. Le kit en inclut une ; préparez une seconde caméra séparément. Les données d’entraînement doivent contenir deux vues.
Tournevis	×1	Pour l’assemblage et le réglage
Tapis de souris	×1	Protège et stabilise la surface de travail

Les bras doivent être assemblés, montés, alimentés et connectés par USB. Si l’assemblage n’est pas terminé, reportez-vous à Étape 1 : Assembler le bras.

Notes d’alimentation et de connexion

• Version Standard : le Leader et le Follower utilisent tous deux une alimentation 5 V.
• Version Pro : le Leader utilise du 5 V et le Follower utilise du 12 V. Ne les intervertissez pas.
• Vérifiez la tension d’entrée, la tension de sortie et le courant nominal sur l’étiquette de l’adaptateur et dans la documentation officielle du produit pour la version applicable.

1.2 Ordinateur et logiciel

• Ordinateur Windows ou macOS. L’entraînement local nécessite un GPU compatible.
• Connexion réseau stable pour le téléchargement, la connexion, l’entraînement dans le cloud et l’inférence.
• SenseCraft Robotics installé.
• Un compte SenseCraft enregistré, connecté dans SenseCraft Robotics.

Pour des instructions détaillées, reportez-vous à Téléchargement du logiciel et configuration du compte.

1.3 Scène et sécurité

• Marquez deux positions fixes sur la table : le point A pour la position de départ de l’objet et le point B pour sa destination.
• Préparez un objet de taille appropriée, facile à saisir, comme un bloc rouge ou un objet souple.
• Assurez-vous que le point A, le point B, les deux bras et l’objet sont visibles dans les vues des caméras et ne sont pas obstrués.
• Dégagez l’espace de travail des bras des personnes, encombrements, câbles et objets fragiles. Gardez le Leader éloigné du Follower et hors du champ de la caméra du Follower.

---

2. Connecter les bras

Avis de sécurité : Déconnectez l’alimentation avant d’installer, de connecter ou de retirer les bras. Confirmez que les bras sont sécurisés, que les câbles sont correctement connectés et que l’espace de travail est dégagé avant de rétablir l’alimentation. Ne connectez ni ne déconnectez jamais l’interface d’alimentation sous tension.

2.1 Installer les corps de bras

Étape 1 : Monter le Leader et le Follower

1. Placez le Leader et le Follower SO-ARM101 sur une table stable et plane ou sur une plateforme de montage.
2. Utilisez les quatre colliers du kit pour fixer les deux bras, à raison de deux colliers par bras. Poussez doucement chaque base pour confirmer qu’elle ne peut ni glisser ni basculer.
3. Maintenez une distance de sécurité entre les bras et laissez toute l’amplitude de mouvement dégagée pour chaque articulation.
4. Avec l’alimentation déconnectée, déplacez lentement chaque articulation à la main pour confirmer un mouvement fluide sans collisions, blocages ni contact avec les butées mécaniques.

2.2 Installer les cartes de contrôle et connecter USB-C

Étape 2 : Installer les cartes de contrôle

1. Installez une carte de contrôle servo LeRobot sur chaque bras. Alignez la carte avec l’emplacement sur la base du bras, vérifiez l’orientation du connecteur et installez-la fermement. Ne la forcez pas dans le sens inverse.
2. Vérifiez que les câbles entre chaque carte de contrôle et les servos sont bien enfoncés et qu’ils ne sont ni desserrés, ni fortement pliés, ni pincés, ni connectés à la mauvaise interface.

Étape 3 : Connecter les câbles de données

Les connexions de données sont :

• Leader : Leader SO-ARM101 → câble de données USB-C → ordinateur
• Follower : Follower SO-ARM101 → câble de données USB-C → ordinateur

Utilisez un câble USB-C pour connecter chaque carte de contrôle à l’ordinateur. Pour faciliter l’identification des ports série, connectez d’abord les extrémités des bras et connectez les extrémités ordinateur une par une lors de l’étape d’association des ports série à la Section 3.2.2.

2.3 Installer les interfaces d’alimentation et mettre sous tension

Étape 4 : Installer les interfaces d’alimentation

1. Confirmez que les adaptateurs d’alimentation ne sont pas connectés au secteur.
2. Insérez chaque câble d’adaptateur d’alimentation CC dans l’interface d’alimentation du bras et serrez le collier de verrouillage dans le sens horaire.
3. Vérifiez les exigences d’alimentation : Pro utilise 5 V pour le Leader et 12 V pour le Follower ; Standard utilise 5 V pour les deux bras. Ne mélangez pas les tensions.
4. Confirmez que chaque connecteur est verrouillé et que les câbles ne peuvent pas entrer dans la zone de mouvement des articulations.

Étape 5 : Mettre sous tension

1. Connectez les deux adaptateurs d’alimentation à la prise et allumez-les.
2. Observez les indicateurs des cartes de contrôle. Si un indicateur est éteint, clignote anormalement, chauffe ou dégage une odeur, déconnectez immédiatement l’alimentation et inspectez le système.
3. USB-C est utilisé uniquement pour la communication de données. L’alimentation et USB-C doivent tous deux être connectés pendant la numérisation des appareils, l’étalonnage et la téléopération.

3. Flux de travail du projet

Après la connexion, ouvrez la page Projets. Créez un projet pour une première utilisation ou ouvrez un projet existant. L’aperçu du projet donne accès à la configuration des appareils, au rejeu d’actions, aux jeux de données, à l’entraînement, aux modèles et à l’utilisation.

Opération	Étapes
Créer un projet	Cliquez sur Nouveau projet → saisissez le nom et la description du projet → cliquez sur Créer et démarrer
Ouvrir un projet existant	Sélectionnez un projet dans la liste des projets → ouvrez-le

3.1 Aperçu du projet

L’Aperçu du projet affiche le statut actuel des bras, de la configuration des appareils, des jeux de données, de l’entraînement, des modèles et de l’utilisation.

Si la page affiche À configurer ou Non connecté, cliquez sur Accéder à la configuration des appareils pour configurer les bras.

3.2 Configuration des appareils

La configuration des appareils est utilisée pour la sélection des appareils, l’association des ports série, l’étalonnage des bras, la vérification de téléopération et la configuration des caméras.

3.2.1 Sélectionner le modèle d’appareil

À l’étape Association des appareils, sélectionnez SO-ARM101 + SO-ARM101, puis cliquez sur Suivant pour associer les ports série.

3.2.2 Associer les ports série USB

1. Numérisation initiale : déconnectez les câbles USB des deux bras, cliquez sur Scanner à nouveau et notez les ports actuellement affichés.
2. Associer le Leader : connectez le Leader SO-ARM101, cliquez à nouveau sur Scanner à nouveau et associez le nouveau port apparu au Leader.
3. Associer le Follower : connectez le Follower SO-ARM101, cliquez à nouveau sur Scanner à nouveau et associez le nouveau port apparu au Follower.
4. Confirmez que les deux bras affichent Connecté, puis cliquez sur Suivant.

Dépannage des ports série :

• Après chaque numérisation, associez uniquement le nouveau port apparu. N’identifiez pas les appareils uniquement par leurs numéros COM.
• Si un port n’est pas affiché, rebranchez le câble USB et numérisez à nouveau. Si un seul port est affiché, vérifiez l’autre câble USB et l’alimentation de l’appareil.

3.2.3 Vérification de l’étalonnage des bras

La page d’étalonnage propose l’Étalonnage automatique et l’Étalonnage manuel. Avant de commencer, déplacez le Leader et le Follower vers la posture intermédiaire montrée dans l’exemple à l’écran et dégagez l’espace de travail des bras.

Étalonnage automatique

L’étalonnage automatique identifie automatiquement l’amplitude de déplacement des articulations. Il convient aux bras SO-ARM101 dont les articulations disposent de butées physiques fiables.

1. Retirez toute charge du Leader et du Follower, et confirmez qu’il n’y a pas d’obstacles dans l’espace de travail des bras.
2. Suivez l’exemple à l’écran et déplacez lentement chaque articulation en séquence afin que le Leader et le Follower soient approximativement verticaux et alignés en position intermédiaire.
3. Confirmez que toutes les articulations à étalonner disposent de butées physiques fiables, puis cochez la case de confirmation sur la page.
4. Cliquez sur Démarrer l’étalonnage et attendez que le système identifie l’amplitude de déplacement des articulations et termine l’étalonnage.

Sélection du mode d'étalonnage

Étalonnage manuel

Étalonnage manuel

Si une articulation ne dispose pas d’une butée physique fiable, ou si vous devez confirmer la position intermédiaire et l’amplitude de déplacement des articulations étape par étape à l’aide des instructions à l’écran, sélectionnez l’étalonnage manuel.

1. Gardez le Leader sous tension et prêt pour le guidage manuel. Confirmez qu’il n’y a pas d’obstacles dans l’espace de travail des bras.
2. Suivez l’exemple à l’écran et déplacez lentement chaque articulation du Leader près du milieu de son amplitude de déplacement.
3. Après avoir confirmé que la posture du Leader est correcte, cliquez sur Démarrer l’étalonnage.
4. Suivez les instructions à l’écran pour confirmer les positions intermédiaires et l’amplitude de déplacement des articulations du Leader et du Follower en séquence.

Étalonnage manuel

Étalonnage manuel

N’effectuez pas de téléopération ni de collecte de données pendant l’étalonnage. Si la posture du bras est anormale, qu’une articulation est obstruée ou que l’étalonnage échoue, arrêtez immédiatement l’étalonnage, vérifiez la position du bras et l’espace de travail, puis réessayez.

3.2.4 Vérification de la téléopération

La vérification de téléopération confirme que le Follower suit correctement le Leader. Si le sens est inversé, le délai est excessif ou le mouvement est discontinu, vérifiez les rôles des appareils, l’association des ports série et le résultat de l’étalonnage.

1. Cliquez sur Démarrer la téléopération.
2. Déplacez légèrement le Leader et observez si le Follower se déplace de manière synchrone, suit le même sens et se déplace de façon fluide.
3. Cliquez sur Terminer la téléopération après la vérification, puis sélectionnez le résultat :
   • Normal : cliquez sur Confirmer que la téléopération est normale.
   • Anormal : cliquez sur Anormal, revenir à l’étalonnage.

Compensation de gravité (facultatif) Les bras ont un certain poids, donc le réglage manuel du Follower peut nécessiter un effort. La compensation de gravité compense une partie du poids et facilite le réglage. Désactivez-la après le réglage et avant la vérification de téléopération. La compensation de gravité sert à régler le Follower ; elle ne contrôle pas le Follower pour qu’il suive le Leader.

3.2.5 Associer les caméras

Deux caméras et deux vues sont requises pour la collecte de données et l’entraînement du modèle. Selon la position de montage, les dispositions courantes sont :

Disposition	Installation et objectif	Scénarios appropriés	Illustration
Vue de la pince	Caméra en vue de dessus : montée au-dessus de l’avant de l’établi pour couvrir la zone de travail. Caméra de pince : montée près de la pince pour observer les détails de saisie.	Opérations de précision nécessitant l’observation du contact entre la pince et l’objet.	Note : Vous pouvez concevoir votre propre support de caméra 3D.
Assistance vue latérale	Caméra en vue de dessus : montée au-dessus de l’avant de l’établi pour couvrir la zone de travail. Caméra en vue latérale : montée sur le côté avant de l’établi pour observer la hauteur du bras et le mouvement de la pince.	Tâches telles que la saisie, la manipulation et le dépôt.

Ce tutoriel utilise la disposition d’assistance vue latérale. Connectez les deux caméras, installez-les et positionnez-les, puis :

1. Connectez les caméras à l’ordinateur et cliquez sur Scanner à nouveau.
2. Sélectionnez les flux vidéo correspondants dans les zones Caméra frontale et Caméra latérale.
3. Vérifiez les deux aperçus pour confirmer que les bras, l’objet et la position cible sont clairement visibles. Cliquez sur Suivant après confirmation.

Pour confirmer que chaque caméra correspond à sa position de montage, cliquez sur Voir la disposition des caméras. Si un aperçu est noir ou anormal, numérisez à nouveau, redémarrez la caméra ou changez le port USB.

3.3 Rejeu d’actions

Le Rejeu d’actions enregistre les actions des bras via l’enseignement du Leader et les sauvegarde dans la liste d’actions pour le rejeu. Après l’enregistrement, vérifiez si l’action est continue et si le sens de mouvement et l’ouverture/fermeture de la pince sont corrects.

Fonction	Opération	Objectif
Enregistrer une action	Cliquez sur + pour créer une action → utilisez le Leader pour contrôler le Follower → cliquez sur Arrêter l’enregistrement pour sauvegarder	Enregistrer des actions de saisie, de déplacement et de dépôt
Rejouer une action	Cliquez sur Rejouer	Vérifier que l’action est complète et continue, et que le sens de mouvement et l’action de la pince sont corrects

Avant d’enregistrer une action pour la première fois, terminez la configuration des appareils et la vérification de téléopération, puis cliquez sur Confirmer que la téléopération est normale. Si le rejeu est anormal, supprimez l’action et enregistrez-la à nouveau.

3.4 Jeu de données

Le Jeu de données est utilisé pour créer des tâches de collecte et enregistrer, inspecter, nettoyer et fusionner des épisodes de tâches. Une approche par petits lots et sessions multiples est recommandée afin que les déconnexions, les problèmes logiciels ou les saccades vidéo puissent être détectés tôt.

• Enregistrez d’abord environ 10 épisodes de tâches par lot.
• Après 2–3 lots, conservez environ 20–30 épisodes valides pour la première session d’entraînement.
• Ajoutez davantage de données pour les tâches complexes selon les résultats de l’entraînement.

3.4.1 Configurer une tâche de collecte de données

Ouvrez Jeu de données → Collecter les données et saisissez les informations de la tâche. Si les jeux de données doivent être fusionnés, leurs descriptions de tâche doivent être exactement les mêmes. Gardez les positions A/B, la catégorie d’objet, les positions des caméras, le fond de la table et l’éclairage aussi stables que possible.

Champ	Exemple	Recommandation
Nom du jeu de données	SO-ARM101 pick-and-place A-to-B-01	Utilisez un nommage « appareil + tâche + lot »
Description de la tâche	Move the object from the left to the right	Indiquez clairement l’objectif de la tâche ; les descriptions doivent correspondre exactement lors de la fusion
Nombre d’épisodes	10	Chaque épisode complète une tâche entière
Durée par épisode	20–30 secondes	Couvrir l’action complète
Durée de repos	5 secondes	Réinitialiser les bras et la scène

3.4.2 Enregistrer les épisodes de tâche

Chaque épisode doit enregistrer le processus complet de saisie de l’objet au point A, de déplacement au point B et de relâchement. Gardez la procédure cohérente ; ajoutez de petites variations de position, d’angle et de mouvement uniquement lorsque davantage de généralisation est requise.

1. Placez l’objet au point A, confirmez la posture initiale et cliquez sur Démarrer l’enregistrement.
2. Utilisez le Leader pour contrôler le Follower tout au long de la tâche, puis ramenez le bras à la posture initiale.
3. Une fois la tâche terminée, attendez le temps restant ou cliquez sur ➡ (ou appuyez sur Espace) pour terminer l’épisode prématurément.
4. Pendant la période de repos, replacez l’objet au point A et préparez le bras pour l’épisode suivant.

Important

• Fixez les caméras avant la collecte. Les bras, la pince, l’objet et les points A et B doivent rester visibles dans les deux vues.
• Ne laissez pas les actions clés être bloquées ni sortir des vues des caméras.
• Si la tâche échoue, que l’objet n’est pas tenu fermement, que la vidéo saccade ou qu’une caméra est obstruée, cliquez sur Enregistrer à nouveau ou appuyez sur Esc pour arrêter la collecte.
• Vous pouvez d’abord terminer le lot puis inspecter et supprimer les épisodes anormaux.
• Arrêtez immédiatement en cas de risque de perte de contrôle ou de collision.

3.4.3 Inspecter, supprimer et fusionner les données

Après la collecte, inspectez les épisodes anormaux, supprimez les données invalides et fusionnez les jeux de données compatibles si nécessaire.

Opération	Méthode	Description
Inspecter les épisodes anormaux	Sélectionnez un épisode et lisez la vidéo ou le rejeu d’actions	Vérifier l’accomplissement de la tâche et le mouvement de la pince
Supprimer les épisodes anormaux	Cliquez sur Suppression par lots d’épisodes, sélectionnez les épisodes, confirmez et cliquez sur Générer une copie supprimée	Renommez le nouveau jeu de données ; le jeu de données d’origine n’est pas écrasé
Fusionner les jeux de données	Cliquez sur Fusionner, sélectionnez les jeux de données et saisissez un nouveau nom de jeu de données	Fusionner les jeux de données avec des descriptions de tâche, des combinaisons d’appareils et des configurations de caméras correspondantes

Inspecter le jeu de données

Supprimer les épisodes anormaux

Fusionner les jeux de données

3.5 Entraînement

L’entraînement génère un modèle d’action à partir des données d’enseignement. SenseCraft Robotics lit les données de tâche enregistrées, analyse la façon dont le bras effectue l’action cible et génère un modèle pour une utilisation autonome.

Paramètre	Option / valeur	Détails
Matériel d’entraînement	Cloud · sélection automatique du GPU	Utilise un serveur cloud et consomme les crédits correspondants.
	Local · gratuit	Utilise l’ordinateur actuel et nécessite un GPU local compatible.
Jeu de données d’entraînement	Sélectionner le jeu de données cible	Sélectionnez un jeu de données enregistré et préparé.
Politique	ACT	La politique de contrôle d’action par défaut actuelle.
Étapes d’entraînement	10000	Recommandé comme valeur initiale ; ajustez-la selon les résultats.

Avis sur les crédits L’entraînement dans le cloud consomme des crédits ; l’entraînement local ne consomme pas de crédits d’entraînement dans le cloud. Reportez-vous aux Règles de crédits pour les informations sur les crédits.

Étapes d’entraînement et nombre d’épisodes recommandés :

| Difficulté de la tâche | Description de la tâche | Épisodes recommandés | Étapes recommandées | |---|---:|---:| | Débutant | Du point A au point B fixe | Environ 20 | 10,000–15,000 | | Intermédiaire | Saisir et déposer à des positions aléatoires | Environ 50 | 30,000–40,000 | | Avancé | Étapes multiples ou longue durée | Environ 100 | 80,000–100,000 |

Durée de l’entraînement : le temps total d’entraînement dépend du modèle de GPU sélectionné et du nombre d’étapes d’entraînement. Par exemple, 20,000 étapes dans le cloud peuvent prendre de quelques minutes à plusieurs dizaines de minutes sur la plupart des GPU ; 100,000 étapes prennent environ cinq fois plus de temps.

Cliquez sur Démarrer l’entraînement après avoir confirmé les paramètres. Consultez la progression et l’historique dans Tâches d’entraînement actuelles.

3.6 Modèle

Le Modèle est utilisé pour consulter les résultats de l’entraînement et sélectionner un modèle pour l’utilisation. Confirmez que l’entraînement est terminé et que la combinaison de tâche et d’appareils correspond au projet actuel.

3.7 Utilisation

L’Utilisation charge un modèle entraîné sur les bras pour vérifier s’il peut accomplir la tâche correctement.

1. Sélectionner un modèle : sélectionnez un modèle marqué comme prenant en charge les bras actuels.
2. Sélectionner une méthode d’inférence : sélectionnez Inférence dans le cloud ou Inférence locale et configurez les paramètres correspondants.
3. Démarrer l’inférence : confirmez les paramètres et cliquez sur Démarrer l’inférence cloud/locale.

Principales différences entre l’inférence dans le cloud et l’inférence locale :

Comparaison	Inférence dans le cloud	Inférence locale
Matériel de calcul	Utilise un GPU cloud haute performance.	Utilise le CPU local ; la plateforme actuelle ne prend pas en charge de GPU local.
Impact sur les performances	Les résultats dépendent fortement de la qualité de la transmission réseau.	Les résultats dépendent des performances du CPU local.
Paramètres	Nombre d’actions (défaut 120) : étapes d’action prédites par inférence. Seuil de tronçon (défaut 0.9) : affecte la fluidité et la précision. Des valeurs plus élevées sont plus prudentes et peuvent marquer une pause ; des valeurs plus basses sont plus fluides mais peuvent augmenter les erreurs.	Nombre d’exécutions : nombre d’exécutions répétées de la tâche. Durée limite par exécution : durée maximale d’une exécution ; elle se termine automatiquement à l’expiration du délai.
Sortie de données	Effectue uniquement la vérification d’inférence.	Génère automatiquement un jeu de données à partir des exécutions d’inférence après la fin de l’utilisation.
Coût et limitations	Soumis aux règles de la plateforme ; la puissance de calcul convient pour démarrer rapidement.	Ne nécessite généralement pas de crédits cloud, mais est limité par les performances du CPU local.

Remarques

• Avant l’utilisation, confirmez que les bras sont correctement connectés et que l’espace de travail est sûr.
• Pendant l’utilisation, ne déconnectez ni ne démontez les bras. Observez leurs mouvements.
• Si le résultat n’est pas satisfaisant, revenez à Jeu de données, supprimez les épisodes anormaux, ajoutez des données valides et entraînez à nouveau.