Guide d'entraînement reBot Arm 102 + B601 DM

Ce tutoriel utilise le reBot Arm 102 (bras leader) et le B601 DM (bras follower) avec SenseCraft Robotics pour présenter le flux de travail complet, de la création de projet et de la configuration des appareils à la collecte de données, l’entraînement du modèle et l’utilisation. L’exemple de tâche dans ce guide consiste à prendre un objet au point A et à le placer au point B. Il est fourni à titre d’illustration uniquement ; les utilisateurs peuvent concevoir des scénarios d’application selon leurs besoins, tels que le tri, la manipulation, l’emballage, l’appui sur des boutons, ou le branchement et le débranchement.

Note de version Les noms d’interface, les emplacements des boutons et les moteurs d’entraînement peuvent changer selon les versions de SenseCraft Robotics. Les numéros de port série (tels que COM21, COM35, COM3 et COM6) et les noms de jeux de données dans ce guide sont des exemples issus d’une vidéo. Utilisez toujours les appareils détectés par votre ordinateur actuel.

Aperçu du tutoriel

Ce tutoriel est organisé dans l’ordre de la configuration du matériel et de l’utilisation du logiciel pour vous aider à configurer rapidement les bras et à entraîner un modèle :

Chapitre	Étape	Contenu principal
Chapitre 1	Préparation	Liste du matériel, configuration requise pour l’ordinateur et le logiciel, vérifications de scène et de sécurité
Chapitre 2	Connecter les bras	Montage physique et connexions de câbles pour les bras leader et follower
Chapitre 3	Entraînement logiciel	Flux de travail principal : configuration des appareils ➔ collecte de données ➔ entraînement du modèle ➔ déploiement et utilisation

1. Préparation

1.1 Matériel

Les bras doivent être assemblés, montés, alimentés et connectés à USB. Si l’assemblage n’est pas terminé, reportez-vous à Étape 1 : Assembler le bras.

Bras

Catégorie	Leader : reBot Arm 102	Follower : B601 DM
Bras	reBot Arm 102 ×1 🔗Acheter maintenant	Kit reBot Arm B601-DM assemblé (version avec pince assemblée et alimentation) ×1 🔗Acheter maintenant
Alimentation	Adaptateur d’alimentation 12 V / 2 A ×1	Alimentation et câble d’alimentation 24 V / 15 A ×1
Câble de données	Câble de données USB-C ×1	Câble de données USB-C ×1
Composants de communication et d’alimentation	—	Carte pilote USB-CAN ×1 Carte de séparation signal/alimentation ×1
Autres câbles	—	Câble JST 2 broches ×1 Câble JST 3 broches ×1 Câble XT30 2+2 ×1
Outils de montage	Collier en G ×2	Collier en G ×2

Caméras

Deux caméras sont requises : une pour la vue de dessus, et une pour la vue latérale ou la vue de la pince.

Caméra	Caméra en vue de dessus	Caméra en vue latérale	Caméra de pince
Quantité	1	Choisissez soit la caméra en vue latérale, soit la caméra de pince
Support	Support vue de dessus ×1	Petit support de bureau ×1	Support imprimé en 3D ×1

Options de caméra : sur macOS ou Windows, choisissez l’une des combinaisons suivantes. Nous vous recommandons de connecter les caméras directement aux ports USB de l’ordinateur plutôt que d’utiliser un hub ou une station USB.

Option	Caméra USB Hikvision	Webcam HD Logitech C270	Performances de collecte
Option1	1	1	La plus stable ; prend en charge la collecte à 120 FPS
Option2	❌	2	Stable ; prend en charge toutes les fréquences d’images de collecte
Option3	2	❌	Maintenez la fréquence d’images à 60 FPS ou moins ; la collecte à 120 FPS n’est pas prise en charge et des problèmes de compatibilité peuvent survenir dans certains cas

1.2 Ordinateur et logiciel

• Ordinateur Windows ou macOS (l’entraînement local nécessite un GPU compatible)
• Connexion réseau stable (pour le téléchargement, la connexion, l’entraînement dans le cloud et l’inférence)
• SenseCraft Robotics installé
• Un compte SenseCraft enregistré, connecté dans SenseCraft Robotics

Pour des instructions détaillées, reportez-vous à Téléchargement du logiciel et configuration du compte.

1.3 Scène et sécurité

• Marquez deux positions fixes sur la table : le point A pour la position de départ de l’objet et le point B pour sa destination.
• Préparez un objet de taille appropriée et facile à saisir, comme un bloc rouge ou un objet souple.
• Assurez-vous que le point A, le point B, les deux bras et l’objet sont dans les vues des caméras et ne sont pas obstrués.
• Dégagez l’espace de travail des bras des personnes, encombrements, câbles et objets fragiles. Ajustez le bras leader pour qu’il ne s’approche pas du bras follower et n’apparaisse pas dans le champ de la caméra du follower.

2. Connecter les bras

Avis de sécurité : Déconnectez l’alimentation avant de connecter ou de déconnecter les câbles JST, XT30 ou autres. Ne mettez l’alimentation qu’après avoir confirmé que tous les câbles sont correctement connectés. Le B601 RS et le B601 DM se ressemblent. Assurez-vous de bien les distinguer.

2.1 Monter et connecter le reBot Arm 102 (bras leader)

Étape 1 : Monter le reBot Arm 102

Utilisez des colliers de menuiserie pour fixer le reBot Arm 102 sur une table plane. Poussez doucement la base pour confirmer qu’elle ne bouge pas.

Étape 2 : Connecter les câbles

Les connexions se composent de deux chemins :

• Chemin de signal (bras -> câble USB-C -> ordinateur)

  1. Préparez un câble USB-C pour connecter le bras à l’ordinateur (ne le branchez pas encore à l’ordinateur ; branchez-le lorsque vous atteignez l’association des ports série et la numérisation des appareils).

• Chemin d’alimentation (bras -> adaptateur d’alimentation 12 V 2 A -> multiprise -> mise sous tension)

  1. Connectez l’adaptateur d’alimentation 12 V 2 A au connecteur d’alimentation du bras.
  2. Connectez l’adaptateur à la multiprise pour mettre le bras sous tension.

2.2 Monter et connecter le B601 DM (bras follower)

Étape 3 : Monter le B601 DM

Utilisez des colliers en G pour fixer le B601 DM sur une table stable et plane. Après l’avoir fixé, faites pivoter doucement le bras vers la gauche et la droite pour confirmer que la base ne bouge pas.

Étape 4 : Connecter les câbles

Assurez-vous que l’alimentation est déconnectée avant de commencer. Les connexions se composent de deux chemins :

• Chemin de signal (bras -> carte de séparation signal/alimentation -> carte pilote USB-CAN -> ordinateur)

  1. Utilisez un câble XT30 2+2 pour connecter le premier moteur en bas à la carte de séparation signal/alimentation.
  2. Utilisez le câble JST 2 broches pour connecter la carte de séparation signal/alimentation à la carte pilote USB-CAN.
  3. Utilisez le câble JST 3 broches pour connecter le premier moteur en bas à la carte pilote USB-CAN (il s’agit d’un câble de débogage qui peut être laissé déconnecté).
  4. Préparez un câble de données USB-C pour connecter la carte pilote USB-CAN à l’ordinateur (ne le branchez pas encore à l’ordinateur ; branchez-le lorsque vous atteignez l’association des ports série et la numérisation des appareils).

• Chemin d’alimentation (bras -> carte de séparation signal/alimentation -> adaptateur d’alimentation 24 V -> prise -> mise sous tension)

  1. Utilisez un câble XT30 2+2 pour connecter le premier moteur en bas à la carte de séparation signal/alimentation.
  2. Connectez la carte de séparation signal/alimentation à l’adaptateur d’alimentation 24 V.
  3. Connectez l’adaptateur d’alimentation à la prise. Après avoir confirmé que le bras est sécurisé, que les câbles sont corrects et que la zone environnante est dégagée, mettez l’alimentation sous tension.

3. Projet

Après la connexion, ouvrez la page Projets. Créez un nouveau projet pour une première utilisation, ou ouvrez un projet existant. Dans un projet, l’Aperçu du projet donne accès à la configuration des appareils, au rejeu d’actions, aux jeux de données, à l’entraînement, aux modèles et à l’utilisation.

Opération	Étapes
Créer un projet	Cliquez sur Nouveau projet → saisissez le nom et la description du projet → cliquez sur Créer et démarrer
Ouvrir un projet existant	Sélectionnez un projet dans la liste des projets → ouvrez le projet

3.1 Aperçu du projet

L’Aperçu du projet affiche le statut actuel du projet, y compris la connexion des bras, la configuration des appareils, le jeu de données, l’entraînement, le modèle et le statut d’utilisation.

Si la page affiche Configuration en attente ou Non connecté, cliquez sur Accéder à la configuration des appareils pour configurer les bras.

3.2 Configuration des appareils

La configuration des appareils est utilisée pour la sélection des appareils, l’association des ports série, l’étalonnage des bras, la vérification de téléopération et la configuration des caméras.

3.2.1 Sélectionner le modèle d’appareil

À l’étape Association des appareils, sélectionnez reBot Arm 102 + B601 DM, puis cliquez sur Suivant pour associer les ports série.

3.2.2 Associer les ports série USB des bras leader et follower

1. Numérisation initiale : déconnectez les câbles USB des deux bras, cliquez sur Scanner à nouveau et notez les ports série actuellement affichés.
2. Associer le bras leader : connectez le reBot Arm 102 (bras leader), cliquez à nouveau sur Scanner à nouveau et associez le nouveau port série détecté au bras leader.
3. Associer le bras follower : connectez le B601 DM (bras follower), cliquez à nouveau sur Scanner à nouveau et associez le nouveau port série détecté au bras follower.
4. Confirmez que les deux bras affichent Connecté, puis cliquez sur Suivant.

Association et dépannage des ports série :

• Après chaque numérisation, associez uniquement le nouveau port série détecté. N’identifiez pas un appareil uniquement par son numéro COM.
• Si un port série n’est pas affiché, rebranchez le câble USB et numérisez à nouveau. Si un seul port série est affiché, vérifiez l’autre câble USB et l’alimentation de l’appareil.

3.2.3 Vérification de l’étalonnage des bras

1. Suivez l’exemple à l’écran pour placer les bras leader et follower dans leurs poses initiales, et confirmez que l’espace de travail est dégagé.
2. Cliquez sur Démarrer l’étalonnage, puis suivez les instructions à l’écran pour terminer la mise à zéro du bras leader, la mise à zéro du bras follower et l’achèvement de l’étalonnage.
3. Si les poses des bras sont incohérentes ou si l’étalonnage échoue, cliquez sur Réétalonner et ne passez pas aux étapes suivantes.

N’effectuez pas de téléopération ni de collecte de données avant que l’étalonnage soit terminé.

3.2.4 Vérification de la téléopération

La vérification de téléopération confirme que le bras follower suit correctement le bras leader. Si le sens est inversé, le délai est excessif ou le mouvement est discontinu, vérifiez les rôles des appareils, l’association des ports série et le résultat de l’étalonnage.

1. Cliquez sur Démarrer la téléopération.
2. Déplacez le bras leader sur une petite amplitude et observez si le bras follower se déplace de manière synchrone, dans le même sens et de façon fluide.
3. Après avoir terminé la vérification, cliquez sur Terminer la téléopération, puis sélectionnez une option selon le résultat :
   • Normal : cliquez sur Confirmer que la téléopération est normale.
   • Anormal : cliquez sur Anormal, revenir à l’étalonnage.

Compensation de gravité (facultatif) Le bras a un certain poids, donc le réglage manuel du bras follower peut nécessiter un effort. Lorsque la compensation de gravité est activée, le système compense une partie du poids et facilite le déplacement du bras follower. Après le réglage, désactivez la compensation de gravité avant d’effectuer la vérification de téléopération. La compensation de gravité sert à régler le bras follower ; elle n’est pas utilisée pour contrôler le bras follower pendant l’opération leader-follower.

3.2.5 Associer les caméras

Les caméras enregistrent des informations visuelles pendant que le bras effectue une tâche. Voici deux dispositions de caméras courantes :

Disposition	Installation et objectif	Scénarios appropriés	Illustration
Vue de la pince	Caméra en vue de dessus : installez-la au-dessus de l’avant de l’établi pour couvrir la zone de travail. Caméra de pince : installez-la près de la pince pour observer les détails de saisie.	Opérations de précision nécessitant l’observation du contact entre la pince et l’objet.	*Note : Vous pouvez concevoir le support de caméra 3D vous-même.
Assistance vue latérale	Caméra en vue de dessus : installez-la au-dessus de l’avant de l’établi pour couvrir la zone de travail. Caméra en vue latérale : installez-la sur le côté avant de l’établi pour observer la hauteur du bras et le mouvement de la pince.	Tâches de prise et de dépôt, de manipulation et de placement.

Ce tutoriel utilise la disposition d’assistance vue latérale. Après avoir installé et positionné les caméras :

1. Connectez les caméras à l’ordinateur et cliquez sur Scanner à nouveau.
2. Sélectionnez les flux vidéo correspondants dans les sections Caméra en vue de dessus et Caméra en vue latérale.
3. Vérifiez les deux fenêtres d’aperçu pour confirmer que les bras, l’objet et les positions cibles sont clairement visibles. Cliquez sur Suivant après avoir confirmé la configuration.

Pour confirmer que chaque caméra correspond à sa position d’installation, cliquez sur Voir la disposition des caméras. Si un aperçu est noir ou anormal, numérisez à nouveau, redémarrez la caméra ou utilisez un autre port USB.

3.3 Rejeu d’actions

Le Rejeu d’actions enregistre les mouvements des bras via l’enseignement du bras leader et les sauvegarde dans la liste d’actions pour le rejeu. Après l’enregistrement, vérifiez si le mouvement est continu et si le sens de mouvement et l’ouverture/fermeture de la pince sont normaux.

Fonction	Opération	Objectif
Enregistrer une action	Cliquez sur + pour créer une action → utilisez le bras leader pour contrôler le bras follower et accomplir la tâche → cliquez sur Arrêter l’enregistrement → sauvegardez	Enregistrer des actions cibles telles que la saisie, le déplacement et le dépôt
Rejouer une action	Cliquez sur Rejouer	Vérifier si l’action est complète et continue, et confirmer le sens de mouvement et l’ouverture/fermeture de la pince

Avant d’enregistrer une action pour la première fois, terminez la connexion des appareils et la vérification de téléopération dans Configuration des appareils, puis cliquez sur Confirmer que la téléopération est normale. Si le rejeu est anormal, supprimez l’action et enregistrez-la à nouveau.

3.4 Jeu de données

Le Jeu de données est utilisé pour créer des tâches de collecte et enregistrer, inspecter, nettoyer et fusionner des épisodes de tâches. Nous vous recommandons de collecter les données par petits lots afin que les déconnexions d’appareils, les erreurs logicielles ou les saccades vidéo puissent être détectées tôt et que le risque de perdre toutes les données à cause d’un seul échec soit réduit.

• Enregistrez d’abord environ 10 épisodes de tâches par lot.
• Après avoir terminé 2–3 lots, conservez environ 20–30 épisodes valides pour la première session d’entraînement.
• Ajoutez davantage de données pour les tâches complexes selon les résultats de l’entraînement.

3.4.1 Configurer une tâche de collecte de données

Ouvrez Jeu de données → Collecter les données en haut de la page et saisissez les informations de la tâche. Si plusieurs jeux de données doivent être fusionnés, la description de tâche de chaque lot doit être exactement la même. Avant la collecte, gardez également les positions A et B, la catégorie d’objet, les positions des caméras, le fond de la table et les conditions d’éclairage aussi stables que possible.

Champ	Valeur d’exemple	Instructions
Nom du jeu de données	DM Arm Pick-and-Place from A to B-01	Utilisez un schéma de nommage « appareil + tâche + lot »
Description de la tâche	Move the object from the left to the right	Décrivez clairement l’objectif de la tâche ; les descriptions doivent être exactement les mêmes lorsque les lots sont fusionnés
Nombre d’épisodes	10	Chaque épisode doit contenir une tâche complète
Durée de l’épisode	20–30 secondes	Couvrir la séquence d’actions complète
Durée de repos	5 secondes	Prévoir du temps pour réinitialiser le bras et ajuster la scène

3.4.2 Enregistrer les épisodes de tâche

L’enregistrement des épisodes de tâche est le cœur des données d’entraînement. Chaque épisode doit enregistrer complètement la prise de l’objet au point A, son déplacement au point B et son dépôt. Pour aider le modèle à apprendre rapidement, gardez le flux de tâche globalement cohérent. Pour améliorer la généralisation, ajoutez des données avec des variations de position, d’angle et de mouvement différentes.

1. Placez l’objet au point A, confirmez que le bras est dans sa pose initiale et cliquez sur Démarrer l’enregistrement.
2. Utilisez le bras leader pour contrôler le bras follower et accomplir la tâche, puis ramenez le bras à sa pose initiale.
3. Après avoir terminé la tâche, attendez la fin du temps restant, ou cliquez sur la flèche (ou appuyez sur la barre d’espace) pour terminer l’épisode actuel prématurément.
4. Pendant la période de repos, replacez l’objet au point A et confirmez que le bras est prêt. Démarrez l’épisode suivant à la fin de la période de repos.

Important ⚠️

• Avant la collecte, ajustez et fixez les caméras. Assurez-vous que les bras, la pince, l’objet et les points A et B sont tous visibles dans les vues des caméras.
• Les actions clés ne doivent pas être 🚫 obstruées ni hors des vues des caméras ; sinon, les données peuvent ne pas être utilisables pour l’entraînement.
• Si une tâche échoue, que l’objet n’est pas saisi fermement, que la vidéo saccade ou qu’une caméra est obstruée, cliquez sur Reprendre immédiatement ou appuyez sur Esc pour arrêter la collecte.
• Vous pouvez d’abord terminer le lot actuel, puis inspecter et supprimer les épisodes anormaux.
• En cas de risque de perte de contrôle ou de collision, arrêtez 🛑 immédiatement.

3.4.3 Inspecter, supprimer et fusionner les données

Après la collecte, inspectez les épisodes anormaux, supprimez les données invalides et fusionnez plusieurs jeux de données si nécessaire.

Opération	Comment la réaliser	Description
Inspecter les épisodes anormaux	Sélectionnez un épisode et lisez sa vidéo ou rejouez son action	Confirmer que la tâche a été accomplie et que le mouvement de la pince était normal. Notez les numéros d’épisodes anormaux pendant l’enregistrement pour pouvoir les inspecter directement plus tard
Supprimer les épisodes anormaux	Cliquez sur Suppression par lots d’épisodes, sélectionnez les épisodes anormaux et confirmez ; puis cliquez sur Générer une copie supprimée	Changez le nom du nouveau jeu de données et confirmez. Le jeu de données d’origine ne sera pas écrasé
Fusionner les jeux de données	Cliquez sur Fusionner, sélectionnez les jeux de données et saisissez un nouveau nom de jeu de données	Nous vous recommandons de fusionner des jeux de données avec la même description de tâche, la même combinaison d’appareils et la même configuration de caméras

Inspecter le jeu de données

Supprimer les épisodes anormaux

Fusionner les jeux de données

3.5 Entraînement

L’entraînement génère un modèle d’action pour le bras (c’est-à-dire un programme de contrôle d’action formé à partir des données de démonstration). SenseCraft Robotics lit les données de tâche enregistrées, analyse la façon dont le bras atteint l’objectif et génère un modèle utilisable pour une utilisation automatique.

Utilisez le tableau suivant pour configurer les paramètres d’entraînement :

Paramètre	Option / valeur	Détails
Matériel d’entraînement	Cloud · sélection automatique du GPU	Utilise un serveur cloud pour l’entraînement et consomme les crédits correspondants.
	Local · Gratuit	Utilise l’ordinateur actuel pour l’entraînement et ne consomme pas de crédits, mais nécessite un GPU local compatible.
Jeu de données d’entraînement	Sélectionner le jeu de données cible	Sélectionnez le jeu de données enregistré préparé pour cette session d’entraînement.
Politique	ACT	La politique de contrôle d’action par défaut actuellement utilisée.
Étapes d’entraînement	10000	Nous vous recommandons de saisir 10000 comme valeur initiale et de l’ajuster selon les performances réelles du modèle.

Note sur les crédits L’entraînement Cloud · sélection automatique du GPU consomme des crédits ; l’entraînement Local · Gratuit ne consomme pas de crédits d’entraînement dans le cloud. Pour l’acquisition, l’utilisation et les règles des crédits, reportez-vous aux Règles de crédits.

Recommandations d’étapes d’entraînement et d’épisodes :

Difficulté de la tâche	Description de la tâche	Épisodes recommandés	Étapes d’entraînement recommandées
Débutant	Du point A au point B fixe	Environ 20	10,000–15,000 étapes
Intermédiaire	Prendre et déposer à des positions aléatoires	Environ 50	30,000–40,000 étapes
Avancé	Nombreuses étapes ou longue durée	Environ 100	80,000–100,000 étapes

Durée de l’entraînement : le temps total d’entraînement dépend à la fois du modèle de GPU sélectionné et du nombre d’étapes d’entraînement. Par exemple, l’entraînement de 20,000 étapes (2W) dans le cloud sur la plupart des GPU prend généralement de quelques minutes à plusieurs dizaines de minutes. L’entraînement de 100,000 étapes (10W) prend environ cinq fois plus de temps que l’entraînement de 20,000 étapes.

Après avoir confirmé les paramètres, cliquez sur Démarrer l’entraînement. Une fois l’entraînement commencé, vous pouvez consulter la progression et les tâches historiques dans la liste Tâches d’entraînement actuelles.

3.6 Modèle

Le Modèle est utilisé pour consulter les résultats de l’entraînement et sélectionner le modèle pour l’utilisation ultérieure. Avant d’utiliser un modèle, confirmez que l’entraînement est terminé et que sa combinaison de tâche et d’appareils correspond au projet actuel.

3.7 Utilisation

L’Utilisation charge un modèle entraîné sur les bras pour vérifier s’il peut accomplir la tâche correctement.

Étapes :

1. Sélectionner un modèle : sélectionnez un modèle étiqueté Pris en charge par le bras robotique actuel.
2. Sélectionner une méthode d’inférence : sélectionnez Inférence dans le cloud ou Inférence locale, et configurez les paramètres correspondants.
3. Démarrer l’inférence : après avoir confirmé les paramètres, cliquez sur Démarrer l’inférence.

Principales différences entre l’inférence dans le cloud et l’inférence locale :

Comparaison	Inférence dans le cloud	Inférence locale
Matériel de calcul	Utilise un GPU cloud haute performance pour l’inférence.	Utilise le CPU local de l’ordinateur pour l’inférence (la plateforme actuelle ne prend pas en charge l’utilisation d’un GPU local).
Impact sur les performances	La puissance de calcul est forte et généralement sans restriction, mais le résultat dépend fortement de la qualité de transmission réseau.	Les performances sont affectées par le CPU local.
Configuration des paramètres	Nombre d’actions (défaut : 120) : nombre d’étapes d’action prédites en une inférence. Seuil de bloc (défaut : 0.9) : un paramètre qui affecte la continuité et la précision du mouvement. Une valeur plus élevée rend l’exécution du bras plus prudente (et peut provoquer des pauses) ; une valeur plus basse rend le mouvement plus fluide (mais peut provoquer des erreurs). (Les paramètres par défaut sont généralement suffisants.)	Nombre d’exécutions : nombre total de fois (épisodes) pour répéter la tâche en continu. Durée limite par exécution (secondes) : durée maximale d’une exécution de tâche ; l’exécution se termine automatiquement lorsque la limite est atteinte. (Les paramètres par défaut sont généralement suffisants.)
Sortie de données	Effectue uniquement l’inférence pour vérification.	Après la fin de l’exécution, le contenu de l’inférence est automatiquement généré comme un jeu de données correspondant.
Coût et limites	Le coût est soumis aux règles de la plateforme ; la puissance de calcul est forte et adaptée pour démarrer rapidement l’entraînement.	Ne nécessite généralement pas de crédits cloud, mais est limité par les performances du CPU local.

Remarques

• Avant de démarrer : confirmez que les bras sont correctement connectés et que l’espace de travail est sûr.
• Pendant l’utilisation : ne déconnectez ni ne démontez les bras, et observez si leurs mouvements sont normaux.
• Si le résultat n’est pas satisfaisant : revenez à Jeu de données, supprimez les épisodes anormaux, ajoutez des données valides et entraînez à nouveau.