Ir al contenido

Guía de entrenamiento de reBot Arm 102 + B601 RS

Este tutorial usa el reBot Arm 102 (brazo líder) y el B601 RS (brazo seguidor) con SenseCraft Robotics para presentar el flujo de trabajo completo, desde la creación del proyecto y la configuración del dispositivo hasta la recopilación de datos, el entrenamiento de modelos y el despliegue. La tarea de ejemplo de esta guía consiste en recoger un objeto en el Punto A y colocarlo en el Punto B. Se proporciona únicamente como ilustración; los usuarios pueden diseñar escenarios de aplicación según sus necesidades, como clasificación, manipulación, embalaje, pulsación de botones o conexión y desconexión.

Ejemplo de tarea de recogida y colocación del brazo RS

Nota de versión Los nombres de interfaz, las ubicaciones de los botones y los backends de entrenamiento pueden cambiar con las versiones de SenseCraft Robotics. Los números de puerto serie (como COM21, COM35, COM3 y COM6) y los nombres de los conjuntos de datos de esta guía son ejemplos de un video. Usa siempre los dispositivos detectados por tu computadora actual.

Este tutorial está organizado en el orden de configuración del hardware y el funcionamiento del software para ayudarte a configurar rápidamente los brazos y entrenar un modelo:

CapítuloEtapaContenido principal
Capítulo 1PreparaciónLista de hardware, requisitos de computadora y software, verificaciones de escena y seguridad
Capítulo 2Conectar los brazosMontaje físico y conexiones de cables para los brazos líder y seguidor
Capítulo 3Entrenamiento de softwareFlujo de trabajo principal: configuración del dispositivo ➔ recopilación de datos ➔ entrenamiento de modelos ➔ despliegue y funcionamiento

Lista de hardware

Los brazos deben estar ensamblados, montados, alimentados y conectados al USB. Si el ensamblaje no está completo, consulta el Paso 1: Ensamblar el brazo.

CategoríaLeader: reBot Arm 102Follower: B601 RS
BrazoreBot Arm 102 ×1 🔗Comprar ahorareBot Arm B601-RS ensamblado ×1 🔗Comprar ahora
Fuente de alimentaciónAdaptador de alimentación de 12 V / 2 A ×1Fuente de alimentación de 48 V / 12.5 A ×1
Cable de datosCable de datos USB-C ×1Cable de extensión USB ×1
Componentes de comunicación y alimentación—Placa controladora USB-CAN ×1
Placa de separación de señal/alimentación ×1
Otros cables—Cable JST de 2 pines ×1
Cable JST de 3 pines ×1
Cable XT30 2+2 ×1
Herramientas de montajeAbrazadera en G ×2Abrazadera en G ×2

Los brazos deben estar ensamblados, montados, alimentados y conectados al USB. Si el ensamblaje no está completo, consulta el Paso 1: Ensamblar el brazo.

Se requieren dos cámaras: una para la vista superior y otra para la vista lateral o la vista de pinza.

Cámara Cámara superior Cámara lateral Cámara de pinza
Cantidad 1 Elige la cámara lateral o la de pinza
Montaje Soporte de vista superior ×1 Soporte de escritorio pequeño ×1 Soporte impreso en 3D ×1

Opciones de cámara: En macOS o Windows, elige cualquiera de las siguientes combinaciones. Recomendamos conectar las cámaras directamente a los puertos USB de la computadora en lugar de usar un concentrador o base USB.

OpciónCámara USB HikvisionLogitech C270 HD WebcamRendimiento de recopilación
Opción 111La más estable; admite recopilación a 120 FPS
Opción 2❌2Estable; admite todas las tasas de fotogramas de recopilación
Opción 32❌Mantén la tasa de fotogramas en 60 FPS o inferior; no se admite la recopilación a 120 FPS y pueden producirse problemas de compatibilidad en algunos casos
  • Computadora con Windows o macOS (el entrenamiento local requiere una GPU compatible)
  • Conexión de red estable (para descarga, inicio de sesión, entrenamiento en la nube e inferencia)
  • SenseCraft Robotics instalado
  • Una cuenta de SenseCraft registrada, con sesión iniciada en SenseCraft Robotics

Para instrucciones detalladas, consulta la Descarga de software y configuración de cuenta.

  • Marca dos posiciones fijas en la mesa: el Punto A para la posición inicial del objeto y el Punto B para su destino.
  • Prepara un objeto de tamaño adecuado y fácil de agarrar, como un bloque rojo o un objeto blando.
  • Asegúrate de que el Punto A, el Punto B, ambos brazos y el objeto estén dentro del campo de visión de las cámaras y no estén obstaculizados.
  • Despeja el espacio de trabajo del brazo de personas, desorden, cables y objetos frágiles. Ajusta el brazo líder para que no se acerque al brazo seguidor ni aparezca en el campo de visión de la cámara del seguidor. Ejemplo de escena y seguridad

Nota: Esta imagen usa el brazo B601 DM como ejemplo. La configuración y el funcionamiento son los mismos para el B601 RS.


Aviso de seguridad: Desconecta la alimentación antes de conectar o desconectar cables JST, XT30 u otros cables. Enciende la alimentación solo después de confirmar que todos los cables estén correctamente conectados. El B601 RS y el B601 DM tienen un aspecto similar. Asegúrate de distinguirlos.

2.1 Montar y conectar el reBot Arm 102 (brazo líder)

Sección titulada «2.1 Montar y conectar el reBot Arm 102 (brazo líder)»

Montaje y conexión del reBot Arm 102 (brazo líder)

Usa abrazaderas de carpintería para fijar el reBot Arm 102 a una superficie de mesa plana. Empuja suavemente la base para confirmar que no se mueve.

Las conexiones constan de dos rutas:

  • Ruta de señal (brazo -> cable USB-C -> computadora)

    1. Prepara un cable USB-C para conectar el brazo a la computadora (no lo conectes a la computadora todavía; conéctalo cuando llegues a la vinculación de puertos serie y al escaneo de dispositivos).
  • Ruta de alimentación (brazo -> fuente de alimentación de 12 V 2 A -> regleta)

    1. Conecta el adaptador de alimentación de 12 V 2 A al conector de alimentación del brazo.
    2. Conecta el adaptador a la regleta para encender el brazo.

2.2 Montar y conectar el B601 RS (brazo seguidor)

Sección titulada «2.2 Montar y conectar el B601 RS (brazo seguidor)»

Conexión de cables del B601 RS

Usa abrazaderas en G para fijar el B601 RS a una superficie de mesa plana. Gira suavemente el brazo a izquierda y derecha para confirmar que la base no se mueve.

Asegúrate de que la alimentación esté desconectada antes de empezar. Las conexiones constan de dos rutas:

  • Ruta de señal (brazo -> placa de separación de señal -> USB-CAN -> computadora)

    1. Usa un cable XT30 2+2 para conectar la base del brazo al módulo de separación de señal.
    2. Corta el cable de 2 pines. Conecta un extremo al módulo de separación de señal; conecta el cable rojo del otro extremo a H del USB-CAN y el cable negro a L.
    3. Conecta un extremo del USB-CAN a la computadora a través del cable de extensión USB (no lo conectes a la computadora todavía; conéctalo cuando la vinculación de puertos serie esté lista y al escanear dispositivos).
  • Ruta de alimentación (brazo -> placa de separación de señal -> fuente de alimentación de 48 V 12.5 A -> enchufe)

    1. Usa un cable XT30 2+2 para conectar la base del brazo al módulo de separación de señal.
    2. Usa el cable de alimentación XT30 para conectar el módulo de separación de señal a la fuente de alimentación de 48 V 12.5 A.
    3. Conecta la fuente de alimentación al enchufe. Después de confirmar que el brazo está fijado, que los cables son correctos y que la zona circundante está despejada, enciende la alimentación.

Conexión de alimentación del B601 RS


Después de iniciar sesión, abre la página de Proyectos. Crea un proyecto nuevo para el primer uso o abre un proyecto existente. En un proyecto, la Información general del proyecto proporciona acceso a la configuración del dispositivo, la reproducción de acciones, los conjuntos de datos, el entrenamiento, los modelos y el funcionamiento.

OperaciónPasos
Crear un proyectoHaz clic en Nuevo proyecto → introduce el nombre y la descripción del proyecto → haz clic en Crear e iniciar
Abrir un proyecto existenteSelecciona un proyecto de la lista de proyectos → abre el proyecto

Ventana de proyecto nuevo

La Información general del proyecto muestra el estado actual del proyecto, incluida la conexión del brazo, la configuración del dispositivo, el conjunto de datos, el entrenamiento, el modelo y el estado del funcionamiento.

Si la página muestra Pendiente de configurar o No conectado, haz clic en Ir a configuración del dispositivo para configurar los brazos.

Información general del proyecto

La Configuración del dispositivo se usa para la selección de dispositivos, la vinculación de puertos serie, la calibración de los brazos, la verificación de teleoperación y la configuración de cámaras.

En el paso de Emparejamiento de dispositivos, selecciona reBot Arm 102 + B601 RS y luego haz clic en Siguiente para vincular los puertos serie.

Seleccionar reBot Arm 102 + B601 RS

3.2.2 Vincular los puertos serie USB de los brazos líder y seguidor

Sección titulada «3.2.2 Vincular los puertos serie USB de los brazos líder y seguidor»
  1. Escaneo inicial: Desconecta los cables USB de ambos brazos, haz clic en Reescanear y registra los puertos serie que se muestran actualmente.
  2. Vincular el brazo líder: Conecta el reBot Arm 102, haz clic en Reescanear de nuevo y vincula el puerto serie recién aparecido al brazo líder.
  3. Vincular el brazo seguidor: Conecta el B601 RS, haz clic en Reescanear de nuevo y vincula el canal PCAN (can0) al brazo seguidor.
  4. Confirma que ambos brazos muestren Conectado y luego haz clic en Siguiente.

Vincular los puertos serie de los brazos líder y seguidor

Vinculación de puertos serie y solución de problemas:

  • Después de cada escaneo, vincula solo el puerto serie recién aparecido. No identifiques los dispositivos únicamente por sus números COM.
  • Si no se muestra un puerto serie, reconecta el cable USB y escanea de nuevo. Si solo se muestra un puerto serie, comprueba el otro cable USB y la alimentación del dispositivo.

3.2.3 Verificación de calibración de los brazos

Sección titulada «3.2.3 Verificación de calibración de los brazos»
  1. Sigue el ejemplo en pantalla para mover los brazos líder y seguidor a la postura inicial y asegúrate de que el espacio de trabajo esté libre de obstáculos.
  2. Haz clic en Iniciar calibración y sigue las instrucciones en pantalla para completar la posición cero del líder, la posición cero del seguidor y los pasos de finalización de la calibración en secuencia.
  3. Si las posturas de los brazos no coinciden o la calibración falla, haz clic en Recalibrar y no continúes.

Verificación de calibración de los brazos Nota: La ilustración usa un brazo DM como ejemplo. El procedimiento para el brazo RS es exactamente el mismo.

No realices teleoperación ni recopilación de datos antes de que se complete la calibración.

La verificación de teleoperación confirma que el brazo seguidor sigue correctamente al brazo líder. Si la dirección está invertida, el retardo es excesivo o el movimiento es discontinuo, comprueba los roles de los dispositivos, las vinculaciones de puertos serie y el resultado de la calibración.

  1. Haz clic en Iniciar teleoperación.
  2. Mueve el brazo líder ligeramente y observa si el brazo seguidor se mueve de forma sincrónica, sigue la misma dirección y se mueve con suavidad.
  3. Después de la verificación, haz clic en Finalizar teleoperación y selecciona una opción según el resultado:
    • Normal: haz clic en Confirmar teleoperación normal;
    • Anormal: haz clic en Anormal, volver a calibrar.

Verificación de teleoperación Nota: La ilustración usa un brazo DM como ejemplo. El procedimiento para el brazo RS es exactamente el mismo.

Compensación de gravedad (opcional) El brazo tiene cierto peso, por lo que ajustar manualmente el seguidor puede requerir esfuerzo. Cuando se activa la compensación de gravedad, el sistema contrarresta parte del peso, facilitando el movimiento del seguidor. Desactiva la compensación de gravedad después del ajuste y antes de la verificación de teleoperación. La compensación de gravedad sirve para ajustar el brazo seguidor; no controla el brazo seguidor para que siga al líder.

Las cámaras registran información visual mientras el brazo realiza una tarea. Según la posición de montaje de la cámara, se suelen usar las siguientes dos configuraciones:

ConfiguraciónInstalación y propósitoEscenarios adecuadosIlustración
Vista de pinza
Cámara superior: montada encima de la parte frontal del banco de trabajo para cubrir el área de trabajo.

Cámara de pinza: montada cerca de la pinza para observar los detalles de agarre.
Operaciones finas que requieren observar el contacto entre la pinza y el objeto.Configuración de vista de pinza
Nota: Puedes diseñar tu propio soporte de cámara 3D.
Asistencia de vista lateral
Cámara superior: montada encima de la parte frontal del banco de trabajo para cubrir el área de trabajo.

Cámara lateral: montada en el lado frontal del banco de trabajo para observar la altura del brazo y el movimiento de la pinza.
Tareas como agarre, manipulación y colocación.Configuración de asistencia de vista lateral

Este tutorial usa la configuración de asistencia de vista lateral. Después de instalar y colocar las cámaras:

  1. Conecta las cámaras a la computadora y haz clic en Reescanear.
  2. Selecciona las transmisiones de video correspondientes en las áreas de Cámara frontal y Cámara lateral.
  3. Comprueba ambas ventanas de previsualización para confirmar que los brazos, el objeto y la posición objetivo sean claramente visibles. Haz clic en Siguiente después de confirmar.

Vincular las cámaras frontal y lateral

Para comprobar si las cámaras se corresponden con sus posiciones de montaje, haz clic en Ver configuración de cámaras. Si la previsualización está en negro o es anormal, vuelve a escanear, reinicia las cámaras o cambia los puertos USB.

La Reproducción de acciones registra las acciones del brazo mediante la enseñanza con el brazo líder y las guarda en la lista de acciones para su reproducción. Después de grabar, comprueba si la acción es continua y si la dirección del movimiento y la apertura y cierre de la pinza son correctos.

FunciónOperaciónPropósito
Grabar una acciónHaz clic en + para crear una acción → usa el brazo líder para controlar el seguidor durante la tarea
Haz clic en Detener grabación → guardar
Grabar acciones objetivo como agarre, movimiento y colocación
Reproducir una acciónHaz clic en ReproducirComprobar que la acción sea completa y continua, y confirmar la dirección del movimiento y la apertura y cierre de la pinza

Antes de grabar una acción por primera vez, completa la conexión de dispositivos y la verificación de teleoperación en Configuración del dispositivo, y haz clic en Confirmar teleoperación normal. Si la reproducción es anormal, elimina la acción y grábala de nuevo.

Lista de acciones y operación de reproducción

El Conjunto de datos se usa para crear tareas de recopilación y para grabar, inspeccionar, limpiar y combinar episodios de tareas. Recomendamos recopilar datos en lotes pequeños para detectar temprano las desconexiones, los problemas de software o los saltos de video y reducir el riesgo de perder todos los datos por un solo fallo.

  • Graba unos 10 episodios de tarea por lote;
  • Después de completar 2–3 lotes, conserva unos 20–30 episodios válidos para la primera ejecución de entrenamiento;
  • Añade más datos para tareas complejas según los resultados del entrenamiento.

3.4.1 Configurar una tarea de recopilación de datos

Sección titulada «3.4.1 Configurar una tarea de recopilación de datos»

Ve a Conjunto de datos → Recopilar datos e introduce la información de la tarea. Si se van a combinar varios conjuntos de datos, las descripciones de tarea de todos los lotes deben ser exactamente iguales. Antes de la recopilación, mantén las posiciones A y B, la categoría del objeto, las posiciones de las cámaras, el fondo de la mesa y las condiciones de iluminación lo más consistentes posible.

CampoValor de ejemploInstrucciones
Nombre del conjunto de datosRS arm pick object from A to B-01Usa el formato “dispositivo + tarea + lote”
Descripción de la tareaMove the object from the left to the rightIndica claramente el objetivo de la tarea; las descripciones deben ser exactamente iguales cuando se combinan lotes
Número de episodios10Cada episodio debe contener una tarea completa
Duración por episodio20–30 segundosCubre la secuencia completa de acciones
Duración de descanso5 segundosPermite que el brazo se restablezca y que la escena se ajuste

Configurar una tarea de recopilación de datos

La grabación de episodios de tarea es el núcleo de los datos de entrenamiento. Cada episodio debe registrar completamente el proceso de agarrar el objeto en el Punto A, moverlo al Punto B y soltarlo. Para ayudar al modelo a aprender rápidamente, mantén el procedimiento de tarea generalmente consistente. Para mejorar la generalización, añade datos con diferentes variaciones de posición, ángulo y movimiento.

  1. Coloca el objeto en el Punto A, confirma que el brazo está en su postura inicial y haz clic en Iniciar grabación.
  2. Usa el brazo líder para controlar el seguidor durante la tarea, luego devuelve el brazo a su postura inicial.
  3. Después de completar la tarea, espera a que termine el tiempo restante o haz clic en la flecha (o pulsa Espacio) para terminar el episodio actual antes de tiempo.
  4. Durante el período de descanso, devuelve el objeto al Punto A y asegúrate de que el brazo esté listo. Inicia el siguiente episodio cuando termine el período de descanso.

Grabar episodios de tarea

Recordatorio importante ⚠️

  • Antes de la recopilación, ajusta y fija las cámaras. Asegúrate de que los brazos, la pinza, el objeto y los Puntos A y B sean todos visibles.
  • Las acciones clave no deben estar 🚫 obstaculizadas ni fuera del campo de visión de la cámara, o los datos podrían no ser utilizables para el entrenamiento.
  • Si una tarea falla, el objeto no se agarra de forma segura, el video salta o una cámara está obstaculizada, haz clic en Grabar de nuevo o pulsa Esc para detener la recopilación.
  • Puedes completar primero el lote actual y luego inspeccionar y eliminar los episodios anormales.
  • Si el brazo se comporta de forma inesperada o hay riesgo de colisión, detente 🛑 inmediatamente.

3.4.3 Inspeccionar, eliminar y combinar datos

Sección titulada «3.4.3 Inspeccionar, eliminar y combinar datos»

Después de la recopilación, inspecciona los episodios anormales, elimina los datos no válidos y combina varios conjuntos de datos cuando sea necesario.

OperaciónMétodoDescripción
Inspeccionar episodios anormalesSelecciona un episodio y reproduce el video o la acciónConfirma que la tarea esté completa y que la acción de la pinza sea normal. Puedes tomar nota de los números de episodios anormales durante la grabación e inspeccionarlos directamente más tarde
Eliminar episodios anormalesHaz clic en Eliminación por lotes de episodios, selecciona los episodios anormales y confirma; luego haz clic en Generar copia eliminadaIntroduce un nuevo nombre de conjunto de datos y confirma. El conjunto de datos original no se sobrescribirá
Combinar conjuntos de datosHaz clic en Combinar, selecciona los conjuntos de datos e introduce un nuevo nombre de conjunto de datosCombina conjuntos de datos con descripciones de tarea, combinaciones de dispositivos y configuraciones de cámara coincidentes

Inspeccionar el conjunto de datos

Inspeccionar el conjunto de datos

Eliminar episodios anormales

Eliminar episodios anormales

Combinar conjuntos de datos

Combinar conjuntos de datos

El entrenamiento genera un modelo de acción para el brazo (es decir, un programa de control de acciones creado a partir de los datos de enseñanza). SenseCraft Robotics lee los datos de tarea grabados, analiza cómo el brazo realiza la acción objetivo y genera un modelo que se puede usar para el funcionamiento autónomo.

Usa la siguiente tabla para configurar los parámetros de entrenamiento:

ParámetroOpción / valorDetalles
Hardware de entrenamientoNube · selección automática de GPUUsa un servidor en la nube para el entrenamiento y consume los créditos correspondientes.
Local · gratuitoUsa la computadora actual para el entrenamiento. No se consumen créditos, pero se requiere una GPU local compatible.
Conjunto de datos de entrenamientoSeleccionar el conjunto de datos objetivoSelecciona el conjunto de datos que grabaste y preparaste para esta ejecución de entrenamiento.
PolíticaACTLa política de control de acciones predeterminada actualmente admitida.
Pasos de entrenamiento10000Se recomienda 10,000 como valor inicial. Ajústalo más tarde según el rendimiento real del modelo.

Aviso de créditos El entrenamiento en la nube con Nube · selección automática de GPU consume créditos. El entrenamiento en Local · gratuito no consume créditos de entrenamiento en la nube. Consulta las Normas de créditos para obtener información sobre la adquisición y el uso de créditos.

Pasos de entrenamiento y recuentos de episodios recomendados:

Dificultad de la tareaDescripción de la tareaEpisodios recomendadosPasos de entrenamiento recomendados
PrincipiantePunto A fijo a Punto BUnos 2010,000–15,000 pasos
IntermedioAgarrar y colocar en posiciones aleatoriasUnos 5030,000–40,000 pasos
AvanzadoMúltiples pasos o larga duraciónUnos 10080,000–100,000 pasos

Duración del entrenamiento: El tiempo total de entrenamiento depende tanto del modelo de GPU seleccionado como del número de pasos de entrenamiento. Por ejemplo, el entrenamiento de 20,000 pasos (20K) en la nube suele tardar desde varios minutos hasta decenas de minutos en la mayoría de las GPU. El entrenamiento de 100,000 pasos (100K) tarda aproximadamente cinco veces más que el entrenamiento de 20K pasos.

Después de confirmar la configuración, haz clic en Iniciar entrenamiento. Una vez que comience el entrenamiento, visualiza el progreso y el historial de entrenamiento en la lista de Tareas de entrenamiento actuales.

Configuración de entrenamiento

El Modelo se usa para visualizar los resultados del entrenamiento y seleccionar un modelo para el funcionamiento posterior. Antes de usarlo, confirma que el entrenamiento esté completo y que la tarea y la combinación de dispositivos coincidan con el proyecto actual.

Lista de modelos

El Funcionamiento carga un modelo entrenado en los brazos para verificar si puede completar la tarea correctamente.

Pasos:

  1. Seleccionar un modelo: Selecciona un modelo etiquetado como Compatible con el brazo actual.
  2. Seleccionar un método de inferencia: Selecciona Inferencia en la nube o Inferencia local, luego configura los parámetros correspondientes.
  3. Iniciar inferencia: Después de confirmar la configuración, haz clic en Iniciar inferencia en la nube/local.

Principales diferencias entre la inferencia en la nube y la inferencia local:

ComparaciónInferencia en la nubeInferencia local
Hardware de cálculoUsa una GPU de alto rendimiento en la nube para la inferencia.Usa la CPU local de la computadora (la plataforma actual no admite el uso de una GPU local).
Impacto en el rendimientoLa capacidad de cálculo generalmente no es una limitación, pero los resultados dependen en gran medida de la calidad de la transmisión de red.Los resultados dependen de la capacidad de cálculo de la CPU local.
ParámetrosFragmentos de acción (predeterminado 120): número de pasos de acción previstos en una inferencia.
Umbral de fragmento (predeterminado 0.9): afecta a la suavidad y la precisión del movimiento. Un valor más alto hace que el brazo sea más prudente y puede causar pausas; un valor más bajo hace que el movimiento sea más suave pero puede aumentar los errores.
(Los valores predeterminados suelen ser recomendados.)
Recuento de ejecuciones: número total de veces (episodios) para repetir la tarea.
Límite de tiempo por ejecución (segundos): duración máxima de una ejecución de tarea; la ejecución finaliza automáticamente al agotarse el tiempo.
(Los valores predeterminados suelen ser recomendados.)
Salida de datosSolo realiza la verificación de inferencia.Genera automáticamente un conjunto de datos correspondiente a partir de las ejecuciones de inferencia después de que finalice el funcionamiento.
Coste y limitacionesSujeto a los precios de la plataforma; la mayor capacidad de cálculo es adecuada para empezar rápidamente.Normalmente no consume créditos en la nube, pero está limitado por el rendimiento de la CPU local.

Notas

  • Antes de empezar: Confirma que los brazos estén conectados correctamente y que el espacio de trabajo sea seguro.
  • Durante el funcionamiento: No desconectes ni desmontes los brazos, y observa si sus movimientos son normales.
  • Si el resultado no es satisfactorio: Regresa a Conjunto de datos, elimina los episodios anormales, añade datos válidos y entrena de nuevo.

Interfaz de funcionamiento del modelo