Ir al contenido

Guía de entrenamiento de reBot Arm 102 + B601 DM

Este tutorial usa el reBot Arm 102 (brazo líder) y el B601 DM (brazo seguidor) con SenseCraft Robotics para presentar el flujo de trabajo completo, desde la creación del proyecto y la configuración del dispositivo hasta la recopilación de datos, el entrenamiento de modelos y el funcionamiento. La tarea de ejemplo de esta guía consiste en recoger un objeto en el Punto A y colocarlo en el Punto B. Se proporciona únicamente como ilustración; los usuarios pueden diseñar escenarios de aplicación según sus necesidades, como clasificación, manipulación, embalaje, pulsación de botones o conexión y desconexión.

Ejemplo de tarea de recogida y colocación del brazo DM

Nota de versión Los nombres de interfaz, las ubicaciones de los botones y los backends de entrenamiento pueden cambiar con las versiones de SenseCraft Robotics. Los números de puerto serie (como COM21, COM35, COM3 y COM6) y los nombres de los conjuntos de datos de esta guía son ejemplos de un video. Usa siempre los dispositivos detectados por tu computadora actual.

Este tutorial está organizado en el orden de configuración del hardware y el funcionamiento del software para ayudarte a configurar rápidamente los brazos y entrenar un modelo:

CapítuloEtapaContenido principal
Capítulo 1PreparaciónLista de hardware, requisitos de computadora y software, verificaciones de escena y seguridad
Capítulo 2Conectar los brazosMontaje físico y conexiones de cables para los brazos líder y seguidor
Capítulo 3Entrenamiento de softwareFlujo de trabajo principal: configuración del dispositivo ➔ recopilación de datos ➔ entrenamiento de modelos ➔ despliegue y funcionamiento

Lista de hardware

Los brazos deben estar ensamblados, montados, alimentados y conectados al USB. Si el ensamblaje no está completo, consulta el Paso 1: Ensamblar el brazo.

CategoríaLeader: reBot Arm 102Follower: B601 DM
BrazoreBot Arm 102 ×1 🔗Comprar ahoraKit de reBot Arm B601-DM ensamblado (versión con pinza ensamblada con fuente de alimentación) ×1 🔗Comprar ahora
Fuente de alimentaciónAdaptador de alimentación de 12 V / 2 A ×1Fuente de alimentación de 24 V / 15 A y cable de alimentación ×1
Cable de datosCable de datos USB-C ×1Cable de datos USB-C ×1
Componentes de comunicación y alimentación—Placa controladora USB-CAN ×1
Placa de separación de señal/alimentación ×1
Otros cables—Cable JST de 2 pines ×1
Cable JST de 3 pines ×1
Cable XT30 2+2 ×1
Herramientas de montajeAbrazadera en G ×2Abrazadera en G ×2

Se requieren dos cámaras: una para la vista superior y otra para la vista lateral o la vista de pinza.

Cámara Cámara superior Cámara lateral Cámara de pinza
Cantidad 1 Elige la cámara lateral o la de pinza
Montaje Soporte de vista superior ×1 Soporte de escritorio pequeño ×1 Soporte impreso en 3D ×1

Opciones de cámara: En macOS o Windows, elige cualquiera de las siguientes combinaciones. Recomendamos conectar las cámaras directamente a los puertos USB de la computadora en lugar de usar un concentrador o base USB.

OpciónCámara USB HikvisionLogitech C270 HD WebcamRendimiento de recopilación
Opción111La más estable; admite recopilación a 120 FPS
Opción2❌2Estable; admite todas las tasas de fotogramas de recopilación
Opción32❌Mantén la tasa de fotogramas en 60 FPS o inferior; no se admite la recopilación a 120 FPS y pueden producirse problemas de compatibilidad en algunos casos
  • Computadora con Windows o macOS (el entrenamiento local requiere una GPU compatible)
  • Conexión de red estable (para descarga, inicio de sesión, entrenamiento en la nube e inferencia)
  • SenseCraft Robotics instalado
  • Una cuenta de SenseCraft registrada, con sesión iniciada en SenseCraft Robotics

Para instrucciones detalladas, consulta la Descarga de software y configuración de cuenta.

  • Marca dos posiciones fijas en la mesa: el Punto A para la posición inicial del objeto y el Punto B para su destino.
  • Prepara un objeto de tamaño adecuado y fácil de agarrar, como un bloque rojo o un objeto blando.
  • Asegúrate de que el Punto A, el Punto B, ambos brazos y el objeto estén dentro del campo de visión de las cámaras y no estén obstaculizados.
  • Despeja el espacio de trabajo del brazo de personas, desorden, cables y objetos frágiles. Ajusta el brazo líder para que no se acerque al brazo seguidor ni aparezca en el campo de visión de la cámara del seguidor.

Ejemplo de escena y seguridad

Aviso de seguridad: Desconecta la alimentación antes de conectar o desconectar cables JST, XT30 u otros cables. Enciende la alimentación solo después de confirmar que todos los cables estén correctamente conectados. El B601 RS y el B601 DM tienen un aspecto similar. Asegúrate de distinguirlos.

2.1 Montar y conectar el reBot Arm 102 (brazo líder)

Sección titulada «2.1 Montar y conectar el reBot Arm 102 (brazo líder)»

Usa abrazaderas de carpintería para fijar el reBot Arm 102 a una superficie de mesa plana. Empuja suavemente la base para confirmar que no se mueve.

Montaje y conexión del reBot Arm 102 (brazo líder)

Las conexiones constan de dos rutas:

  • Ruta de señal (brazo -> cable USB-C -> computadora)

    1. Prepara un cable USB-C para conectar el brazo a la computadora (no lo conectes a la computadora todavía; conéctalo cuando llegues a la vinculación de puertos serie y al escaneo de dispositivos).
  • Ruta de alimentación (brazo -> adaptador de alimentación de 12 V 2 A -> regleta -> encender)

    1. Conecta el adaptador de alimentación de 12 V 2 A al conector de alimentación del brazo.
    2. Conecta el adaptador a la regleta para encender el brazo.

2.2 Montar y conectar el B601 DM (brazo seguidor)

Sección titulada «2.2 Montar y conectar el B601 DM (brazo seguidor)»

Conexión de cables del B601 DM

Usa abrazaderas en G para fijar el B601 DM a una superficie de mesa estable y plana. Después de fijarlo, gira suavemente el brazo a izquierda y derecha para confirmar que la base no se mueve.

Asegúrate de que la alimentación esté desconectada antes de empezar. Las conexiones constan de dos rutas:

  • Ruta de señal (brazo -> placa de separación de señal/alimentación -> placa controladora USB-CAN -> computadora)

    1. Usa un cable XT30 2+2 para conectar el primer motor de la parte inferior a la placa de separación de señal/alimentación.
    2. Usa el cable JST de 2 pines para conectar la placa de separación de señal/alimentación a la placa controladora USB-CAN.
    3. Usa el cable JST de 3 pines para conectar el primer motor de la parte inferior a la placa controladora USB-CAN (este es un cable de depuración y puede dejarse desconectado).
    4. Prepara un cable de datos USB-C para conectar la placa controladora USB-CAN a la computadora (no lo conectes a la computadora todavía; conéctalo cuando llegues a la vinculación de puertos serie y al escaneo de dispositivos).
  • Ruta de alimentación (brazo -> placa de separación de señal/alimentación -> adaptador de alimentación de 24 V -> enchufe -> encender)

    1. Usa un cable XT30 2+2 para conectar el primer motor de la parte inferior a la placa de separación de señal/alimentación.
    2. Conecta la placa de separación de señal/alimentación al adaptador de alimentación de 24 V.
    3. Conecta el adaptador de alimentación al enchufe. Después de confirmar que el brazo está fijado, que los cables son correctos y que la zona circundante está despejada, enciende la alimentación.

Conexión del B601 DM (brazo seguidor)

Después de iniciar sesión, abre la página de Proyectos. Crea un proyecto nuevo para el primer uso o abre un proyecto existente. En un proyecto, la Información general del proyecto proporciona acceso a la configuración del dispositivo, la reproducción de acciones, los conjuntos de datos, el entrenamiento, los modelos y el funcionamiento.

OperaciónPasos
Crear un proyectoHaz clic en Nuevo proyecto → introduce el nombre y la descripción del proyecto → haz clic en Crear e iniciar
Abrir un proyecto existenteSelecciona un proyecto de la lista de proyectos → abre el proyecto

Ventana de proyecto nuevo

La Información general del proyecto muestra el estado actual del proyecto, incluida la conexión del brazo, la configuración del dispositivo, el conjunto de datos, el entrenamiento, el modelo y el estado del funcionamiento.

Si la página muestra Pendiente de configurar o No conectado, haz clic en Ir a configuración del dispositivo para configurar los brazos.

Información general del proyecto

La Configuración del dispositivo se usa para la selección de dispositivos, la vinculación de puertos serie, la calibración de los brazos, la verificación de teleoperación y la configuración de cámaras.

En el paso de Emparejamiento de dispositivos, selecciona reBot Arm 102 + B601 DM y luego haz clic en Siguiente para vincular los puertos serie.

Seleccionar reBot Arm 102 + B601 DM

3.2.2 Vincular los puertos serie USB de los brazos líder y seguidor

Sección titulada «3.2.2 Vincular los puertos serie USB de los brazos líder y seguidor»
  1. Escaneo inicial: Desconecta los cables USB de ambos brazos, haz clic en Reescanear y toma nota de los puertos serie que se muestran actualmente.
  2. Vincular el brazo líder: Conecta el reBot Arm 102 (brazo líder), haz clic en Reescanear de nuevo y vincula el puerto serie recién detectado al brazo líder.
  3. Vincular el brazo seguidor: Conecta el B601 DM (brazo seguidor), haz clic en Reescanear de nuevo y vincula el puerto serie recién detectado al brazo seguidor.
  4. Confirma que ambos brazos muestren Conectado y luego haz clic en Siguiente.

Vincular los puertos serie de los brazos líder y seguidor

Vinculación de puertos serie y solución de problemas:

  • Después de cada escaneo, vincula solo el puerto serie recién detectado. No identifiques un dispositivo únicamente por su número COM.
  • Si no se muestra un puerto serie, reconecta el cable USB y escanea de nuevo. Si solo se muestra un puerto serie, comprueba el otro cable USB y la alimentación del dispositivo.

3.2.3 Verificación de calibración de los brazos

Sección titulada «3.2.3 Verificación de calibración de los brazos»
  1. Sigue el ejemplo en pantalla para colocar los brazos líder y seguidor en sus posturas iniciales y confirma que el espacio de trabajo esté despejado.
  2. Haz clic en Iniciar calibración, luego sigue las instrucciones en pantalla para completar la puesta a cero del brazo líder, la puesta a cero del brazo seguidor y la finalización de la calibración.
  3. Si las posturas de los brazos son inconsistentes o la calibración falla, haz clic en Recalibrar y no continúes con los siguientes pasos.

Verificación de calibración de los brazos

No realices teleoperación ni recopilación de datos antes de que se complete la calibración.

La verificación de teleoperación confirma que el brazo seguidor sigue correctamente al brazo líder. Si la dirección está invertida, el retardo es excesivo o el movimiento es discontinuo, comprueba los roles de los dispositivos, la vinculación de puertos serie y el resultado de la calibración.

  1. Haz clic en Iniciar teleoperación.
  2. Mueve el brazo líder en un rango pequeño y observa si el brazo seguidor se mueve de forma sincrónica, en la misma dirección y con suavidad.
  3. Después de completar la verificación, haz clic en Finalizar teleoperación, luego selecciona una opción según el resultado:
    • Normal: Haz clic en Confirmar teleoperación normal.
    • Anormal: Haz clic en Anormal, volver a calibrar.

Verificación de teleoperación

Compensación de gravedad (opcional) El brazo tiene cierto peso, por lo que ajustar manualmente el brazo seguidor puede requerir esfuerzo. Cuando se activa la compensación de gravedad, el sistema contrarresta parte del peso y facilita el movimiento del brazo seguidor. Después del ajuste, desactiva la compensación de gravedad antes de realizar la verificación de teleoperación. La compensación de gravedad sirve para ajustar el brazo seguidor; no se usa para controlar el brazo seguidor durante el funcionamiento líder-seguidor.

Las cámaras registran información visual mientras el brazo realiza una tarea. Las siguientes son dos configuraciones de cámara comunes:

ConfiguraciónInstalación y propósitoEscenarios adecuadosIlustración
Vista de pinza
Cámara superior: Instálala encima de la parte frontal del banco de trabajo para cubrir el área de trabajo.

Cámara de pinza: Instálala cerca de la pinza para observar los detalles de agarre.
Operaciones finas que requieren observar el contacto entre la pinza y el objeto.Configuración de vista de pinza
*Nota: Puedes diseñar el soporte de cámara 3D tú mismo.
Asistencia de vista lateral
Cámara superior: Instálala encima de la parte frontal del banco de trabajo para cubrir el área de trabajo.

Cámara lateral: Instálala en el lado frontal del banco de trabajo para observar la altura del brazo y el movimiento de la pinza.
Tareas de recogida y colocación, manipulación y posicionamiento.Configuración de asistencia de vista lateral

Este tutorial usa la configuración de asistencia de vista lateral. Después de instalar y colocar las cámaras:

  1. Conecta las cámaras a la computadora y haz clic en Reescanear.
  2. Selecciona las transmisiones de video correspondientes en las secciones de Cámara superior y Cámara lateral.
  3. Comprueba ambas ventanas de previsualización para confirmar que los brazos, el objeto y las posiciones objetivo sean claramente visibles. Haz clic en Siguiente después de confirmar la configuración.

Vincular las cámaras superior y lateral

Para confirmar que cada cámara coincide con su posición de instalación, haz clic en Ver configuración de cámaras. Si una previsualización está en negro o es anormal, vuelve a escanear, reinicia la cámara o usa otro puerto USB.

La Reproducción de acciones registra los movimientos del brazo mediante la enseñanza con el brazo líder y los guarda en la lista de acciones para su reproducción. Después de grabar, comprueba si el movimiento es continuo y si la dirección del movimiento y la apertura y cierre de la pinza son normales.

FunciónOperaciónPropósito
Grabar una acciónHaz clic en + para crear una acción → usa el brazo líder para controlar el brazo seguidor y completar la tarea → haz clic en Detener grabación → guardarGrabar acciones objetivo como agarre, movimiento y colocación
Reproducir una acciónHaz clic en ReproducirComprobar si la acción es completa y continua, y confirmar la dirección del movimiento y la apertura y cierre de la pinza

Antes de grabar una acción por primera vez, completa la conexión de dispositivos y la verificación de teleoperación en Configuración del dispositivo, y haz clic en Confirmar teleoperación normal. Si la reproducción es anormal, elimina la acción y grábala de nuevo.

Lista de acciones y operaciones de reproducción

El Conjunto de datos se usa para crear tareas de recopilación y grabar, inspeccionar, limpiar y combinar episodios de tareas. Recomendamos recopilar datos en lotes pequeños para que las desconexiones de dispositivos, los errores de software o los saltos de video se detecten temprano y se reduzca el riesgo de perder todos los datos por un solo fallo.

  • Graba primero unos 10 episodios de tarea por lote.
  • Después de completar 2–3 lotes, conserva unos 20–30 episodios válidos para la primera ejecución de entrenamiento.
  • Añade más datos para tareas complejas según los resultados del entrenamiento.

3.4.1 Configurar una tarea de recopilación de datos

Sección titulada «3.4.1 Configurar una tarea de recopilación de datos»

Abre Conjunto de datos → Recopilar datos en la parte superior de la página e introduce la información de la tarea. Si se van a combinar varios conjuntos de datos, la descripción de la tarea en cada lote debe ser exactamente la misma. Antes de la recopilación, mantén también las posiciones A y B, la categoría del objeto, las posiciones de las cámaras, el fondo de la mesa y las condiciones de iluminación lo más estables posible.

CampoValor de ejemploInstrucciones
Nombre del conjunto de datosDM Arm Pick-and-Place from A to B-01Usa una nomenclatura de “dispositivo + tarea + lote”
Descripción de la tareaMove the object from the left to the rightDescribe claramente el objetivo de la tarea; las descripciones deben ser exactamente iguales cuando se combinan lotes
Número de episodios10Cada episodio debe contener una tarea completa
Duración del episodio20–30 segundosCubre la secuencia completa de acciones
Duración de descanso5 segundosPermite tiempo para restablecer el brazo y ajustar la escena

Configurar una tarea de recopilación de datos

La grabación de episodios de tarea es el núcleo de los datos de entrenamiento. Cada episodio debe registrar completamente la recogida del objeto en el Punto A, su movimiento al Punto B y su deposición. Para ayudar al modelo a aprender rápidamente, mantén el flujo de tarea generalmente consistente. Para mejorar la generalización, añade datos con diferentes variaciones de posición, ángulo y movimiento.

  1. Coloca el objeto en el Punto A, confirma que el brazo está en su postura inicial y haz clic en Iniciar grabación.
  2. Usa el brazo líder para controlar el brazo seguidor y completar la tarea, luego devuelve el brazo a su postura inicial.
  3. Después de completar la tarea, espera a que termine el tiempo restante o haz clic en la flecha (o pulsa la barra espaciadora) para terminar el episodio actual antes de tiempo.
  4. Durante el período de descanso, devuelve el objeto al Punto A y confirma que el brazo esté listo. Inicia el siguiente episodio cuando termine el período de descanso.

Grabar episodios de tarea

Importante ⚠️

  • Antes de la recopilación, ajusta y fija las cámaras. Asegúrate de que los brazos, la pinza, el objeto y los Puntos A y B sean visibles en las vistas de las cámaras.
  • Las acciones clave no deben estar 🚫 obstaculizadas ni fuera del campo de visión de las cámaras; de lo contrario, es posible que los datos no se puedan usar para el entrenamiento.
  • Si una tarea falla, el objeto no se agarra de forma segura, el video salta o una cámara está obstaculizada, haz clic en Volver a grabar inmediatamente o pulsa Esc para detener la recopilación.
  • Puedes terminar primero el lote actual y luego inspeccionar y eliminar los episodios anormales.
  • Si hay riesgo de pérdida de control o colisión, detente 🛑 inmediatamente.

3.4.3 Inspeccionar, eliminar y combinar datos

Sección titulada «3.4.3 Inspeccionar, eliminar y combinar datos»

Después de la recopilación, inspecciona los episodios anormales, elimina los datos no válidos y combina varios conjuntos de datos cuando sea necesario.

OperaciónCómo realizarlaDescripción
Inspeccionar episodios anormalesSelecciona un episodio y reproduce su video o su acciónConfirma que la tarea se completó y que el movimiento de la pinza fue normal. Toma nota de los números de episodios anormales durante la grabación para poder inspeccionarlos directamente más tarde
Eliminar episodios anormalesHaz clic en Eliminación por lotes de episodios, selecciona los episodios anormales y confirma; luego haz clic en Generar copia eliminadaCambia el nombre del nuevo conjunto de datos y confirma. El conjunto de datos original no se sobrescribirá
Combinar conjuntos de datosHaz clic en Combinar, selecciona los conjuntos de datos e introduce un nuevo nombre de conjunto de datosRecomendamos combinar conjuntos de datos con la misma descripción de tarea, combinación de dispositivos y configuración de cámara

Inspeccionar conjunto de datos

Inspeccionar conjunto de datos

Eliminar episodios anormales

Eliminar episodios anormales

Combinar conjuntos de datos

Combinar conjuntos de datos

El entrenamiento genera un modelo de acción para el brazo (es decir, un programa de control de acciones formado a partir de los datos de demostración). SenseCraft Robotics lee los datos de tarea grabados, analiza cómo el brazo completa el objetivo y genera un modelo que se puede usar para el funcionamiento automático.

Usa la siguiente tabla para configurar los parámetros de entrenamiento:

ParámetroOpción / valorDetalles
Hardware de entrenamientoNube · selección automática de GPUUsa un servidor en la nube para el entrenamiento y consume los créditos correspondientes.
Local · gratuitoUsa la computadora actual para el entrenamiento y no consume créditos, pero requiere una GPU local compatible.
Conjunto de datos de entrenamientoSeleccionar el conjunto de datos objetivoSelecciona el conjunto de datos grabado preparado para esta ejecución de entrenamiento.
PolíticaACTLa política de control de acciones actualmente utilizada por defecto.
Pasos de entrenamiento10000Recomendamos introducir 10000 como valor inicial y ajustarlo según el rendimiento real del modelo.

Nota de créditos El entrenamiento en Nube · selección automática de GPU consume créditos; el entrenamiento en Local · gratuito no consume créditos de entrenamiento en la nube. Para la adquisición, el uso y las normas de créditos, consulta las Normas de créditos.

Pasos de entrenamiento y recomendaciones de episodios:

Dificultad de la tareaDescripción de la tareaEpisodios recomendadosPasos de entrenamiento recomendados
PrincipiantePunto A fijo a Punto BUnos 2010,000–15,000 pasos
IntermedioRecoger y colocar en posiciones aleatoriasUnos 5030,000–40,000 pasos
AvanzadoMuchos pasos o larga duraciónUnos 10080,000–100,000 pasos

Duración del entrenamiento: El tiempo total de entrenamiento depende tanto del modelo de GPU seleccionado como del número de pasos de entrenamiento. Por ejemplo, el entrenamiento de 20,000 pasos (2W) en la nube en la mayoría de las GPU suele tardar desde varios minutos hasta varias decenas de minutos. El entrenamiento de 100,000 pasos (10W) tarda aproximadamente cinco veces más que el entrenamiento de 20,000 pasos.

Después de confirmar la configuración, haz clic en Iniciar entrenamiento. Una vez que comience el entrenamiento, puedes visualizar el progreso y las tareas históricas en la lista de Tareas de entrenamiento actuales.

Configuración de entrenamiento

El Modelo se usa para visualizar los resultados del entrenamiento y seleccionar el modelo para el funcionamiento posterior. Antes de usar un modelo, confirma que el entrenamiento esté completo y que su tarea y combinación de dispositivos coincidan con el proyecto actual.

Lista de modelos

El Funcionamiento carga un modelo entrenado en los brazos para verificar si puede completar la tarea correctamente.

Pasos:

  1. Seleccionar un modelo: Selecciona un modelo etiquetado como Compatible con el brazo robótico actual.
  2. Seleccionar un método de inferencia: Selecciona Inferencia en la nube o Inferencia local, y configura los parámetros correspondientes.
  3. Iniciar inferencia: Después de confirmar la configuración, haz clic en Iniciar inferencia.

Principales diferencias entre la Inferencia en la nube y la Inferencia local:

ComparaciónInferencia en la nubeInferencia local
Hardware de cálculoUsa una GPU de alto rendimiento en la nube para la inferencia.Usa la CPU local de la computadora para la inferencia (la plataforma actual no admite el uso de una GPU local).
Impacto en el rendimientoLa capacidad de cálculo es potente y generalmente sin restricciones, pero el resultado depende en gran medida de la calidad de la transmisión de red.El rendimiento se ve afectado por la CPU local.
Configuración de parámetrosRecuento de acciones (predeterminado: 120): Número de pasos de acción previstos en una inferencia.
Umbral de bloque (predeterminado: 0.9): Un parámetro que afecta a la continuidad y la precisión del movimiento. Un valor más alto hace que la ejecución del brazo sea más prudente (y puede causar pausas); un valor más bajo hace que el movimiento sea más suave (pero puede causar errores).
(La configuración predeterminada suele ser suficiente.)
Recuento de ejecuciones: Número total de veces (episodios) para repetir la tarea de forma continua.
Límite de tiempo por ejecución (segundos): Tiempo máximo para una ejecución de tarea; la ejecución finaliza automáticamente cuando se alcanza el límite.
(La configuración predeterminada suele ser suficiente.)
Salida de datosSolo realiza inferencia para verificación.Después de que finalice la ejecución, el contenido de la inferencia se genera automáticamente como un conjunto de datos correspondiente.
Coste y límitesEl coste está sujeto a las normas de la plataforma; la capacidad de cálculo es potente y adecuada para empezar el entrenamiento rápidamente.Normalmente no requiere créditos en la nube, pero está limitado por el rendimiento de la CPU local.

Notas

  • Antes de empezar: Confirma que los brazos estén conectados correctamente y que el espacio de trabajo sea seguro.
  • Durante el funcionamiento: No desconectes ni desmontes los brazos, y observa si sus movimientos son normales.
  • Si el resultado no es satisfactorio: Regresa a Conjunto de datos, elimina los episodios anormales, añade datos válidos y entrena de nuevo.

Interfaz de funcionamiento del modelo