Ir al contenido

Entrenar y ejecutar π0.5 con SO-ARM

Descarga de la plataforma SenseCraft Robotics: Descargar

Este tutorial utiliza un proyecto de organización de escritorio con tres tareas para mostrar la recopilación de datos, el entrenamiento en la nube y la validación real con SO-ARM + π0.5. Los pasos detallados se centran en colocar una caja cuadrada en un contenedor. Recopila las otras dos tareas del mismo modo y fusiona los tres conjuntos de datos para entrenar.

Al finalizar, introduce «Place the square box in the storage bin» para comprobar la primera tarea y después prueba las instrucciones de las otras tareas.

Puedes ver primero el videotutorial que aparece a continuación o seguir después la guía ilustrada paso a paso.

Un modelo VLA (Vision-Language-Action) combina información visual, lingüística y de acción. Las cámaras capturan los objetos y sus destinos, la instrucción indica qué recoger y dónde colocarlo, y el estado del robot aporta datos como las posiciones articulares. El modelo combina estas entradas para predecir las siguientes acciones.

Flujo completo:

Crear un proyecto → Configurar el robot y las cámaras → Recopilar demostraciones con instrucciones → Revisar y fusionar conjuntos → Entrenar en la nube → Ejecutar en el robot → Evaluar y recopilar más datos

Una tarea suele requerir varias demostraciones. En un conjunto multitarea, cada Episode debe conservar su instrucción correspondiente.

ConceptoSignificadoEjemplo
Instrucción de tarea (Task)Objetivo que debe cumplir el robotColocar la caja cuadrada en el contenedor
EpisodeRegistro completo de una ejecución con imágenes, estados y accionesRecoger la caja, colocarla en el contenedor y detener la grabación

Prepara lo siguiente:

  • Brazos leader y follower SO-ARM montados y operativos.

  • Fuentes de alimentación, cables USB y cámaras compatibles.

  • Un ordenador con la aplicación de escritorio SenseCraft Robotics actualizada a V1.1.27 y una conexión estable.

    Descarga del software: Descargar

  • Almacenamiento local suficiente y créditos de cuenta para el entrenamiento.

  • La caja cuadrada, el contenedor y una mesa estable.

Si es la primera vez que usas el robot, completa antes el montaje y la configuración básica.

Fija la base, despeja la zona de movimiento y asegúrate de poder detener el robot rápidamente. Mantén alejadas a las personas y los objetos frágiles durante las primeras pruebas.

Entorno de entrenamiento de SO-ARM

  1. Abre SenseCraft Robotics.
  2. Crea un proyecto con un nombre reconocible, por ejemplo SOARM-Desktop-Organization.
  3. Selecciona AI Model Training como propósito.
  4. Tras crearlo, abre Device Setup.

Los proyectos AI Model Training permiten recopilar datos, entrenar modelos y ejecutar inferencia. Si solo necesitas grabar y repetir una trayectoria fija, elige Action Playback.

Lista de proyectos y creación de uno nuevo

Crear un proyecto AI Model Training

En Device Setup, sigue las instrucciones:

  1. Seleccionar dispositivo: elige el modelo utilizado; este tutorial usa SO-ARM.
  2. Vincular puertos serie: identifica los puertos leader y follower. Conecta y vincula primero el leader y después el follower para no intercambiarlos.
  3. Calibrar: sigue el asistente para establecer las referencias articulares. SO-ARM admite calibración automática y manual. En modo automático, coloca el brazo como se indica y deja espacio para evitar colisiones.
  4. Verificar la teleoperación: mueve lentamente el leader y confirma el seguimiento del follower y el funcionamiento de la pinza.
  5. Vincular cámaras: selecciona las cámaras y comprueba sus imágenes en directo.

La caja y el contenedor deben verse claramente. Simula el recorrido completo y confirma que el agarre y la colocación permanecen dentro del encuadre. Si usas una cámara en la muñeca, comprueba que se vea la zona de agarre. Repite la comprobación para las otras dos tareas.

Mantén constantes las posiciones, los ángulos, la configuración y la iluminación entre la recopilación y la ejecución. Tras cualquier cambio, comprueba la compatibilidad con los datos y modelos existentes.

Consulta la guía de SO-ARM101 para obtener más detalles.

5. Recopilar demostraciones con instrucciones

Sección titulada «5. Recopilar demostraciones con instrucciones»

5.1 Crear un conjunto e introducir la descripción

Sección titulada «5.1 Crear un conjunto e introducir la descripción»
  1. Abre Datasets y crea un conjunto para la tarea.
  2. Introduce un nombre y una descripción. Esta será la instrucción de cada Episode. Describe claramente la acción y el destino, por ejemplo «Pick up the square box and place it in the storage bin», y evita expresiones ambiguas.
  3. Configura el número y la duración de los Episodes y el descanso. Empieza con 50 por tarea y graba reemplazos tras filtrar para conservar al menos 50 demostraciones válidas. Usa un ensayo completo para definir la duración; 10–15 segundos de descanso suelen bastar para restablecer la escena.
  4. Comprueba el robot, las cámaras y el almacenamiento.
  5. Coloca los objetos y el robot en posiciones alcanzables. Mantén las posiciones fijas al principio y añade posiciones aleatorias durante la optimización.

Página antes de crear el conjunto

Nombre, descripción y parámetros de recopilación

  1. Inicia la grabación.
  2. Teleopera el follower con el leader y realiza una demostración completa.
  3. Detén la grabación al terminar.
  4. Revisa y conserva las demostraciones válidas.
  5. Restablece los objetos y el robot y repite.

Antes de cada Episode, devuelve la caja y el robot a su posición inicial y mantén fijo el contenedor. Graba la secuencia: acercarse → cerrar la pinza → levantar → mover sobre el contenedor → soltar. Graba las otras tareas por separado.

Iniciar la grabación

Progreso de grabación de Episodes

Para un modelo multitarea, graba cada tarea por separado.

TareaEjemplo de instrucción
Colocar la caja cuadrada en el contenedorPick up the square box and place it in the storage bin.
Colocar la naranja en el platoPick up the orange and place it on the fruit plate.
Colocar el donut en la caja de juguetesPick up the donut and place it in the toy box.

Crea un conjunto independiente para cada tarea. La instrucción de cada lote debe coincidir con la demostración; no reutilices la de la caja para las demás tareas.

Conjuntos de datos de las tres tareas

Antes de entrenar, comprueba por tarea:

  • que las instrucciones sean correctas y completas;
  • que las imágenes sean claras y muestren las acciones importantes;
  • que las demostraciones estén completas y sin fallos evidentes;
  • que ninguna tarea tenga lagunas importantes.

Selecciona los tres conjuntos en la función de fusión. Puedes llamar al resultado «desktop organization». Conserva la tarea y la instrucción originales de cada Episode y utiliza el conjunto fusionado para entrenar.

Comprueba la compatibilidad del robot, las cámaras, los FPS, el espacio de acciones y otros ajustes. Si aparece una incompatibilidad, ajusta las fuentes o recopila nuevos datos.

Con 50 Episodes válidos por fuente, el resultado debe mostrar 3 tareas y 150 Episodes. Filtra cada tarea, reproduce varias muestras, excluye los fallos y completa lo que falte.

Tareas y Episodes del conjunto fusionado

Entrada para fusionar conjuntos

Selección y fusión de las tres fuentes

  1. Abre Train.
  2. Elige la GPU en la nube.
  3. Selecciona el conjunto revisado.
  4. Elige π0.5 como estrategia.
  5. Usa la configuración recomendada para el primer entrenamiento.
  6. Revisa los parámetros, recursos, cuotas y costes.
  7. Envía el trabajo y supervisa su progreso.

La plataforma comprueba la compatibilidad antes del envío. Corrige cualquier instrucción ausente, incompatibilidad de cámara u otro problema antes de volver a intentarlo.

Cuando termine, abre Models y busca el modelo correspondiente. Su nombre suele combinar el conjunto de datos y la estrategia.

Completar el entrenamiento no garantiza el rendimiento real: valida siempre el modelo en el robot. Ejecútalo primero y decide si debes añadir datos o ajustar parámetros según los fallos observados.

Modelo entrenado en la lista

Progreso del entrenamiento de π0.5

Modo de ejecución: los modelos VLA, especialmente π0.5, requieren mucha potencia GPU y memoria. En este tutorial, usa una GPU en la nube para la inferencia. El robot y las cámaras permanecen conectados al ordenador local, que ejecuta las salidas del modelo. Mantén una conexión estable y verifica los requisitos antes de intentar la inferencia local.

  1. Abre Run.
  2. Elige la GPU en la nube.
  3. Selecciona el modelo π0.5 entrenado y un modo compatible.
  4. Comprueba las conexiones y que la configuración coincida con los datos de entrenamiento.
  5. Devuelve la caja, el contenedor y el robot a las posiciones de recopilación. En la primera prueba, usa las mismas vistas, objetos y disposición.
  6. Introduce «Pick up the square box and place it in the storage bin.». Para las otras tareas, restablece sus escenas y utiliza sus instrucciones originales.
  7. Inicia la ejecución y detén el robot de inmediato si observas movimientos anómalos.

Valida cada tarea de un modelo multitarea con su instrucción correspondiente.

Ejecutar el modelo VLA

Problema observadoQué comprobar o añadir primero
Solo funciona desde algunas posicionesAñadir demostraciones correctas con distintas posiciones
Fallos de agarre o colocación imprecisaRevisar cámaras, calibración y calidad de datos y añadir los escenarios afectados
Una tarea multitarea rinde peorRevisar sus instrucciones, la calidad de los Episodes y la cobertura
El rendimiento baja al cambiar cámara o escenaRevisar la coherencia y recopilar datos en las nuevas condiciones
Las acciones no coinciden con la instrucciónRevisar la asociación tarea/Episode y la instrucción de ejecución

Conserva las versiones, configuraciones y resultados de cada iteración. Corrige primero los problemas de datos evidentes antes de ajustar los parámetros de entrenamiento.

Sí. Cada Episode debe conservar la instrucción correcta y las configuraciones de dispositivo, cámara y datos deben ser compatibles.

¿Puedo ejecutar cualquier tarea cambiando solo la instrucción?

Sección titulada «¿Puedo ejecutar cualquier tarea cambiando solo la instrucción?»

No está garantizado. El rendimiento depende del modelo base, las demostraciones y las condiciones reales. Valida primero las tareas incluidas en el entrenamiento.

¿Se pueden usar los datos de evaluación para seguir entrenando?

Sección titulada «¿Se pueden usar los datos de evaluación para seguir entrenando?»

Sí, después de revisarlos y filtrarlos. Usa los fallos para analizar los problemas y añade demostraciones correctas de esos escenarios.

¿Qué hago si no hay suficiente almacenamiento local?

Sección titulada «¿Qué hago si no hay suficiente almacenamiento local?»

Cambia la ruta en los ajustes de la aplicación y sigue las instrucciones de migración. Después, comprueba el acceso a conjuntos, modelos, grabaciones y datos de evaluación.