Entrenar y ejecutar π0.5 con SO-ARM
Descarga de la plataforma SenseCraft Robotics: Descargar
Este tutorial utiliza un proyecto de organización de escritorio con tres tareas para mostrar la recopilación de datos, el entrenamiento en la nube y la validación real con SO-ARM + π0.5. Los pasos detallados se centran en colocar una caja cuadrada en un contenedor. Recopila las otras dos tareas del mismo modo y fusiona los tres conjuntos de datos para entrenar.
Al finalizar, introduce «Place the square box in the storage bin» para comprobar la primera tarea y después prueba las instrucciones de las otras tareas.
Puedes ver primero el videotutorial que aparece a continuación o seguir después la guía ilustrada paso a paso.
1. Comprender el flujo de entrenamiento
Sección titulada «1. Comprender el flujo de entrenamiento»Un modelo VLA (Vision-Language-Action) combina información visual, lingüística y de acción. Las cámaras capturan los objetos y sus destinos, la instrucción indica qué recoger y dónde colocarlo, y el estado del robot aporta datos como las posiciones articulares. El modelo combina estas entradas para predecir las siguientes acciones.
Flujo completo:
Crear un proyecto → Configurar el robot y las cámaras → Recopilar demostraciones con instrucciones → Revisar y fusionar conjuntos → Entrenar en la nube → Ejecutar en el robot → Evaluar y recopilar más datos
Una tarea suele requerir varias demostraciones. En un conjunto multitarea, cada Episode debe conservar su instrucción correspondiente.
| Concepto | Significado | Ejemplo |
|---|---|---|
| Instrucción de tarea (Task) | Objetivo que debe cumplir el robot | Colocar la caja cuadrada en el contenedor |
| Episode | Registro completo de una ejecución con imágenes, estados y acciones | Recoger la caja, colocarla en el contenedor y detener la grabación |
2. Requisitos previos
Sección titulada «2. Requisitos previos»Prepara lo siguiente:
-
Brazos leader y follower SO-ARM montados y operativos.
-
Fuentes de alimentación, cables USB y cámaras compatibles.
-
Un ordenador con la aplicación de escritorio SenseCraft Robotics actualizada a V1.1.27 y una conexión estable.
Descarga del software: Descargar
-
Almacenamiento local suficiente y créditos de cuenta para el entrenamiento.
-
La caja cuadrada, el contenedor y una mesa estable.
Si es la primera vez que usas el robot, completa antes el montaje y la configuración básica.
Fija la base, despeja la zona de movimiento y asegúrate de poder detener el robot rápidamente. Mantén alejadas a las personas y los objetos frágiles durante las primeras pruebas.

3. Crear un proyecto de entrenamiento de IA
Sección titulada «3. Crear un proyecto de entrenamiento de IA»- Abre SenseCraft Robotics.
- Crea un proyecto con un nombre reconocible, por ejemplo
SOARM-Desktop-Organization. - Selecciona AI Model Training como propósito.
- Tras crearlo, abre Device Setup.
Los proyectos AI Model Training permiten recopilar datos, entrenar modelos y ejecutar inferencia. Si solo necesitas grabar y repetir una trayectoria fija, elige Action Playback.


4. Configurar el brazo y las cámaras
Sección titulada «4. Configurar el brazo y las cámaras»En Device Setup, sigue las instrucciones:
- Seleccionar dispositivo: elige el modelo utilizado; este tutorial usa SO-ARM.
- Vincular puertos serie: identifica los puertos leader y follower. Conecta y vincula primero el leader y después el follower para no intercambiarlos.
- Calibrar: sigue el asistente para establecer las referencias articulares. SO-ARM admite calibración automática y manual. En modo automático, coloca el brazo como se indica y deja espacio para evitar colisiones.
- Verificar la teleoperación: mueve lentamente el leader y confirma el seguimiento del follower y el funcionamiento de la pinza.
- Vincular cámaras: selecciona las cámaras y comprueba sus imágenes en directo.
La caja y el contenedor deben verse claramente. Simula el recorrido completo y confirma que el agarre y la colocación permanecen dentro del encuadre. Si usas una cámara en la muñeca, comprueba que se vea la zona de agarre. Repite la comprobación para las otras dos tareas.
Mantén constantes las posiciones, los ángulos, la configuración y la iluminación entre la recopilación y la ejecución. Tras cualquier cambio, comprueba la compatibilidad con los datos y modelos existentes.
Consulta la guía de SO-ARM101 para obtener más detalles.
5. Recopilar demostraciones con instrucciones
Sección titulada «5. Recopilar demostraciones con instrucciones»5.1 Crear un conjunto e introducir la descripción
Sección titulada «5.1 Crear un conjunto e introducir la descripción»- Abre Datasets y crea un conjunto para la tarea.
- Introduce un nombre y una descripción. Esta será la instrucción de cada Episode. Describe claramente la acción y el destino, por ejemplo «Pick up the square box and place it in the storage bin», y evita expresiones ambiguas.
- Configura el número y la duración de los Episodes y el descanso. Empieza con 50 por tarea y graba reemplazos tras filtrar para conservar al menos 50 demostraciones válidas. Usa un ensayo completo para definir la duración; 10–15 segundos de descanso suelen bastar para restablecer la escena.
- Comprueba el robot, las cámaras y el almacenamiento.
- Coloca los objetos y el robot en posiciones alcanzables. Mantén las posiciones fijas al principio y añade posiciones aleatorias durante la optimización.


5.2 Grabar varios Episodes
Sección titulada «5.2 Grabar varios Episodes»- Inicia la grabación.
- Teleopera el follower con el leader y realiza una demostración completa.
- Detén la grabación al terminar.
- Revisa y conserva las demostraciones válidas.
- Restablece los objetos y el robot y repite.
Antes de cada Episode, devuelve la caja y el robot a su posición inicial y mantén fijo el contenedor. Graba la secuencia: acercarse → cerrar la pinza → levantar → mover sobre el contenedor → soltar. Graba las otras tareas por separado.


5.3 Recopilar tareas diferentes
Sección titulada «5.3 Recopilar tareas diferentes»Para un modelo multitarea, graba cada tarea por separado.
| Tarea | Ejemplo de instrucción |
|---|---|
| Colocar la caja cuadrada en el contenedor | Pick up the square box and place it in the storage bin. |
| Colocar la naranja en el plato | Pick up the orange and place it on the fruit plate. |
| Colocar el donut en la caja de juguetes | Pick up the donut and place it in the toy box. |
Crea un conjunto independiente para cada tarea. La instrucción de cada lote debe coincidir con la demostración; no reutilices la de la caja para las demás tareas.

6. Revisar y fusionar conjuntos de datos
Sección titulada «6. Revisar y fusionar conjuntos de datos»Antes de entrenar, comprueba por tarea:
- que las instrucciones sean correctas y completas;
- que las imágenes sean claras y muestren las acciones importantes;
- que las demostraciones estén completas y sin fallos evidentes;
- que ninguna tarea tenga lagunas importantes.
Selecciona los tres conjuntos en la función de fusión. Puedes llamar al resultado «desktop organization». Conserva la tarea y la instrucción originales de cada Episode y utiliza el conjunto fusionado para entrenar.
Comprueba la compatibilidad del robot, las cámaras, los FPS, el espacio de acciones y otros ajustes. Si aparece una incompatibilidad, ajusta las fuentes o recopila nuevos datos.
Con 50 Episodes válidos por fuente, el resultado debe mostrar 3 tareas y 150 Episodes. Filtra cada tarea, reproduce varias muestras, excluye los fallos y completa lo que falte.



7. Entrenar π0.5 en la nube
Sección titulada «7. Entrenar π0.5 en la nube»- Abre Train.
- Elige la GPU en la nube.
- Selecciona el conjunto revisado.
- Elige π0.5 como estrategia.
- Usa la configuración recomendada para el primer entrenamiento.
- Revisa los parámetros, recursos, cuotas y costes.
- Envía el trabajo y supervisa su progreso.
La plataforma comprueba la compatibilidad antes del envío. Corrige cualquier instrucción ausente, incompatibilidad de cámara u otro problema antes de volver a intentarlo.
Cuando termine, abre Models y busca el modelo correspondiente. Su nombre suele combinar el conjunto de datos y la estrategia.
Completar el entrenamiento no garantiza el rendimiento real: valida siempre el modelo en el robot. Ejecútalo primero y decide si debes añadir datos o ajustar parámetros según los fallos observados.


8. Ejecutar el modelo en SO-ARM
Sección titulada «8. Ejecutar el modelo en SO-ARM»Modo de ejecución: los modelos VLA, especialmente π0.5, requieren mucha potencia GPU y memoria. En este tutorial, usa una GPU en la nube para la inferencia. El robot y las cámaras permanecen conectados al ordenador local, que ejecuta las salidas del modelo. Mantén una conexión estable y verifica los requisitos antes de intentar la inferencia local.
- Abre Run.
- Elige la GPU en la nube.
- Selecciona el modelo π0.5 entrenado y un modo compatible.
- Comprueba las conexiones y que la configuración coincida con los datos de entrenamiento.
- Devuelve la caja, el contenedor y el robot a las posiciones de recopilación. En la primera prueba, usa las mismas vistas, objetos y disposición.
- Introduce «Pick up the square box and place it in the storage bin.». Para las otras tareas, restablece sus escenas y utiliza sus instrucciones originales.
- Inicia la ejecución y detén el robot de inmediato si observas movimientos anómalos.
Valida cada tarea de un modelo multitarea con su instrucción correspondiente.

9. Mejorar el modelo según los resultados
Sección titulada «9. Mejorar el modelo según los resultados»| Problema observado | Qué comprobar o añadir primero |
|---|---|
| Solo funciona desde algunas posiciones | Añadir demostraciones correctas con distintas posiciones |
| Fallos de agarre o colocación imprecisa | Revisar cámaras, calibración y calidad de datos y añadir los escenarios afectados |
| Una tarea multitarea rinde peor | Revisar sus instrucciones, la calidad de los Episodes y la cobertura |
| El rendimiento baja al cambiar cámara o escena | Revisar la coherencia y recopilar datos en las nuevas condiciones |
| Las acciones no coinciden con la instrucción | Revisar la asociación tarea/Episode y la instrucción de ejecución |
Conserva las versiones, configuraciones y resultados de cada iteración. Corrige primero los problemas de datos evidentes antes de ajustar los parámetros de entrenamiento.
10. Preguntas frecuentes
Sección titulada «10. Preguntas frecuentes»¿Puede un conjunto contener varias tareas?
Sección titulada «¿Puede un conjunto contener varias tareas?»Sí. Cada Episode debe conservar la instrucción correcta y las configuraciones de dispositivo, cámara y datos deben ser compatibles.
¿Puedo ejecutar cualquier tarea cambiando solo la instrucción?
Sección titulada «¿Puedo ejecutar cualquier tarea cambiando solo la instrucción?»No está garantizado. El rendimiento depende del modelo base, las demostraciones y las condiciones reales. Valida primero las tareas incluidas en el entrenamiento.
¿Se pueden usar los datos de evaluación para seguir entrenando?
Sección titulada «¿Se pueden usar los datos de evaluación para seguir entrenando?»Sí, después de revisarlos y filtrarlos. Usa los fallos para analizar los problemas y añade demostraciones correctas de esos escenarios.
¿Qué hago si no hay suficiente almacenamiento local?
Sección titulada «¿Qué hago si no hay suficiente almacenamiento local?»Cambia la ruta en los ajustes de la aplicación y sigue las instrucciones de migración. Después, comprueba el acceso a conjuntos, modelos, grabaciones y datos de evaluación.