Ga naar inhoud

π0.5 trainen en uitvoeren met SO-ARM

SenseCraft Robotics-platform downloaden: Downloaden

Deze handleiding gebruikt een bureau-organisatieproject met drie taken om gegevensverzameling, cloudtraining en validatie op een echte SO-ARM + π0.5 te demonstreren. De gedetailleerde stappen behandelen het plaatsen van een vierkante doos in een opbergbak. Verzamel de andere twee taken op dezelfde manier en voeg alle drie datasets samen voor training.

Voer na afloop “Place the square box in the storage bin” in om de eerste taak te testen en probeer daarna de instructies voor de andere taken.

Je kunt eerst de onderstaande videotutorial bekijken of daarna de geïllustreerde stapsgewijze handleiding volgen.

Een VLA-model (Vision-Language-Action) combineert visuele, taal- en actie-informatie. De camera’s leggen objecten en bestemmingen vast, de taakinstructie geeft aan wat moet worden opgepakt en waar het naartoe moet, en de robotstatus levert onder meer gewrichtsposities. Het model gebruikt deze invoer om volgende acties te voorspellen.

Volledige workflow:

Project maken → Robot en camera’s configureren → Demonstraties met instructies verzamelen → Datasets controleren en samenvoegen → In de cloud trainen → Op de robot uitvoeren → Evalueren en gegevens aanvullen

Een taak vereist doorgaans meerdere demonstraties. In een multitaskdataset moet elke Episode de bijbehorende instructie behouden.

BegripBetekenisVoorbeeld
Taakinstructie (Task)Doel dat de robot moet bereikenDe vierkante doos in de opbergbak plaatsen
EpisodeVolledige uitvoering met beelden, toestanden en actiesDoos oppakken, in de bak plaatsen en opname stoppen

Zorg voor het volgende:

  • Een volledig gemonteerde en werkende SO-ARM leader- en follower-arm.

  • Compatibele voedingen, USB-kabels en camera’s.

  • Een computer met SenseCraft Robotics Desktop V1.1.27 en een stabiele netwerkverbinding.

    Software downloaden: Downloaden

  • Voldoende lokale opslag en accountcredits voor de training.

  • De vierkante doos, opbergbak en een stabiele werktafel.

Voltooi bij het eerste gebruik eerst de montage en basisconfiguratie.

Zet de basis vast, maak het bewegingsgebied vrij en zorg dat u de robot snel kunt stoppen. Houd mensen en breekbare voorwerpen tijdens de eerste tests buiten het bereik.

SO-ARM-trainingsopstelling

  1. Open SenseCraft Robotics.
  2. Maak een project met een herkenbare naam, bijvoorbeeld SOARM-Desktop-Organization.
  3. Selecteer AI Model Training als projectdoel.
  4. Open na het maken Device Setup.

AI Model Training-projecten ondersteunen gegevensverzameling, modeltraining en inferentie. Kies Action Playback wanneer u alleen een vast traject wilt opnemen en herhalen.

Projectlijst en nieuw project

AI Model Training-project maken

Volg in Device Setup de instructies:

  1. Apparaat selecteren: kies het gebruikte armmodel; deze handleiding gebruikt SO-ARM.
  2. Seriële poorten koppelen: identificeer de leader- en follower-poort. Sluit eerst de leader aan en koppel die, daarna de follower, om verwisseling te voorkomen.
  3. Kalibreren: volg de wizard om gewrichtsreferenties vast te leggen. SO-ARM ondersteunt automatische en handmatige kalibratie. Laat bij automatische kalibratie voldoende vrije ruimte om botsingen te voorkomen.
  4. Teleoperatie controleren: beweeg de leader langzaam en controleer de follower en grijper.
  5. Camera’s koppelen: selecteer de camera’s en controleer de livebeelden.

De doos en bak moeten duidelijk zichtbaar zijn. Simuleer het volledige traject en controleer dat grijpen en plaatsen in beeld blijven. Controleer bij een polscamera of het grijpgebied zichtbaar is. Herhaal dit voor de andere taken.

Houd cameraposities, kijkhoeken, apparaatinstellingen en verlichting zo gelijk mogelijk tussen verzamelen en uitvoeren. Controleer na wijzigingen de compatibiliteit met bestaande gegevens en modellen.

Zie de SO-ARM101-handleiding voor details.

5. Demonstraties met taakinstructies verzamelen

Section titled “5. Demonstraties met taakinstructies verzamelen”

5.1 Een dataset maken en de taak beschrijven

Section titled “5.1 Een dataset maken en de taak beschrijven”
  1. Open Datasets en maak een dataset.
  2. Voer een naam en taakbeschrijving in. Deze beschrijving wordt de instructie voor elke Episode. Beschrijf actie en bestemming duidelijk, bijvoorbeeld “Pick up the square box and place it in the storage bin”, en vermijd vage teksten.
  3. Stel aantal, duur en rusttijd in. Begin met 50 Episodes per taak en neem na filtering vervangingen op zodat minstens 50 geldige demonstraties overblijven. Bepaal de duur met een proefopname; 10–15 seconden rust is bij eenvoudige opstellingen meestal voldoende om alles terug te zetten.
  4. Controleer robot, camera’s en opslaginstellingen.
  5. Plaats objecten en robot binnen bereik. Houd posities aanvankelijk vast en voeg tijdens optimalisatie willekeurige posities toe.

Datasetpagina vóór het maken

Naam, beschrijving en verzamelinstellingen

  1. Start de opname.
  2. Teleopereer de follower met de leader door een volledige demonstratie.
  3. Stop na voltooiing.
  4. Controleer en bewaar geldige demonstraties.
  5. Zet objecten en robot terug en herhaal.

Zet vóór elke Episode de doos en robot terug en laat de bak op zijn plaats. Neem op: benaderen → grijper sluiten → optillen → boven de bak bewegen → loslaten. Neem de andere taken afzonderlijk op.

Opname starten

Voortgang van Episode-opname

5.3 Gegevens voor verschillende taken verzamelen

Section titled “5.3 Gegevens voor verschillende taken verzamelen”

Neem voor een multitaskmodel elke taak apart op.

TaakVoorbeeldinstructie
Vierkante doos in de bak plaatsenPick up the square box and place it in the storage bin.
Sinaasappel op het fruitbord plaatsenPick up the orange and place it on the fruit plate.
Donut in de speelgoeddoos plaatsenPick up the donut and place it in the toy box.

Maak voor elke taak een aparte dataset. De instructie van elke batch moet overeenkomen met de demonstratie; gebruik de instructie van de doos niet voor andere taken.

Datasets van de drie taken

Controleer vóór training per taak:

  • correcte en volledige instructies;
  • heldere beelden met zichtbare belangrijke acties;
  • volledige demonstraties zonder duidelijke fouten;
  • voldoende gegevensdekking.

Selecteer daarna de drie datasets in de samenvoegfunctie. Noem het resultaat bijvoorbeeld “desktop organization”, behoud de oorspronkelijke taak en instructie van elke Episode en gebruik het voor training.

Controleer compatibiliteit van robottype, camera-instellingen, FPS, actieruimte en overige configuratie. Pas bronnen aan of verzamel opnieuw wanneer incompatibiliteit wordt gemeld.

Bij 50 geldige Episodes per bron moet het resultaat 3 taken en 150 Episodes tonen. Filter elke taak, speel voorbeelden af, verwijder mislukte opnamen en vul ontbrekende gegevens aan.

Taken en Episodes in de samengevoegde dataset

Datasets samenvoegen

Drie bronnen selecteren en samenvoegen

  1. Open Train.
  2. Kies de cloud-GPU.
  3. Selecteer de gecontroleerde dataset.
  4. Kies π0.5 als strategie.
  5. Gebruik de aanbevolen configuratie voor de eerste training.
  6. Controleer parameters, resources, quota en kosten.
  7. Dien de taak in en volg de voortgang.

Het platform controleert de compatibiliteit vóór verzending. Los ontbrekende instructies, camera-inconsistenties of andere problemen op voordat u opnieuw indient.

Open na voltooiing Models en zoek het model. De naam combineert meestal de datasetnaam en trainingsstrategie.

Voltooide training garandeert geen prestaties in de praktijk; valideer het model altijd op de robot. Voer het eerst uit en beslis op basis van fouten of extra gegevens of aangepaste parameters nodig zijn.

Getraind model in de lijst

Voortgang van π0.5-training

Uitvoermodus: VLA-modellen, vooral π0.5, vragen veel GPU-rekenkracht en geheugen. Gebruik hier een cloud-GPU voor inferentie. Robot en camera’s blijven verbonden met de lokale computer, die de modeluitvoer uitvoert. Zorg voor een stabiele verbinding en controleer de systeemvereisten vóór lokale inferentie.

  1. Open Run.
  2. Kies de cloud-GPU.
  3. Selecteer het getrainde π0.5-model en een compatibele modus.
  4. Controleer verbindingen en overeenstemming met de trainingsconfiguratie.
  5. Zet doos, bak en robot terug op de verzamelposities. Gebruik bij de eerste test dezelfde camerabeelden, objecten en opstelling.
  6. Voer “Pick up the square box and place it in the storage bin.” in. Zet voor andere taken hun scène terug en gebruik de oorspronkelijke instructie.
  7. Start en stop onmiddellijk bij abnormale bewegingen.

Valideer elke taak van een multitaskmodel met de bijbehorende instructie.

VLA-model uitvoeren

9. Het model verbeteren op basis van resultaten

Section titled “9. Het model verbeteren op basis van resultaten”
Waargenomen probleemEerst controleren of toevoegen
Alleen succes vanuit enkele startpositiesCorrecte demonstraties met verschillende posities toevoegen
Vaak misgrijpen of onnauwkeurig plaatsenCamera’s, kalibratie en gegevenskwaliteit controleren en betreffende scenario’s aanvullen
Eén taak in het multitaskmodel presteert slechterInstructies, Episode-kwaliteit en gegevensdekking controleren
Prestaties dalen na camera- of scènewijzigingConsistentie controleren en gegevens onder nieuwe omstandigheden verzamelen
Acties passen niet bij de instructieTaak-/Episode-koppeling en runtime-instructie controleren

Bewaar datasetversies, trainingsconfiguraties en testresultaten per iteratie. Los eerst duidelijke gegevensproblemen op voordat u trainingsparameters aanpast.

Ja. Elke Episode moet de juiste instructie behouden en apparaat-, camera- en gegevensconfiguraties moeten compatibel zijn.

Kan ik elke taak uitvoeren door alleen de instructie te wijzigen?

Section titled “Kan ik elke taak uitvoeren door alleen de instructie te wijzigen?”

Dat is niet gegarandeerd. Prestaties hangen af van basismodel, demonstraties en werkelijke omstandigheden. Valideer eerst de tijdens training behandelde taken.

Kunnen evaluatiegegevens voor verdere training worden gebruikt?

Section titled “Kunnen evaluatiegegevens voor verdere training worden gebruikt?”

Ja, na controle en filtering. Gebruik mislukkingen voor analyse en voeg correcte demonstraties van die scenario’s toe.

Wijzig het opslagpad in de app-instellingen en volg de migratie-instructies. Controleer daarna toegang tot datasets, modellen, opnamen en evaluatiegegevens.