Zum Inhalt springen

π0.5 mit SO-ARM trainieren und ausführen

SenseCraft Robotics herunterladen: Herunterladen

Dieses Tutorial verwendet ein Desktop-Organisationsprojekt mit drei Aufgaben, um Datenerfassung, Cloud-Training und reale Validierung mit SO-ARM + π0.5 zu zeigen. Die detaillierten Schritte behandeln das Ablegen einer quadratischen Box in einen Aufbewahrungsbehälter. Erfassen Sie die beiden anderen Aufgaben auf dieselbe Weise und verbinden Sie anschließend alle drei Datensätze für das Training.

Geben Sie danach „Place the square box in the storage bin“ ein, um die erste Aufgabe zu testen, und prüfen Sie anschließend die Anweisungen der beiden anderen Aufgaben.

Sie können zuerst das folgende Video-Tutorial ansehen oder anschließend der bebilderten Schritt-für-Schritt-Anleitung folgen.

Ein VLA-Modell (Vision-Language-Action) kombiniert visuelle, sprachliche und Aktionsinformationen. Die Kameras erfassen Objekte und Zielbehälter, die Aufgabenanweisung legt fest, was aufgenommen und wo es abgelegt wird, und der Roboterstatus liefert unter anderem Gelenkpositionen. Daraus prognostiziert das Modell die nächsten Aktionen.

Der vollständige Ablauf:

Projekt erstellen → Roboter und Kameras konfigurieren → Demonstrationen mit Anweisungen erfassen → Datensätze prüfen und verbinden → In der Cloud trainieren → Am realen Roboter ausführen → Auswerten und Daten ergänzen

Eine Aufgabe benötigt normalerweise mehrere Demonstrationen. In einem Multitask-Datensatz muss jede Episode ihre zugehörige Aufgabenanweisung behalten.

BegriffBedeutungBeispiel
Aufgabenanweisung (Task)Ziel, das der Roboter erreichen sollDie quadratische Box in den Behälter legen
EpisodeVollständige Aufzeichnung einer Ausführung mit Bildern, Zuständen und AktionenBox aufnehmen, in den Behälter legen und Aufzeichnung beenden

Bereiten Sie Folgendes vor:

  • Einen vollständig montierten und funktionsfähigen SO-ARM Leader- und Follower-Arm.

  • Kompatible Netzteile, USB-Kabel und Kameras.

  • Einen Computer mit SenseCraft Robotics Desktop V1.1.27 und stabiler Netzwerkverbindung.

    Software herunterladen: Herunterladen

  • Ausreichend lokalen Speicher und genügend Konto-Credits für das Training.

  • Quadratische Box, Aufbewahrungsbehälter und eine stabile Arbeitsfläche.

Schließen Sie bei der ersten Verwendung zunächst Montage und Grundeinrichtung ab.

Befestigen Sie vor dem Betrieb die Basis, räumen Sie den Bewegungsbereich frei und stellen Sie sicher, dass Sie den Roboter schnell stoppen können. Halten Sie Personen und zerbrechliche Gegenstände bei ersten Tests fern.

SO-ARM-Trainingsumgebung

  1. Öffnen Sie SenseCraft Robotics.
  2. Erstellen Sie ein Projekt mit einem eindeutigen Namen, z. B. SOARM-Desktop-Organization.
  3. Wählen Sie AI Model Training als Projektzweck.
  4. Öffnen Sie danach Device Setup.

AI Model Training-Projekte unterstützen Datenerfassung, Modelltraining und Inferenz. Wenn Sie nur eine feste Bahn aufzeichnen und wiederholen möchten, wählen Sie Action Playback.

Projektliste und neues Projekt

AI Model Training-Projekt erstellen

Folgen Sie in Device Setup den Anweisungen:

  1. Gerät auswählen: Wählen Sie das verwendete Armmodell; dieses Tutorial nutzt SO-ARM.
  2. Serielle Ports binden: Bestimmen Sie die Ports von Leader und Follower. Verbinden und binden Sie zuerst den Leader, danach den Follower, um Verwechslungen zu vermeiden.
  3. Kalibrieren: Folgen Sie dem Assistenten, um Gelenkreferenzen festzulegen. SO-ARM unterstützt automatische und manuelle Kalibrierung. Lassen Sie bei der automatischen Kalibrierung ausreichend Freiraum, um Kollisionen zu vermeiden.
  4. Teleoperation prüfen: Bewegen Sie den Leader langsam und prüfen Sie die Nachführung des Followers sowie den Greifer.
  5. Kameras binden: Wählen Sie die Kameras und prüfen Sie die Livebilder.

Box und Behälter müssen klar sichtbar sein. Simulieren Sie den gesamten Weg und stellen Sie sicher, dass Greifen und Ablegen im Bild bleiben. Prüfen Sie bei einer Handgelenkkamera die Sicht auf den Greifbereich. Wiederholen Sie dies für die anderen Aufgaben.

Halten Sie Kameraposition, Blickwinkel, Geräteeinstellungen und Beleuchtung zwischen Erfassung und Ausführung möglichst konstant. Prüfen Sie nach Änderungen die Kompatibilität mit vorhandenen Daten und Modellen.

Weitere Einzelheiten finden Sie im SO-ARM101-Leitfaden.

5. Demonstrationen mit Aufgabenanweisungen erfassen

Abschnitt betitelt „5. Demonstrationen mit Aufgabenanweisungen erfassen“
  1. Öffnen Sie Datasets und erstellen Sie einen Datensatz.
  2. Geben Sie Namen und Aufgabenbeschreibung ein. Die Beschreibung wird zur Anweisung jeder Episode. Beschreiben Sie Aktion und Ziel eindeutig, etwa „Pick up the square box and place it in the storage bin“, und vermeiden Sie unklare Formulierungen.
  3. Legen Sie Anzahl, Dauer und Ruhezeit fest. Beginnen Sie mit 50 Episodes pro Aufgabe und erfassen Sie nach dem Filtern Ersatz, sodass mindestens 50 gültige Demonstrationen bleiben. Ein Testlauf hilft bei der Dauer; 10–15 Sekunden Ruhezeit reichen bei einfachen Aufbauten meist zum Zurücksetzen.
  4. Prüfen Sie Roboter, Kameras und Speichereinstellungen.
  5. Positionieren Sie Objekte und Roboter in Reichweite. Halten Sie Positionen zunächst fest und ergänzen Sie bei der Optimierung zufällige Positionen.

Datensatzseite vor der Erstellung

Name, Beschreibung und Erfassungseinstellungen

  1. Starten Sie die Aufzeichnung.
  2. Steuern Sie den Follower mit dem Leader durch eine vollständige Demonstration.
  3. Beenden Sie die Aufzeichnung nach Abschluss.
  4. Prüfen und behalten Sie gültige Demonstrationen.
  5. Setzen Sie Objekte und Roboter zurück und wiederholen Sie den Vorgang.

Bringen Sie vor jeder Episode Box und Roboter in die Ausgangslage zurück und lassen Sie den Behälter stehen. Zeichnen Sie auf: annähern → Greifer schließen → anheben → über den Behälter bewegen → loslassen. Erfassen Sie die anderen Aufgaben separat.

Aufzeichnung starten

Fortschritt der Episode-Aufzeichnung

Zeichnen Sie für ein Multitask-Modell jede Aufgabe separat auf.

AufgabeBeispielanweisung
Quadratische Box in den Behälter legenPick up the square box and place it in the storage bin.
Orange auf den Obstteller legenPick up the orange and place it on the fruit plate.
Donut in die Spielzeugkiste legenPick up the donut and place it in the toy box.

Erstellen Sie für jede Aufgabe einen eigenen Datensatz. Die Anweisung jedes Stapels muss zur Demonstration passen; verwenden Sie die Box-Anweisung nicht für andere Aufgaben.

Datensätze der drei Aufgaben

Prüfen Sie vor dem Training je Aufgabe:

  • korrekte und vollständige Anweisungen;
  • klare Bilder und sichtbare Schlüsselschritte;
  • vollständige Demonstrationen ohne offensichtliche Fehlschläge;
  • ausreichende Datenabdeckung.

Wählen Sie danach die drei Datensätze in der Zusammenführungsfunktion. Nennen Sie das Ergebnis z. B. „desktop organization“, erhalten Sie Aufgabenbezug und Anweisung jeder Episode und verwenden Sie es zum Training.

Prüfen Sie Kompatibilität von Robotertyp, Kamerakonfiguration, FPS, Aktionsraum und weiteren Einstellungen. Passen Sie bei Inkompatibilität die Quellen an oder erfassen Sie neu.

Bei 50 gültigen Episodes pro Quelle sollte das Ergebnis 3 Aufgaben und 150 Episodes zeigen. Filtern Sie jede Aufgabe, spielen Sie Stichproben ab, entfernen Sie Fehlschläge und ergänzen Sie fehlende Daten.

Aufgaben und Episodes im verbundenen Datensatz

Funktion zum Verbinden von Datensätzen

Drei Quellen auswählen und verbinden

  1. Öffnen Sie Train.
  2. Wählen Sie die Cloud-GPU.
  3. Wählen Sie den geprüften Datensatz.
  4. Wählen Sie π0.5 als Strategie.
  5. Verwenden Sie für den ersten Lauf die empfohlene Konfiguration.
  6. Prüfen Sie Parameter, Ressourcen, Kontingente und Kosten.
  7. Senden Sie den Auftrag und beobachten Sie den Fortschritt.

Die Plattform prüft die Kompatibilität vor dem Absenden. Beheben Sie fehlende Anweisungen, unpassende Kamerakonfigurationen oder andere Probleme vor einem neuen Versuch.

Öffnen Sie nach Abschluss Models und suchen Sie das Modell. Der Name kombiniert üblicherweise Datensatzname und Strategie.

Ein abgeschlossenes Training garantiert keine reale Leistung. Validieren Sie das Modell immer am Roboter. Führen Sie es zuerst aus und entscheiden Sie anhand der Fehlschläge über zusätzliche Daten oder Parameteränderungen.

Trainiertes Modell in der Liste

Fortschritt des π0.5-Trainings

Ausführungsmodus: VLA-Modelle, insbesondere π0.5, benötigen viel GPU-Leistung und Speicher. Verwenden Sie hier eine Cloud-GPU für die Inferenz. Roboter und Kameras bleiben am lokalen Computer angeschlossen, der die Modellausgaben ausführt. Sorgen Sie für eine stabile Verbindung und prüfen Sie vor lokaler Inferenz die Systemanforderungen.

  1. Öffnen Sie Run.
  2. Wählen Sie die Cloud-GPU.
  3. Wählen Sie das trainierte π0.5-Modell und einen kompatiblen Modus.
  4. Prüfen Sie Verbindungen und Übereinstimmung mit der Trainingskonfiguration.
  5. Bringen Sie Box, Behälter und Roboter in die Erfassungspositionen zurück. Nutzen Sie beim ersten Test dieselben Kamerabilder, Objekte und dieselbe Anordnung.
  6. Geben Sie „Pick up the square box and place it in the storage bin.“ ein. Setzen Sie für andere Aufgaben die jeweilige Szene zurück und verwenden Sie die ursprüngliche Anweisung.
  7. Starten Sie die Ausführung und stoppen Sie bei ungewöhnlichen Bewegungen sofort.

Validieren Sie jede Aufgabe eines Multitask-Modells mit der zugehörigen Anweisung.

VLA-Modell ausführen

Beobachtetes ProblemZuerst prüfen oder ergänzen
Erfolg nur aus wenigen StartpositionenKorrekte Demonstrationen mit verschiedenen Positionen ergänzen
Häufiges Vorbeigreifen oder ungenaues AblegenKameras, Kalibrierung und Datenqualität prüfen und betroffene Szenarien ergänzen
Eine Aufgabe im Multitask-Modell ist schwächerAnweisungen, Episode-Qualität und Datenabdeckung prüfen
Leistung sinkt nach Kamera- oder SzenenwechselKonsistenz prüfen und Daten unter neuen Bedingungen erfassen
Aktionen passen nicht zur AnweisungAufgaben-/Episode-Zuordnung und Laufzeitanweisung prüfen

Bewahren Sie Datensatzversionen, Trainingskonfigurationen und Testergebnisse jeder Iteration auf. Beheben Sie zuerst eindeutige Datenprobleme, bevor Sie Trainingsparameter ändern.

Ja. Jede Episode muss die richtige Anweisung behalten; Geräte-, Kamera- und Datenkonfigurationen müssen kompatibel sein.

Kann ich durch Ändern der Anweisung beliebige Aufgaben ausführen?

Abschnitt betitelt „Kann ich durch Ändern der Anweisung beliebige Aufgaben ausführen?“

Das ist nicht garantiert. Die Leistung hängt von Basismodell, Demonstrationen und realen Bedingungen ab. Validieren Sie zuerst die im Training enthaltenen Aufgaben.

Können Evaluierungsdaten für weiteres Training verwendet werden?

Abschnitt betitelt „Können Evaluierungsdaten für weiteres Training verwendet werden?“

Ja, nach Prüfung und Filterung. Nutzen Sie Fehlschläge zur Analyse und ergänzen Sie korrekte Demonstrationen der betroffenen Szenarien.

Ändern Sie den Speicherort in den App-Einstellungen und folgen Sie der Migration. Prüfen Sie danach den Zugriff auf Datensätze, Modelle, Aufzeichnungen und Evaluierungsdaten.