π0.5 mit SO-ARM trainieren und ausführen
SenseCraft Robotics herunterladen: Herunterladen
Dieses Tutorial verwendet ein Desktop-Organisationsprojekt mit drei Aufgaben, um Datenerfassung, Cloud-Training und reale Validierung mit SO-ARM + π0.5 zu zeigen. Die detaillierten Schritte behandeln das Ablegen einer quadratischen Box in einen Aufbewahrungsbehälter. Erfassen Sie die beiden anderen Aufgaben auf dieselbe Weise und verbinden Sie anschließend alle drei Datensätze für das Training.
Geben Sie danach „Place the square box in the storage bin“ ein, um die erste Aufgabe zu testen, und prüfen Sie anschließend die Anweisungen der beiden anderen Aufgaben.
Sie können zuerst das folgende Video-Tutorial ansehen oder anschließend der bebilderten Schritt-für-Schritt-Anleitung folgen.
1. Trainingsablauf verstehen
Abschnitt betitelt „1. Trainingsablauf verstehen“Ein VLA-Modell (Vision-Language-Action) kombiniert visuelle, sprachliche und Aktionsinformationen. Die Kameras erfassen Objekte und Zielbehälter, die Aufgabenanweisung legt fest, was aufgenommen und wo es abgelegt wird, und der Roboterstatus liefert unter anderem Gelenkpositionen. Daraus prognostiziert das Modell die nächsten Aktionen.
Der vollständige Ablauf:
Projekt erstellen → Roboter und Kameras konfigurieren → Demonstrationen mit Anweisungen erfassen → Datensätze prüfen und verbinden → In der Cloud trainieren → Am realen Roboter ausführen → Auswerten und Daten ergänzen
Eine Aufgabe benötigt normalerweise mehrere Demonstrationen. In einem Multitask-Datensatz muss jede Episode ihre zugehörige Aufgabenanweisung behalten.
| Begriff | Bedeutung | Beispiel |
|---|---|---|
| Aufgabenanweisung (Task) | Ziel, das der Roboter erreichen soll | Die quadratische Box in den Behälter legen |
| Episode | Vollständige Aufzeichnung einer Ausführung mit Bildern, Zuständen und Aktionen | Box aufnehmen, in den Behälter legen und Aufzeichnung beenden |
2. Voraussetzungen
Abschnitt betitelt „2. Voraussetzungen“Bereiten Sie Folgendes vor:
-
Einen vollständig montierten und funktionsfähigen SO-ARM Leader- und Follower-Arm.
-
Kompatible Netzteile, USB-Kabel und Kameras.
-
Einen Computer mit SenseCraft Robotics Desktop V1.1.27 und stabiler Netzwerkverbindung.
Software herunterladen: Herunterladen
-
Ausreichend lokalen Speicher und genügend Konto-Credits für das Training.
-
Quadratische Box, Aufbewahrungsbehälter und eine stabile Arbeitsfläche.
Schließen Sie bei der ersten Verwendung zunächst Montage und Grundeinrichtung ab.
Befestigen Sie vor dem Betrieb die Basis, räumen Sie den Bewegungsbereich frei und stellen Sie sicher, dass Sie den Roboter schnell stoppen können. Halten Sie Personen und zerbrechliche Gegenstände bei ersten Tests fern.

3. Ein KI-Modelltrainingsprojekt erstellen
Abschnitt betitelt „3. Ein KI-Modelltrainingsprojekt erstellen“- Öffnen Sie SenseCraft Robotics.
- Erstellen Sie ein Projekt mit einem eindeutigen Namen, z. B.
SOARM-Desktop-Organization. - Wählen Sie AI Model Training als Projektzweck.
- Öffnen Sie danach Device Setup.
AI Model Training-Projekte unterstützen Datenerfassung, Modelltraining und Inferenz. Wenn Sie nur eine feste Bahn aufzeichnen und wiederholen möchten, wählen Sie Action Playback.


4. Roboterarm und Kameras konfigurieren
Abschnitt betitelt „4. Roboterarm und Kameras konfigurieren“Folgen Sie in Device Setup den Anweisungen:
- Gerät auswählen: Wählen Sie das verwendete Armmodell; dieses Tutorial nutzt SO-ARM.
- Serielle Ports binden: Bestimmen Sie die Ports von Leader und Follower. Verbinden und binden Sie zuerst den Leader, danach den Follower, um Verwechslungen zu vermeiden.
- Kalibrieren: Folgen Sie dem Assistenten, um Gelenkreferenzen festzulegen. SO-ARM unterstützt automatische und manuelle Kalibrierung. Lassen Sie bei der automatischen Kalibrierung ausreichend Freiraum, um Kollisionen zu vermeiden.
- Teleoperation prüfen: Bewegen Sie den Leader langsam und prüfen Sie die Nachführung des Followers sowie den Greifer.
- Kameras binden: Wählen Sie die Kameras und prüfen Sie die Livebilder.
Box und Behälter müssen klar sichtbar sein. Simulieren Sie den gesamten Weg und stellen Sie sicher, dass Greifen und Ablegen im Bild bleiben. Prüfen Sie bei einer Handgelenkkamera die Sicht auf den Greifbereich. Wiederholen Sie dies für die anderen Aufgaben.
Halten Sie Kameraposition, Blickwinkel, Geräteeinstellungen und Beleuchtung zwischen Erfassung und Ausführung möglichst konstant. Prüfen Sie nach Änderungen die Kompatibilität mit vorhandenen Daten und Modellen.
Weitere Einzelheiten finden Sie im SO-ARM101-Leitfaden.
5. Demonstrationen mit Aufgabenanweisungen erfassen
Abschnitt betitelt „5. Demonstrationen mit Aufgabenanweisungen erfassen“5.1 Datensatz erstellen und Aufgabe beschreiben
Abschnitt betitelt „5.1 Datensatz erstellen und Aufgabe beschreiben“- Öffnen Sie Datasets und erstellen Sie einen Datensatz.
- Geben Sie Namen und Aufgabenbeschreibung ein. Die Beschreibung wird zur Anweisung jeder Episode. Beschreiben Sie Aktion und Ziel eindeutig, etwa „Pick up the square box and place it in the storage bin“, und vermeiden Sie unklare Formulierungen.
- Legen Sie Anzahl, Dauer und Ruhezeit fest. Beginnen Sie mit 50 Episodes pro Aufgabe und erfassen Sie nach dem Filtern Ersatz, sodass mindestens 50 gültige Demonstrationen bleiben. Ein Testlauf hilft bei der Dauer; 10–15 Sekunden Ruhezeit reichen bei einfachen Aufbauten meist zum Zurücksetzen.
- Prüfen Sie Roboter, Kameras und Speichereinstellungen.
- Positionieren Sie Objekte und Roboter in Reichweite. Halten Sie Positionen zunächst fest und ergänzen Sie bei der Optimierung zufällige Positionen.


5.2 Mehrere Episodes aufzeichnen
Abschnitt betitelt „5.2 Mehrere Episodes aufzeichnen“- Starten Sie die Aufzeichnung.
- Steuern Sie den Follower mit dem Leader durch eine vollständige Demonstration.
- Beenden Sie die Aufzeichnung nach Abschluss.
- Prüfen und behalten Sie gültige Demonstrationen.
- Setzen Sie Objekte und Roboter zurück und wiederholen Sie den Vorgang.
Bringen Sie vor jeder Episode Box und Roboter in die Ausgangslage zurück und lassen Sie den Behälter stehen. Zeichnen Sie auf: annähern → Greifer schließen → anheben → über den Behälter bewegen → loslassen. Erfassen Sie die anderen Aufgaben separat.


5.3 Daten für verschiedene Aufgaben erfassen
Abschnitt betitelt „5.3 Daten für verschiedene Aufgaben erfassen“Zeichnen Sie für ein Multitask-Modell jede Aufgabe separat auf.
| Aufgabe | Beispielanweisung |
|---|---|
| Quadratische Box in den Behälter legen | Pick up the square box and place it in the storage bin. |
| Orange auf den Obstteller legen | Pick up the orange and place it on the fruit plate. |
| Donut in die Spielzeugkiste legen | Pick up the donut and place it in the toy box. |
Erstellen Sie für jede Aufgabe einen eigenen Datensatz. Die Anweisung jedes Stapels muss zur Demonstration passen; verwenden Sie die Box-Anweisung nicht für andere Aufgaben.

6. Datensätze prüfen und verbinden
Abschnitt betitelt „6. Datensätze prüfen und verbinden“Prüfen Sie vor dem Training je Aufgabe:
- korrekte und vollständige Anweisungen;
- klare Bilder und sichtbare Schlüsselschritte;
- vollständige Demonstrationen ohne offensichtliche Fehlschläge;
- ausreichende Datenabdeckung.
Wählen Sie danach die drei Datensätze in der Zusammenführungsfunktion. Nennen Sie das Ergebnis z. B. „desktop organization“, erhalten Sie Aufgabenbezug und Anweisung jeder Episode und verwenden Sie es zum Training.
Prüfen Sie Kompatibilität von Robotertyp, Kamerakonfiguration, FPS, Aktionsraum und weiteren Einstellungen. Passen Sie bei Inkompatibilität die Quellen an oder erfassen Sie neu.
Bei 50 gültigen Episodes pro Quelle sollte das Ergebnis 3 Aufgaben und 150 Episodes zeigen. Filtern Sie jede Aufgabe, spielen Sie Stichproben ab, entfernen Sie Fehlschläge und ergänzen Sie fehlende Daten.



7. π0.5 in der Cloud trainieren
Abschnitt betitelt „7. π0.5 in der Cloud trainieren“- Öffnen Sie Train.
- Wählen Sie die Cloud-GPU.
- Wählen Sie den geprüften Datensatz.
- Wählen Sie π0.5 als Strategie.
- Verwenden Sie für den ersten Lauf die empfohlene Konfiguration.
- Prüfen Sie Parameter, Ressourcen, Kontingente und Kosten.
- Senden Sie den Auftrag und beobachten Sie den Fortschritt.
Die Plattform prüft die Kompatibilität vor dem Absenden. Beheben Sie fehlende Anweisungen, unpassende Kamerakonfigurationen oder andere Probleme vor einem neuen Versuch.
Öffnen Sie nach Abschluss Models und suchen Sie das Modell. Der Name kombiniert üblicherweise Datensatzname und Strategie.
Ein abgeschlossenes Training garantiert keine reale Leistung. Validieren Sie das Modell immer am Roboter. Führen Sie es zuerst aus und entscheiden Sie anhand der Fehlschläge über zusätzliche Daten oder Parameteränderungen.


8. Modell auf SO-ARM ausführen
Abschnitt betitelt „8. Modell auf SO-ARM ausführen“Ausführungsmodus: VLA-Modelle, insbesondere π0.5, benötigen viel GPU-Leistung und Speicher. Verwenden Sie hier eine Cloud-GPU für die Inferenz. Roboter und Kameras bleiben am lokalen Computer angeschlossen, der die Modellausgaben ausführt. Sorgen Sie für eine stabile Verbindung und prüfen Sie vor lokaler Inferenz die Systemanforderungen.
- Öffnen Sie Run.
- Wählen Sie die Cloud-GPU.
- Wählen Sie das trainierte π0.5-Modell und einen kompatiblen Modus.
- Prüfen Sie Verbindungen und Übereinstimmung mit der Trainingskonfiguration.
- Bringen Sie Box, Behälter und Roboter in die Erfassungspositionen zurück. Nutzen Sie beim ersten Test dieselben Kamerabilder, Objekte und dieselbe Anordnung.
- Geben Sie „Pick up the square box and place it in the storage bin.“ ein. Setzen Sie für andere Aufgaben die jeweilige Szene zurück und verwenden Sie die ursprüngliche Anweisung.
- Starten Sie die Ausführung und stoppen Sie bei ungewöhnlichen Bewegungen sofort.
Validieren Sie jede Aufgabe eines Multitask-Modells mit der zugehörigen Anweisung.

9. Modell anhand der Ergebnisse verbessern
Abschnitt betitelt „9. Modell anhand der Ergebnisse verbessern“| Beobachtetes Problem | Zuerst prüfen oder ergänzen |
|---|---|
| Erfolg nur aus wenigen Startpositionen | Korrekte Demonstrationen mit verschiedenen Positionen ergänzen |
| Häufiges Vorbeigreifen oder ungenaues Ablegen | Kameras, Kalibrierung und Datenqualität prüfen und betroffene Szenarien ergänzen |
| Eine Aufgabe im Multitask-Modell ist schwächer | Anweisungen, Episode-Qualität und Datenabdeckung prüfen |
| Leistung sinkt nach Kamera- oder Szenenwechsel | Konsistenz prüfen und Daten unter neuen Bedingungen erfassen |
| Aktionen passen nicht zur Anweisung | Aufgaben-/Episode-Zuordnung und Laufzeitanweisung prüfen |
Bewahren Sie Datensatzversionen, Trainingskonfigurationen und Testergebnisse jeder Iteration auf. Beheben Sie zuerst eindeutige Datenprobleme, bevor Sie Trainingsparameter ändern.
10. Häufig gestellte Fragen
Abschnitt betitelt „10. Häufig gestellte Fragen“Kann ein Datensatz mehrere Aufgaben enthalten?
Abschnitt betitelt „Kann ein Datensatz mehrere Aufgaben enthalten?“Ja. Jede Episode muss die richtige Anweisung behalten; Geräte-, Kamera- und Datenkonfigurationen müssen kompatibel sein.
Kann ich durch Ändern der Anweisung beliebige Aufgaben ausführen?
Abschnitt betitelt „Kann ich durch Ändern der Anweisung beliebige Aufgaben ausführen?“Das ist nicht garantiert. Die Leistung hängt von Basismodell, Demonstrationen und realen Bedingungen ab. Validieren Sie zuerst die im Training enthaltenen Aufgaben.
Können Evaluierungsdaten für weiteres Training verwendet werden?
Abschnitt betitelt „Können Evaluierungsdaten für weiteres Training verwendet werden?“Ja, nach Prüfung und Filterung. Nutzen Sie Fehlschläge zur Analyse und ergänzen Sie korrekte Demonstrationen der betroffenen Szenarien.
Was tun bei zu wenig lokalem Speicher?
Abschnitt betitelt „Was tun bei zu wenig lokalem Speicher?“Ändern Sie den Speicherort in den App-Einstellungen und folgen Sie der Migration. Prüfen Sie danach den Zugriff auf Datensätze, Modelle, Aufzeichnungen und Evaluierungsdaten.