コンテンツにスキップ

SO-ARMでπ0.5を学習・実行する

SenseCraft Roboticsプラットフォームのダウンロード: ダウンロード

このチュートリアルでは、3つのタスクを含むデスク整理プロジェクトを例に、SO-ARM + π0.5によるデータ収集、クラウド学習、実機検証を説明します。詳しい手順では「四角い箱を収納ボックスに入れる」タスクを扱います。残り2つのタスクも同じ方法で収集し、3つのデータセットを統合して学習します。

完了後、「四角い箱を収納ボックスに入れる」と入力してロボットがタスクを実行できるか確認します。続けて他のタスクの指示を入力し、タスクを切り替えて実行できるか検証します。

まず下の動画チュートリアルを視聴するか、続く画像付き手順に沿って操作できます。

1. 学習ワークフローを理解する

Section titled “1. 学習ワークフローを理解する”

VLA(Vision-Language-Action)モデルは、視覚・言語・動作の情報を組み合わせます。本プロジェクトでは、カメラが整理対象と収納先を撮影し、タスク指示が「何をつかみ、どこに置くか」を指定し、ロボット状態が現在の関節位置などを提供します。モデルはこれらを組み合わせ、次の動作を予測します。

全体の流れは次のとおりです。

プロジェクト作成 → ロボットとカメラの設定 → 指示付きデモデータの収集 → データセットの確認と統合 → クラウド学習 → 実機実行 → 評価と追加収集

通常、1つのタスクには複数回のデモが必要です。複数タスクを含むデータセットでは、各Episodeに対応するタスク指示を保持してください。

概念意味例
タスク指示(Task)ロボットが達成すべき目標四角い箱を収納ボックスに入れる
Episode画像、ロボット状態、動作などを含む1回分の完全な実行記録初期位置から箱をつかみ、収納ボックスに入れて記録を終了する

開始前に、次を準備してください。

  • 組み立て済みで正常に動作するSO-ARMのLeaderアームとFollowerアーム。

  • 対応する電源、USBケーブル、カメラ。

  • SenseCraft RoboticsデスクトップアプリをV1.1.27に更新した、安定したネットワーク接続のあるコンピューター。

    ソフトウェアのダウンロード: ダウンロード

  • 十分なローカルストレージと、学習タスクに必要なアカウントクレジット。

  • 四角い箱や収納ボックスなどの対象物と、安定した作業台。

初めて使用する場合は、先にロボットの組み立てと基本設定を完了してください。

実行前にベースを固定し、動作範囲を片付け、すぐに停止できることを確認してください。初回テストでは、人や壊れやすい物を動作範囲から遠ざけてください。

SO-ARMデスク整理学習環境

3. AIモデル学習プロジェクトを作成する

Section titled “3. AIモデル学習プロジェクトを作成する”
  1. SenseCraft Roboticsを開きます。
  2. SOARM-Desktop-Organization など、識別しやすい名前でプロジェクトを作成します。
  3. Project purposeで AI Model Training を選択します。
  4. 作成後、Device Setup を開きます。

AI Model Trainingプロジェクトでは、データ収集、モデル学習、推論を行えます。固定軌道の記録と再生だけが必要な場合はAction Playbackを選択してください。本チュートリアルではAI Model Trainingを使用します。

プロジェクト一覧と新規プロジェクト入口

AI Model Trainingプロジェクトの作成

4. ロボットアームとカメラを設定する

Section titled “4. ロボットアームとカメラを設定する”

Device Setupの画面案内に従って、次を完了します。

  1. デバイスの選択: 使用するロボットアームを選択します。本チュートリアルではSO-ARMを使用します。
  2. シリアルポートの割り当て: LeaderとFollowerのポートを特定します。取り違えを防ぐため、先にLeaderのUSBを接続して割り当て、次にFollowerを接続してください。
  3. キャリブレーション: 案内に従って関節位置の基準を設定し、FollowerがLeaderを正しく追従できるようにします。SO-ARMは自動・手動キャリブレーションに対応しています。自動の場合は指示どおりに配置し、衝突を避ける十分な空間を確保してください。
  4. テレオペレーションの確認: Leaderをゆっくり動かし、Followerの追従とグリッパーの開閉を確認します。
  5. カメラの割り当て: 収集に使用するカメラを選び、ライブ映像を確認します。

ライブ映像で四角い箱と収納ボックスが明瞭に見えることを確認します。箱の開始位置から収納先まで動かす動作を模擬し、把持・配置が画面外に出ないことを確認してください。手首カメラを使う場合は、接近時に把持領域が見えるか確認します。他の2タスクも同様に確認します。

収集時と実行時で、カメラ位置、画角、デバイス設定、照明をできるだけ一定に保ってください。構成を変更した場合は、既存データやモデルとの互換性を確認します。

詳細は SO-ARM101ガイド を参照してください。

5. タスク指示付きデモデータを収集する

Section titled “5. タスク指示付きデモデータを収集する”

5.1 データセットを作成してタスク説明を入力する

Section titled “5.1 データセットを作成してタスク説明を入力する”
  1. Datasets を開き、このタスク用のデータセットを作成します。
  2. 収集設定でデータセット名とタスク説明を入力します。タスク説明は、このバッチの各Episodeの指示になります。「四角い箱をつかんで収納ボックスに入れる」のように動作と目的地を明確にし、「つかむ」「task 1」など曖昧な表現は避けてください。
  3. Episode数、各Episodeの長さ、休止時間を設定します。最初はタスクごとに50回収集し、選別後に有効なデモが50回以上になるよう追加収録することを推奨します。1回試しに記録して適切な長さを決め、休止時間は物体とロボットを初期位置に戻せる長さ(簡単な環境では通常10~15秒)にします。
  4. ロボット、カメラ、保存設定を確認します。
  5. 物体とロボットを開始位置に配置します。物体の開始位置と配置先の両方が可動範囲内であることを確認します。初回収集では位置を固定し、最適化段階で位置をランダム化したデータを追加します。

データセット作成前の画面

データセット名、タスク説明、収集設定

  1. 記録を開始します。
  2. LeaderでFollowerを遠隔操作し、把持から配置までを完全に実演します。
  3. タスク完了後に記録を停止します。
  4. 記録を確認し、有効なデモを残します。
  5. 物体とロボットをリセットし、次のデモを記録します。

各Episodeの前に、休止時間を使って箱を開始位置に戻し、収納ボックスを固定し、ロボットを同じ開始姿勢に戻します。「箱に近づく → グリッパーを閉じる → 持ち上げる → 収納ボックス上に移動 → 放す」の順に記録します。他の2タスクも別々に同じ方法で記録・リセットします。

デモデータの記録開始

Episode記録の進捗とショートカット

5.3 異なるタスクのデータを収集する

Section titled “5.3 異なるタスクのデータを収集する”

1つのモデルで複数タスクを実行するには、タスクごとに個別のデモを記録します。

タスク指示例
四角い箱を収納ボックスに入れるPick up the square box and place it in the storage bin.
オレンジをフルーツ皿に置くPick up the orange and place it on the fruit plate.
ドーナツをおもちゃ箱に入れるPick up the donut and place it in the toy box.

本プロジェクトには3つの整理タスクがあります。箱のタスクを収集した後、残り2つにも個別のデータセットを作成し、対応する説明とデモを記録します。各バッチの指示は実演内容と一致させ、箱タスクの指示を流用しないでください。

3つの整理タスクのデータセット一覧

6. データセットを確認・統合する

Section titled “6. データセットを確認・統合する”

学習前にデータセットの詳細を開き、タスク別にEpisodeを確認します。

  • タスク指示が正確で完全か。
  • 映像が鮮明で重要な動作が見えるか。
  • デモが完全で、明らかな失敗や無関係な区間がないか。
  • 各タスクのデータ範囲に大きな不足がないか。

3タスクを収集・確認したら、統合機能で対応する3つのデータセットを選択します。統合後の名前は「desktop organization」などにし、各Episodeのタスクと指示を保持したまま学習に使用します。

統合前に、ロボット機種、カメラ構成、収集FPS、動作空間などの互換性を確認します。非互換が表示された場合は、案内に従って元データを調整するか再収集してください。

各元データセットに有効なEpisodeが50件ある場合、統合後に3タスク・150 Episodeと表示されることを確認します。タスクごとに数件再生し、指示と実演が一致し、全工程が撮影されていることを確認します。失敗や不完全な記録を除外し、不足分を追加収録します。

統合データセットのタスクとEpisode

データセット一覧の統合入口

3つの元データセットを選択して統合

  1. Train ページを開きます。
  2. 使用するクラウドGPUを選択します。
  3. 確認済みのデータセットを選択します。
  4. 学習戦略で π0.5 を選択します。
  5. 初回はプラットフォームの推奨設定を出発点にします。
  6. 学習パラメータとリソース、割り当て、料金情報を確認します。
  7. 学習ジョブを送信し、状態と進捗を確認します。

送信前にデータとモデル要件の適合性が検査されます。指示不足、カメラ構成の不一致などが表示された場合は、修正してから再送信してください。

学習完了後、Models を開いて該当モデルを探します。通常、タスク名はデータセット名と学習戦略の組み合わせです。

学習完了は実機性能を保証しません。必ずロボット上で検証してください。 初回はモデルを実行し、観察した失敗に基づいてデータ追加または設定調整を判断します。

モデル一覧で学習済みモデルを確認

π0.5クラウド学習の状態と進捗

実行方式: VLAモデル、特にπ0.5は大きなGPU性能とメモリを必要とします。本チュートリアルではクラウドGPUで推論し、ロボットとカメラはローカルPCに接続したまま、モデル出力をローカルで実行します。安定したネットワークを維持してください。ローカル推論を行う場合は、ハードウェアと環境が要件を満たすことを確認します。

  1. Run ページを開きます。
  2. 使用するクラウドGPUを選択します。
  3. 学習済みπ0.5モデルと、互換性のある実行方式を選択します。
  4. ロボットとカメラが正しく接続され、学習データと同じ構成であることを確認します。
  5. 箱、収納ボックス、ロボットを収集時と同じ位置・姿勢に戻します。初回は同じ画角、物体、机上配置を使用します。
  6. 「Pick up the square box and place it in the storage bin.」と入力します。他のタスクでは、それぞれの環境を戻し、収集時の指示を入力します。
  7. 実行を開始して結果を観察し、異常な動作があれば直ちに停止します。

複数タスクのモデルは、それぞれ対応する指示で検証します。

SenseCraft RoboticsでVLAモデルを実行

9. 実行結果に基づいてモデルを改善する

Section titled “9. 実行結果に基づいてモデルを改善する”
観察された問題最初に確認・追加する内容
一部の開始位置でしか成功しない異なる物体位置で正しいデモを追加する
把持失敗や配置ずれが多いカメラ、キャリブレーション、データ品質を確認し、該当場面のデモを追加する
複数タスクのうち1つだけ性能が低いそのタスクの指示、Episode品質、データ範囲を確認する
カメラや環境変更後に性能が低下する構成の一貫性を確認し、新条件のデータを収集する
動作が指示と一致しないEpisodeとタスクの関連付け、実行時の指示を確認する

各反復でデータセットのバージョン、学習設定、テスト結果を保存し、変更の効果を判断できるようにします。最初の改善では、学習パラメータより明確なデータ問題を優先してください。

1つのデータセットに複数タスクを含められますか?

Section titled “1つのデータセットに複数タスクを含められますか?”

はい。各Episodeには正しいタスク指示を保持してください。異なるタスクを統合する場合は、デバイス、カメラ、その他のデータ構成に互換性が必要です。

学習後、指示を変えるだけで任意のタスクを実行できますか?

Section titled “学習後、指示を変えるだけで任意のタスクを実行できますか?”

保証されません。性能は基盤モデル、デモデータ、実環境に依存します。まず学習で扱ったタスクを検証し、その後で新しい指示や条件を段階的に試してください。

評価データを追加学習に使用できますか?

Section titled “評価データを追加学習に使用できますか?”

確認・選別して要件を満たすことを確認した後で使用できます。失敗記録は問題分析に使い、該当場面の正しいデモを優先して追加してください。

ローカルストレージが不足した場合は?

Section titled “ローカルストレージが不足した場合は?”

アプリ設定で保存先を確認・変更し、案内に従って既存データを移行します。移行後、データセット、モデル、動作記録、評価データにアクセスできることを確認してください。