首次使用快速流程
首次训练并运行模型时,请按以下 5 个步骤操作:
- 完成设备设置与验证。打开 SenseCraft Robotics,在首页点击“开始使用”,选择设备型号,依次绑定主臂、从臂和摄像机,然后完成机械臂校准和遥操作验证。确认从臂能够稳定、同方向跟随主臂;需要视觉训练时,还应确认摄像机能够清楚拍摄工作空间和任务物体。
- 规划并采集示范数据。进入“数据采集”,明确一个具体任务,填写数据集名称、任务描述、采集段数、每段时长和休息时长。录制时通过主臂带动从臂完整完成任务,并保持机械臂配置、摄像机位置和任务目标一致。完成后,平台会生成原始数据集。
- 检查并整理数据集。进入“数据集”,检查视频、样本帧、采集片段时长、帧率和关节曲线。删除失败、碰撞、严重遮挡或明显掉帧的片段;分批采集的数据只有在任务和设备配置一致时才可合并。确认数据质量正常后,再进入训练。
- 训练并获得模型。进入“训练”,选择已完成检查的数据集、训练策略和训练步数,然后启动云端或本地训练。训练完成后,将模型拉取或注册到本地。模型生成后还需要通过机械臂运行验证,不能仅根据训练完成状态判断任务是否成功。
- 运行模型并验证效果。进入“模型运行 / 推理”,确认机械臂、摄像机布局和任务环境与采集时一致,选择对应模型,并先进行单次、短时间测试。运行期间持续观察机械臂动作;动作偏离目标或接近危险位置时,立即停止运行。
| 阶段 | 需要完成 | 完成后 | 下一步 |
|---|---|---|---|
| 设备设置 | 选择设备型号,绑定主臂、从臂和摄像机,完成校准和遥操作验证。 | 获得可正常控制和采集的设备配置。 | 使用当前配置采集示范数据。 |
| 数据采集 | 通过主臂示范目标任务,录制画面、关节状态和动作序列。 | 生成原始数据集。 | 进入数据集页面检查采集质量。 |
| 数据集管理 | 检查视频、帧率、关节曲线和各采集片段,删除失败或异常数据,必要时合并数据集。 | 获得质量稳定、任务一致的训练数据集。 | 选择该数据集进行训练。 |
| 训练 | 选择数据集、训练策略和训练步数,启动云端或本地训练。 | 生成可供运行页面加载的模型。 | 在真实机械臂上验证模型效果。 |
| 模型运行 / 推理 | 选择与当前设备和任务匹配的模型,从单次、短时间运行开始测试。 | 得到成功、部分成功或失败的验证结果。 | 根据结果保持配置、补采数据或重新训练。 |
- 仅进行遥操作或录制固定动作:完成设备设置、校准和遥操作验证即可;不使用视觉功能时,可不配置摄像机。
- 训练模型并让机械臂自主执行任务:请依次完成数据采集、数据集检查、训练和模型运行。后一阶段会使用前一阶段的结果,因此进入下一步前应先确认当前步骤已经完成且结果正常。
- 根据运行结果继续操作:运行成功时,保持当前设备、数据和训练配置,并逐步增加测试次数;部分成功时,补采模型容易失败的位置、姿态或过程数据;运行失败时,先检查设备连接、摄像机位置和任务环境,再检查数据集中是否存在失败或异常样本,完成修正后重新训练。