数据采集
数据采集页面用于录制示范数据。
数据采集的目标,是把人通过遥操作完成任务的过程记录成可训练的数据。一次完整采集通常由多段采集片段组成,每个采集片段都应包含“任务开始状态、完整操作过程、任务完成状态”。模型后续学习的不是单个按钮动作,而是摄像机画面、机械臂关节状态和动作序列之间的对应关系。
因此,数据采集不是简单地“录一段视频”。它同时记录视觉信息、机械臂状态、动作指令、时间戳和任务描述。训练时,算法会根据这些数据学习:在某个画面和当前机械臂姿态下,下一步应该输出什么动作。
正式采集前,先把任务定义稳定下来。一个好的任务应当足够具体,例如“把红色积木从左侧移动到右侧”,而不是“移动积木”这种过于宽泛的描述。任务描述越稳定,数据集内部的一致性越好,训练时模型越容易收敛。
| 参数 | 默认值 | 说明 |
|---|---|---|
| 数据集名称 | red-block-transfer | 保存本次采集结果,建议使用英文、数字或短横线 |
| 任务描述 | 把红色积木从左边挪到右边 | 帮助区分不同任务;对需要语言指令的策略尤其重要 |
| 采集段数 | 6 | 每一段保存为一个采集片段 |
| 每段时长 | 30 秒 | 应覆盖一次完整动作 |
| 休息时长 | 5 秒 | 两段录制之间的复位时间 |
| 采样速度 | 依设备配置 | 影响采集帧率;不稳定时降低档位 |

- 确认设备设置已完成连接、校准和遥操作验证。
- 填写数据集名称和任务描述。
- 设置采集片段数量、每段时长和休息时长。
- 点击“开始录制”。
- 按页面计时完成每段示范。
- 录制完成后进入数据集管理页面检查结果。
开始录制前,要确认工作空间、摄像机角度、物体初始位置和机械臂姿态。采集期间这些条件尽量保持一致,因为模型会把它们都当作任务环境的一部分。如果前几段从左侧抓取,后几段从不同角度或不同光照采集,数据看起来更多,但学习难度也会明显增加。
- 每个采集片段都尽量从相似起点开始,并以清晰的成功状态结束。
- 动作要完整、稳定、节奏一致,避免中途停顿、犹豫、反复试探或碰撞。
- 如果某一段明显失败,应及时重录,不要把失败示范混入正式训练数据。
- 采集数量不宜一次过大。建议单次先采集约 20 段,检查质量后再继续采集;任务需要更多样本时,可分批采集并在数据集管理页面合并。
录制过程中可使用:
| 操作 | 功能 |
|---|---|
| 提前结束本段 | 当前动作已完成时,提前结束本采集片段 |
| 重录本段 | 当前采集片段质量不好时重录 |
| 停止全部录制 | 中止整个采集任务 |
| 诊断日志 | 查看底层录制日志 |
快捷键:
| 快捷键 | 功能 |
|---|---|
| 右方向键 | 提前结束本段,或跳过准备/休息 |
| 左方向键 | 重录本段 |
| Esc | 停止全部录制 |



采集页面会显示采集质量指标,包括:
- 实际 / 目标帧率
- 掉帧信息
- 最近帧时间
如果质量不稳定,建议降低采样速度、降低摄像机分辨率或关闭不必要的预览。
录制时应重点观察两类信息:任务是否完成,以及数据是否稳定。任务完成指的是机械臂是否按预期完成抓取、移动、放置等动作;数据稳定则指实际帧率、掉帧、摄像机画面和关节曲线是否正常。
如果当前采集片段已经完成任务,可以提前结束本段,避免把无意义的等待时间录进去。如果操作中途失败、夹爪没夹住、物体掉落、轨迹明显偏离,建议立即重录本段。高质量数据通常比“看起来数量更多但混杂失败样本”的数据更有价值。
常见性能问题
采集性能不足不一定会立即中止录制,但可能通过操作延迟、掉帧或片段时长异常表现出来。出现以下现象时,应先处理性能问题,再继续批量采集。
| 现象 | 可能含义 | 处理建议 |
|---|---|---|
| 提前结束、重录或停止录制后响应明显延迟 | 摄像机、采样速度或系统负载较高,录制线程没有及时处理操作 | 降低采样速度或摄像机分辨率,关闭不必要的预览,并观察操作响应是否恢复。 |
| 设置录制 15 秒,但数据集中的片段明显短于 15 秒 | 录制过程中可能发生掉帧、写入中断或性能不足 | 检查实际 / 目标帧率、掉帧信息和诊断日志;异常片段应删除或重新录制。 |
| 帧率持续低于目标值或掉帧不断增加 | 当前采样配置超过电脑、摄像机或数据写入能力 | 降低采样档位或图像数据量,先录制少量片段验证稳定性。 |
建议的数据采集规范
Section titled “建议的数据采集规范”为了获得更稳定的训练效果,建议:
- 每个任务至少录制多段完整示范。
- 每段都从相似起点开始,并完成完整终点。
- 避免示范中途停顿、碰撞、遮挡。
- 任务描述保持一致,不要同一数据集混入不同任务。
- 摄像机位置固定,采集、训练、运行都使用相同视角。
- 对失败示范及时重录或在数据集管理页面中删除对应采集片段。
完成采集后,系统会在本地生成一个数据集。这个数据集是后续训练的输入,不是最终模型。用户接下来需要到数据集管理页面检查每段采集片段的视频、样本帧、时长、帧率和关节曲线,确认数据能代表希望模型学习的任务。只有通过质量检查的数据,才建议进入训练环节。
采集数量与训练步数参考
Section titled “采集数量与训练步数参考”下面的数据可作为首次规划实验的起步参考,并不是训练效果保证。实际所需数据量和训练步数会受到任务难度、示范一致性、摄像机视角、物体变化范围和策略类型影响。
建议先完成一轮小规模采集、训练和运行验证,再根据失败情况补充数据。
| 任务难度 | 任务示例 | 采集片段参考 | 训练步数参考 | 验收关注点 |
|---|---|---|---|---|
| 初级 | 从固定 A 位置移动到固定 B 位置 | 约 20 段 | 10,000–15,000 | 动作路径稳定,终点误差可控,重复运行没有明显失败。 |
| 中级 | 从一定范围内的随机位置夹取,并移动到指定位置 | 约 50 段 | 30,000–40,000 | 覆盖不同初始位置,夹取成功率稳定,放置位置基本一致。 |
| 高级 | 长时段、多步骤或连续任务 | 约 100 段 | 80,000–100,000 | 关注长时间稳定性、累积误差、异常状态和数据分布覆盖。 |