跳转到内容

数据采集

数据采集页面用于录制示范数据。

数据采集的目标,是把人通过遥操作完成任务的过程记录成可训练的数据。一次完整采集通常由多段采集片段组成,每个采集片段都应包含“任务开始状态、完整操作过程、任务完成状态”。模型后续学习的不是单个按钮动作,而是摄像机画面、机械臂关节状态和动作序列之间的对应关系。

因此,数据采集不是简单地“录一段视频”。它同时记录视觉信息、机械臂状态、动作指令、时间戳和任务描述。训练时,算法会根据这些数据学习:在某个画面和当前机械臂姿态下,下一步应该输出什么动作。

正式采集前,先把任务定义稳定下来。一个好的任务应当足够具体,例如“把红色积木从左侧移动到右侧”,而不是“移动积木”这种过于宽泛的描述。任务描述越稳定,数据集内部的一致性越好,训练时模型越容易收敛。

参数默认值说明
数据集名称red-block-transfer保存本次采集结果,建议使用英文、数字或短横线
任务描述把红色积木从左边挪到右边帮助区分不同任务;对需要语言指令的策略尤其重要
采集段数6每一段保存为一个采集片段
每段时长30应覆盖一次完整动作
休息时长5两段录制之间的复位时间
采样速度依设备配置影响采集帧率;不稳定时降低档位

数据采集截图 1

  1. 确认设备设置已完成连接、校准和遥操作验证。
  2. 填写数据集名称和任务描述。
  3. 设置采集片段数量、每段时长和休息时长。
  4. 点击“开始录制”。
  5. 按页面计时完成每段示范。
  6. 录制完成后进入数据集管理页面检查结果。

开始录制前,要确认工作空间、摄像机角度、物体初始位置和机械臂姿态。采集期间这些条件尽量保持一致,因为模型会把它们都当作任务环境的一部分。如果前几段从左侧抓取,后几段从不同角度或不同光照采集,数据看起来更多,但学习难度也会明显增加。

  • 每个采集片段都尽量从相似起点开始,并以清晰的成功状态结束。
  • 动作要完整、稳定、节奏一致,避免中途停顿、犹豫、反复试探或碰撞。
  • 如果某一段明显失败,应及时重录,不要把失败示范混入正式训练数据。
  • 采集数量不宜一次过大。建议单次先采集约 20 段,检查质量后再继续采集;任务需要更多样本时,可分批采集并在数据集管理页面合并。

录制过程中可使用:

操作功能
提前结束本段当前动作已完成时,提前结束本采集片段
重录本段当前采集片段质量不好时重录
停止全部录制中止整个采集任务
诊断日志查看底层录制日志

快捷键:

快捷键功能
右方向键提前结束本段,或跳过准备/休息
左方向键重录本段
Esc停止全部录制

数据采集截图 2

数据采集截图 3

数据采集截图 4

采集页面会显示采集质量指标,包括:

  • 实际 / 目标帧率
  • 掉帧信息
  • 最近帧时间

如果质量不稳定,建议降低采样速度、降低摄像机分辨率或关闭不必要的预览。

录制时应重点观察两类信息:任务是否完成,以及数据是否稳定。任务完成指的是机械臂是否按预期完成抓取、移动、放置等动作;数据稳定则指实际帧率、掉帧、摄像机画面和关节曲线是否正常。

如果当前采集片段已经完成任务,可以提前结束本段,避免把无意义的等待时间录进去。如果操作中途失败、夹爪没夹住、物体掉落、轨迹明显偏离,建议立即重录本段。高质量数据通常比“看起来数量更多但混杂失败样本”的数据更有价值。

常见性能问题

采集性能不足不一定会立即中止录制,但可能通过操作延迟、掉帧或片段时长异常表现出来。出现以下现象时,应先处理性能问题,再继续批量采集。

现象可能含义处理建议
提前结束、重录或停止录制后响应明显延迟摄像机、采样速度或系统负载较高,录制线程没有及时处理操作降低采样速度或摄像机分辨率,关闭不必要的预览,并观察操作响应是否恢复。
设置录制 15 秒,但数据集中的片段明显短于 15 秒录制过程中可能发生掉帧、写入中断或性能不足检查实际 / 目标帧率、掉帧信息和诊断日志;异常片段应删除或重新录制。
帧率持续低于目标值或掉帧不断增加当前采样配置超过电脑、摄像机或数据写入能力降低采样档位或图像数据量,先录制少量片段验证稳定性。

为了获得更稳定的训练效果,建议:

  • 每个任务至少录制多段完整示范。
  • 每段都从相似起点开始,并完成完整终点。
  • 避免示范中途停顿、碰撞、遮挡。
  • 任务描述保持一致,不要同一数据集混入不同任务。
  • 摄像机位置固定,采集、训练、运行都使用相同视角。
  • 对失败示范及时重录或在数据集管理页面中删除对应采集片段。

完成采集后,系统会在本地生成一个数据集。这个数据集是后续训练的输入,不是最终模型。用户接下来需要到数据集管理页面检查每段采集片段的视频、样本帧、时长、帧率和关节曲线,确认数据能代表希望模型学习的任务。只有通过质量检查的数据,才建议进入训练环节。

下面的数据可作为首次规划实验的起步参考,并不是训练效果保证。实际所需数据量和训练步数会受到任务难度、示范一致性、摄像机视角、物体变化范围和策略类型影响。

建议先完成一轮小规模采集、训练和运行验证,再根据失败情况补充数据。

任务难度任务示例采集片段参考训练步数参考验收关注点
初级从固定 A 位置移动到固定 B 位置约 20 段10,000–15,000动作路径稳定,终点误差可控,重复运行没有明显失败。
中级从一定范围内的随机位置夹取,并移动到指定位置约 50 段30,000–40,000覆盖不同初始位置,夹取成功率稳定,放置位置基本一致。
高级长时段、多步骤或连续任务约 100 段80,000–100,000关注长时间稳定性、累积误差、异常状态和数据分布覆盖。