数据集管理
数据集管理页面用于检查和整理采集数据。
数据集管理的作用，是在训练前把采集到的数据变成“可信的训练材料”。采集页面负责记录示范，数据集管理页面负责判断这些示范是否适合训练。
左侧显示本地数据集列表。可选择多个任务描述完全一致的数据集进行合并。
数据集合并可以把同一个任务、同一套硬件配置、同一摄像机布局下分批采集的数据合并起来。合并前要确认任务描述完全一致，物体摆放规则一致，摄像机布局一致，机械臂型号和采样配置一致。否则合并后的数据集虽然数量变多，但内部差异会增加，训练效果可能变差。
- 只合并同一任务目标的数据集，不要把“抓红色积木”和“抓蓝色积木”混在一起。
- 只合并摄像机数量和视角一致的数据集。
- 合并后重新检查总采集片段数、样本帧、关节曲线和状态。
- 上传到 Hugging Face 前，确认数据集中不包含无关、失败或隐私敏感内容。
训练效果很大程度取决于数据质量；如果数据中混入失败动作、掉帧、任务描述不一致或摄像机视角变化过大的采集片段，模型可能会学到错误行为。
进入数据集管理页面后，不建议只看数据集是否存在，而应检查它是否“可训练”。可训练意味着任务目标一致、每段示范完整、视频和关节数据同步、采集片段时长合理、没有明显损坏或异常帧。
选择数据集后，可查看：
| 区域 | 内容 |
|---|---|
| 任务 | 任务描述 |
| 时长 | 总时长 |
| 采集片段 | 采集片段数量 |
| 状态 | 数据质量 / 状态 |
| 关节状态曲线 | 关节状态曲线 |
| 视频 / 样本帧预览 | 视频或样本帧预览 |
| 采集片段列表 | 每段采集片段的帧数、时长和预览 |
| 操作 | 说明 |
|---|---|
| 编辑任务 | 修改任务描述 |
| 刷新预览 | 重新生成 / 刷新预览 |
| 上传到 Hugging Face | 上传数据集到 Hugging Face |
| 训练 | 使用该数据集进入训练 |
| 删除采集片段 | 删除指定采集片段 |
| 合并 | 合并任务描述一致的数据集 |
| 回放采集片段 | 回放数据集中的某段示范 |
上传到 Hugging Face 需要访问令牌。页面提供访问令牌输入、账号识别和仓库配置流程。
| 检查项 | 看什么 | 为什么要看 |
|---|---|---|
| 任务描述 | 是否和本次训练目标一致 | 任务描述不一致会让同一个数据集表达多个目标，降低训练稳定性 |
| 采集片段数量 | 是否有足够多的有效示范 | 样本太少时模型容易记住个别轨迹，泛化能力差 |
| 采集片段时长 | 是否明显短于设置时长，或长时间无动作 | 时长异常可能表示提前中断、掉帧或任务边界不清楚 |
| 视频 / 样本帧 | 物体、夹爪、关键动作是否清晰可见 | 视觉模型依赖画面判断状态，遮挡和模糊会影响学习 |
| 关节曲线 | 曲线是否连续，有无突变、断点或异常抖动 | 异常曲线可能意味着连接、校准或录制过程中出现问题 |
| 状态提示 | 是否存在可修复或不可用状态 | 决定是否需要修复、重录或删除某些采集片段 |
清理和修复的意义
Section titled “清理和修复的意义”删除采集片段的目的不是减少数据，而是移除会误导模型的样本。失败示范、明显碰撞、夹取失败、动作中断、摄像机遮挡严重的采集片段，都可能让模型学习到不稳定行为。保留少量高质量样本，通常比保留大量质量参差不齐的样本更可靠。
完成数据集检查、清理、合并后，用户应该得到一个任务目标明确、质量稳定、可用于训练的数据集。此时再点击训练进入训练页面，训练过程会更可控，后续模型运行时也更容易复现采集时的目标动作。