← 返回榜单

人类视频迁移组

独立提交分组 robot-human-transfer。它与机器人-only组使用完全相同的480条机器人训练示范和120个GR1闭环场景。网页分别显示组别,不把增加人类数据的模型混入机器人-only组。

人类视频在哪里下载

下载我们固定的480条子集清单。这是编号与校验信息,不是视频。

打开EgoDex官方数据下载页。选择Training Set Part 2,使用其中的 basic_pick_place。官方列出的Part 2归档约300GB,是完整分片,远大于我们选择的约0.5小时子集;请按清单的 source_trajectory 匹配原始MP4/HDF5。已有本地数据时无需重复下载。

榜单的机器人评测ZIP包括机器人初始场景、机器人验证窗口、工具和人类子集清单,**不包含EgoDex人类视频**。原始视频、HDF5及其许可证由上游提供。我们的子集清单不等于已经提供了可直接训练的人类数据包。

固定人类子集

从本地EgoDex part2/basic_pick_place 的27419条转换轨迹中,按 SHA256("42:" + trajectory_id) 排序取前480条。固定清单为 human-transfer/subset.json,包括原始轨迹编号、帧数和本地转换parquet校验值。总计53749帧、30fps,约0.498小时。来源参考 EgoDex官方项目。

只公开清单和协议,不重新分发人类视频、手部标注或转换数据。上游数据采用CC BY-NC-ND条款,下载和使用需遵循原条款。parquet哈希用于本地转换版本的审计;不同转换器可能生成不同文件,不能据此宣称它们语义不一致。

本地operator为unknown,本清单不声称人员或session留出泛化。我们不新增人类测试集;最终测的是机器人任务迁移。

三种设置

R:Robot-only,480条机器人示范。

H-video:同一480条机器人示范+固定480条人类视频,禁止使用人类手部姿态、关节轨迹作为训练监督。可以用视频的未来帧学习动作latent。

H-pose:同一480条机器人示范+同一480条人类视频及手部姿态标注。监督强于H-video,必须单独标注,不能统称video-only。

UniT现有官方混合入口包含human_egodex的手部动作配置,因此原样运行属于H-pose,不自动等价于H-video。当前新组已支持提交和网页展示;混合训练适配器、video-only屏蔽路径、子集归一化以及8卡加载仍需单独实现和验证,没有自动启动新训练。

不要求必须混合训练

本组比较的是人类数据能否帮助机器人,而不是要求采用某一种训练顺序。分阶段训练和混合训练均可提交,必须明确声明阶段、数据、采样比例和计算成本。

分阶段:人类视频预训练tokenizer → 机器人数据适配tokenizer → 机器人策略训练。流程清楚,但要检查机器人适配后是否遗忘人类阶段的表征。

混合:tokenizer阶段同时采样人类和机器人数据 → 机器人策略训练。需要披露实际采样比例、各域损失权重与窗口曝光量。

完整混合路线:tokenizer与策略预训练都引入人类数据,最后机器人微调。允许提交,但应与具有匹配阶段设计的robot-only baseline比较,不能把多个同时变化的因素都归因于latent。

小基准推荐先比较R与H→R:R只用机器人数据训练tokenizer和策略;H→R先用人类数据预训练tokenizer,再做机器人适配,策略仍只使用相同480条机器人示范。人类数据只进入tokenizer阶段,便于定位表征迁移收益。冻结tokenizer还是继续适配、重新初始化还是继承哪些模块,都需要记录。

人类预训练、机器人适配、最终策略训练的成本全部计入。若要求相同GPU预算,人类阶段占用该总预算;若额外增加人类预训练计算,按“相同机器人曝光+额外人类计算”单独报告,不能称为同算力提升。R和H的阶段设计与可训练模块需在同一comparison recipe中明确,不能仅凭相同总预算认定所有变量都受控。

提交时在 human_transfer 内建议增加 training_schedule(例如 human_then_robot 或 mixed_tokenizer)和 stages(逐阶段数据、步数、可训练模块、GPU小时)。这两个字段目前用于披露和人工审核;格式验证器不会自动证明训练实际按声明执行。现有 human_usage_stage、comparison、recipe_id 和baseline配对校验仍然有效。

公平对照

主对照为相同GPU小时上限:R和H每个各192 A800-80GB GPU小时,单种子,相同通用预训练backbone、机器人训练集、闭环协议和部署设置。可各加一次最多16 GPU小时smoke;两组总上限416,不是整个研究208。

副对照为相同机器人训练窗口曝光量:允许H增加额外人类计算,但单列实际GPU小时;不能把这组收益称为相同算力收益。仅“训练相同epoch”不能保证机器人曝光相同,必须统计真正抽到的robot/human窗口数。

所有额外机器人任务预训练权重必须披露。当前固定子集迁移轨要求不引入其他机器人任务数据/权重,通用视觉/VLM预训练允许并须与R一致。

建议第一对只在tokenizer阶段改变是否加入人类数据,后续机器人策略训练协议一致,以更容易归因;但同预算下机器人窗口曝光仍可能变化,必须记录。若复现原文完整mixed-pretrain→robot-finetune路线,R也需匹配阶段划分,不能直接把当前两阶段R当成完全控制变量的三阶段H对照。该路线另行冻结recipe ID。

提交字段

在普通 submission.json 上增加如下字段。值必须来自实际实验;下列是结构说明而不是已完成实验。

{
  "training_track": "robot-human-transfer",
  "backbone_id": "与R完全一致的通用预训练模型及revision",
  "training_seed": 42,
  "compute": {
    "gpu_type": "NVIDIA A800-SXM4-80GB",
    "budget_gpu_hours": 192,
    "actual_gpu_hours": 180
  },
  "human_transfer": {
    "baseline_submission_id": "已被接受的robot-only结果ID",
    "human_subset_sha256": "human-transfer/protocol.json中的human_subset_sha256",
    "human_modalities": "video_only",
    "comparison": "equal_gpu_hours",
    "recipe_id": "你实际使用的对照配方版本",
    "human_usage_stage": "tokenizer_only",
    "robot_windows_seen": 100000,
    "human_windows_seen": 100000,
    "external_robot_task_weights": false
  }
}

R的提交也须有相同的 backbone_id、training_seed、compute 和 comparison_recipe_id,用于校验控制变量。如果选择 equal_robot_exposure,R还需提供 robot_windows_seen。示例中的180/100000都是占位说明,提交时必须替换。

验证器要求baseline为本地已同步且通过120回合校验的fixed-480-demo结果;对比场景、机器人数据协议、backbone、种子、配方、部署和GPU类型,并检查相同预算或相同机器人曝光的声明。验证器不能代替实际训练日志审计,成绩仍标为作者自报。

网页展示

人类迁移独立筛选项,展示video-only / video+pose、机器人baseline ID、相对baseline的成功率变化、GPU小时和控制方式。没有真实结果时显示等待提交,不填示例分数。latent诊断列保持可选,人类训练不改变固定机器人诊断窗口。