← 返回榜单

如何提交自己的模型

榜单网页只展示结果,不托管模型推理。你在自己的 GPU 上测评,提交结果 PR,维护者审核后合并。无需榜单维护者的 token,也无需仓库写权限;登录你自己的 Hugging Face 账号即可。成绩默认标为“作者自报”,格式检查不能证明模型没有作弊或训练数据没有泄漏。

1. 下载固定评测

直接点击 下载 ZIP,无需登录。解压后得到 gr1-six-task-mini/,包含120个初始场景、协议、划分和评测工具。此包不含训练轨迹、模拟器资产及模型权重,需按下文另外准备环境。

也可以用命令行(若启用了离线模式,先取消):

unset HF_HUB_OFFLINE TRANSFORMERS_OFFLINE
hf download JIAlonglong/gr1-six-task-mini --repo-type dataset --local-dir ./gr1-six-task-mini

安装 GR1 RoboCasa/robosuite 模拟器、MuJoCo/EGL 和所需资产。参考 UniT 固定版本 800c0a428d431964dad4e7adc9c667d639432249:https://github.com/xpeng-robotics/UniT 。各依赖和资产保留原许可。评测工具是 pilot,目前尚未完成跨机器 GPU 闭环验证。

2. 接入模型

编写 my_adapter.py,提供 create_policy(),返回具有以下方法的对象:

class MyPolicy:
    def reset(self):
        # 每回合清空模型历史、缓存
        pass

    def predict(self, observation):
        # 输入只有当前 video/state/language/annotation 模态。
        # 自行完成模型图像预处理、状态变换和动作反归一化。
        # 返回长度16的列表,每项是下面五组29维真实关节目标。
        # action.right_arm: (7,), action.right_hand: (6,)
        # action.left_arm: (7,), action.left_hand: (6,), action.waist: (3,)
        raise NotImplementedError

上面是接口说明,不是可直接运行的模型。不同模型的加载器、输入和动作转换必须由提交者实现;不是所有模型都能直接输出 GR1 动作。图像键为 video.ego_view_bg_crop_pad_res256_freq20。不得读取未来图像、示范动作或未来状态。

准备 submission.json:

{
  "model": "MyModel-v1",
  "training_track": "fixed-480-demo",
  "training_data": "仅规定的每任务80条train轨迹;通用视觉/VLM预训练需另行说明",
  "deployment": {"execute_steps": 16, "sampler": "填实际算法", "sampling_steps": 4, "cfg": "填实际值或不适用"},
  "checkpoint_identity": "模型仓库revision和权重SHA256"
}

使用外部机器人训练数据请选 external-data。两组分别比较,必须披露训练数据与预训练来源。

PYTHONPATH="$PWD" MUJOCO_GL=egl PYOPENGL_PLATFORM=egl \
python ./gr1-six-task-mini/tools/evaluate.py \
  --benchmark ./gr1-six-task-mini \
  --adapter my_adapter:create_policy \
  --submission ./submission.json \
  --output ./my-model-results

串行跑完120场景;会产生 episodes.json、submission.json 和每任务固定场景的6个视频。此工具没有调度器时间上限,请自行设置作业预算。不要只挑成功视频,不能漏掉失败回合。执行配置不同需另设版本/对照,不得混入v1排名。

3. 校验并提交 PR

python ./gr1-six-task-mini/tools/benchmark.py validate \
  --benchmark ./gr1-six-task-mini --folder ./my-model-results

hf auth login
python ./gr1-six-task-mini/tools/benchmark.py submit \
  --benchmark ./gr1-six-task-mini --folder ./my-model-results \
  --id yourname-mymodel-v1

上传工具需要 huggingface_hub。提交 ID 必须唯一。工具只上传结果文件和6个视频,不上传你的整个训练目录或权重。终端返回 PR 链接;维护者检查数据声明、协议、视频后合并。初版合并后由维护者显式重建榜单,并非无人值守自动审核。

维护者

下载并校验新结果,合并 PR 后,将已接受的 results/<id> 同步到本地 benchmark/dataset/results/,运行 benchmark.py publish 重建并上传 Dataset/Space。上传只应由维护者操作;保留固定v1协议,协议变更须升版本。没有完成的实验保持待评测,不填写虚构成绩。

分析结果与估算预算

参考基准、latent action诊断与计算预算。统计工具不会改变正式成功率:

python ./gr1-six-task-mini/tools/analyze_results.py \
  --a ./model-a-results/episodes.json \
  --b ./model-b-results/episodes.json \
  --out ./comparison.json

两个模型必须使用同一120场景;省略--b时只输出单模型逐任务Wilson区间和任务类别均值。成对bootstrap区间只反映场景层面,不是多个训练种子的方差。

可选:Latent action诊断

已支持固定480窗口上的动作重建、码本利用率和预测latent解码差距。请阅读 完整诊断指南。结果包可附加diagnostic-predictions.npz、diagnostic-metadata.json、latent_metrics.json,验证器会重新计算指标。缺失的指标显示“未提供”,不伪造为0;评测工具需要NumPy。

新增:人类视频迁移组

使用robot-human-transfer提交组,固定480条EgoDex子集,声明video-only或video+hand-pose,并关联已被接受的robot-only baseline。详细规则见 人类视频迁移指南。原始人类视频不在下载包中,需按上游许可单独获取;现有训练任务没有被改成混合训练。

人类迁移组不要求必须混合训练:允许“人类预训练→机器人适配”的分阶段方案,也允许混合采样。请披露训练顺序与逐阶段成本,人类阶段不能从预算中省略;详见迁移指南中的“不要求必须混合训练”。