OPEN ROBOTICS BENCHMARK · v1 PILOT

让每一次比较,
落在相同场景。

六个桌面操作任务,120 个固定场景。
用闭环成功率与真实执行视频,观察机器人策略的进步。

GR1 / MANIPULATION LABSCHEMATICFIXED SCENES. OBSERVABLE PROGRESS. / 示意图
06桌面操作任务 / Tasks
120固定评测场景 / Episodes
480小样本训练示范 / Demos
720每回合控制步上限 / Steps
01 / LEADERBOARD

模型表现

相同协议 · 按训练数据分组 · 六任务平均成功率

2 COMPLETED SUBMISSIONS
MODEL / 模型TRAINING / 数据SUCCESS / 成功率EPISODES重建 RMSE ↓码本覆盖率 · 各层预测 ΔRMSE ↓VERIFICATION
UniT Native · 4000 steps · 续训 baseline固定480条5.8%120 / 120未提供未提供未提供作者自报
UniT Native · 2000 steps · 初步 baseline固定480条4.2%120 / 120未提供未提供未提供作者自报

Latent 指标在固定480个验证窗口上计算;未提供不是0,连续latent码本统计不适用。不同decoder与编码条件不能只按重建误差排名。查看诊断协议 ↗
完整回合才计入榜单;异常或未完成结果不参与排名。作者自报 ≠ 独立复现。此为小样本诊断评测,不是 UniT 官方全基准。

02 / TASK SUITE

从抓取放置,到多阶段操作

每个任务 20 个固定场景 · 全部模型使用相同初始状态

TASK / 0120 SCENES

餐垫 → 碗

定位与抓取,将物体准确放入碗中。

PICK & PLACE
TASK / 0220 SCENES

盘子 → 盘子

在两个容器间完成稳定的物体转移。

PICK & PLACE
TASK / 0320 SCENES

砧板 → 篮子

抓取物体,移动并释放到篮子中。

PICK & PLACE
TASK / 0420 SCENES

托盘 → 分层架

调整放置高度,完成架上摆放。

PICK & PLACE
TASK / 0520 SCENES

罐子 → 抽屉

放入物体后关闭抽屉,完成连续操作。

MULTI-STAGE MANIPULATION
TASK / 0620 SCENES

牛奶 → 微波炉

放入牛奶后关门,验证多阶段执行。

MULTI-STAGE MANIPULATION
03 / ROLLOUT GALLERY

看见模型的真实表现

固定选择场景,成功与失败都展示

UniT Native · 4000 steps · 续训 baseline

fixed-480-demo · 自报成绩 · 平均成功率 5.8%

各任务:5% / 5% / 10% / 0% / 10% / 5%

任务 1 · 固定场景
任务 2 · 固定场景
任务 3 · 固定场景
任务 4 · 固定场景
任务 5 · 固定场景
任务 6 · 固定场景

UniT Native · 2000 steps · 初步 baseline

fixed-480-demo · 自报成绩 · 平均成功率 4.2%

各任务:0% / 5% / 10% / 0% / 5% / 5%

任务 1 · 固定场景
任务 2 · 固定场景
任务 3 · 固定场景
任务 4 · 固定场景
任务 5 · 固定场景
任务 6 · 固定场景
CONTRIBUTE / 提交结果

让你的模型加入比较。

在自己的 GPU 上运行模型,用自己的 Hugging Face 账号提交结果。无需申请榜单写权限。

阅读提交指南 ↓
01下载评测,接入模型统一观测与 GR1 动作接口,使用固定场景与种子。
02本地完成 120 回合保存逐回合结果、模型配置和六个固定场景视频。
03提交 PR,审核后上榜校验协议与数据声明,维护者合并并更新榜单。
METHODS & COMPUTE

怎样公平比较 latent action?

参考 LIBERO、CALVIN、SIMPLER 与 VQ-BeT,区分最终策略表现、表征诊断与鲁棒性。已增加重建误差、码本利用率和预测latent解码差距;了解不同执行路径的比较边界。

评测设计与计算预算 ↗

八卡 A800 正式对照:每方案最多 192 GPU 小时。当前 tokenizer 实测约 5.7 秒/更新;固定预算不等于已经收敛。

HUMAN → ROBOT / TRANSFER TRACK

加入人类视频,究竟带来多少收益?

R:480条机器人示范。H:相同机器人示范+固定480条EgoDex人类片段(约0.5小时)。保持120个机器人评测场景一致,展示相对R的成功率变化和实际计算成本。

视频-only与视频+手部姿态分开标注;相同GPU预算和相同机器人曝光量分开比较。 不要求混合训练,也支持“人类预训练 → 机器人适配”;请披露阶段设置并计入人类预训练成本。当前没有已完成的迁移结果,新训练尚未启动。

人类视频需从EgoDex单独获取,不在机器人评测ZIP里。 下载我们的480条清单,再从上游Part 2 / basic_pick_place匹配原始视频。

04 / SUBMISSION GUIDE

提交指南 · 从接入到上榜

独立页面 ↗

如何提交自己的模型

榜单网页只展示结果,不托管模型推理。你在自己的 GPU 上测评,提交结果 PR,维护者审核后合并。无需榜单维护者的 token,也无需仓库写权限;登录你自己的 Hugging Face 账号即可。成绩默认标为“作者自报”,格式检查不能证明模型没有作弊或训练数据没有泄漏。

1. 下载固定评测

直接点击 下载 ZIP,无需登录。解压后得到 gr1-six-task-mini/,包含120个初始场景、协议、划分和评测工具。此包不含训练轨迹、模拟器资产及模型权重,需按下文另外准备环境。

也可以用命令行(若启用了离线模式,先取消):

unset HF_HUB_OFFLINE TRANSFORMERS_OFFLINE
hf download JIAlonglong/gr1-six-task-mini --repo-type dataset --local-dir ./gr1-six-task-mini

安装 GR1 RoboCasa/robosuite 模拟器、MuJoCo/EGL 和所需资产。参考 UniT 固定版本 800c0a428d431964dad4e7adc9c667d639432249:https://github.com/xpeng-robotics/UniT 。各依赖和资产保留原许可。评测工具是 pilot,目前尚未完成跨机器 GPU 闭环验证。

2. 接入模型

编写 my_adapter.py,提供 create_policy(),返回具有以下方法的对象:

class MyPolicy:
    def reset(self):
        # 每回合清空模型历史、缓存
        pass

    def predict(self, observation):
        # 输入只有当前 video/state/language/annotation 模态。
        # 自行完成模型图像预处理、状态变换和动作反归一化。
        # 返回长度16的列表,每项是下面五组29维真实关节目标。
        # action.right_arm: (7,), action.right_hand: (6,)
        # action.left_arm: (7,), action.left_hand: (6,), action.waist: (3,)
        raise NotImplementedError

上面是接口说明,不是可直接运行的模型。不同模型的加载器、输入和动作转换必须由提交者实现;不是所有模型都能直接输出 GR1 动作。图像键为 video.ego_view_bg_crop_pad_res256_freq20。不得读取未来图像、示范动作或未来状态。

准备 submission.json:

{
  "model": "MyModel-v1",
  "training_track": "fixed-480-demo",
  "training_data": "仅规定的每任务80条train轨迹;通用视觉/VLM预训练需另行说明",
  "deployment": {"execute_steps": 16, "sampler": "填实际算法", "sampling_steps": 4, "cfg": "填实际值或不适用"},
  "checkpoint_identity": "模型仓库revision和权重SHA256"
}

使用外部机器人训练数据请选 external-data。两组分别比较,必须披露训练数据与预训练来源。

PYTHONPATH="$PWD" MUJOCO_GL=egl PYOPENGL_PLATFORM=egl \
python ./gr1-six-task-mini/tools/evaluate.py \
  --benchmark ./gr1-six-task-mini \
  --adapter my_adapter:create_policy \
  --submission ./submission.json \
  --output ./my-model-results

串行跑完120场景;会产生 episodes.json、submission.json 和每任务固定场景的6个视频。此工具没有调度器时间上限,请自行设置作业预算。不要只挑成功视频,不能漏掉失败回合。执行配置不同需另设版本/对照,不得混入v1排名。

3. 校验并提交 PR

python ./gr1-six-task-mini/tools/benchmark.py validate \
  --benchmark ./gr1-six-task-mini --folder ./my-model-results

hf auth login
python ./gr1-six-task-mini/tools/benchmark.py submit \
  --benchmark ./gr1-six-task-mini --folder ./my-model-results \
  --id yourname-mymodel-v1

上传工具需要 huggingface_hub。提交 ID 必须唯一。工具只上传结果文件和6个视频,不上传你的整个训练目录或权重。终端返回 PR 链接;维护者检查数据声明、协议、视频后合并。初版合并后由维护者显式重建榜单,并非无人值守自动审核。

维护者

下载并校验新结果,合并 PR 后,将已接受的 results/<id> 同步到本地 benchmark/dataset/results/,运行 benchmark.py publish 重建并上传 Dataset/Space。上传只应由维护者操作;保留固定v1协议,协议变更须升版本。没有完成的实验保持待评测,不填写虚构成绩。

分析结果与估算预算

参考基准、latent action诊断与计算预算。统计工具不会改变正式成功率:

python ./gr1-six-task-mini/tools/analyze_results.py \
  --a ./model-a-results/episodes.json \
  --b ./model-b-results/episodes.json \
  --out ./comparison.json

两个模型必须使用同一120场景;省略--b时只输出单模型逐任务Wilson区间和任务类别均值。成对bootstrap区间只反映场景层面,不是多个训练种子的方差。

可选:Latent action诊断

已支持固定480窗口上的动作重建、码本利用率和预测latent解码差距。请阅读 完整诊断指南。结果包可附加diagnostic-predictions.npz、diagnostic-metadata.json、latent_metrics.json,验证器会重新计算指标。缺失的指标显示“未提供”,不伪造为0;评测工具需要NumPy。

新增:人类视频迁移组

使用robot-human-transfer提交组,固定480条EgoDex子集,声明video-only或video+hand-pose,并关联已被接受的robot-only baseline。详细规则见 人类视频迁移指南。原始人类视频不在下载包中,需按上游许可单独获取;现有训练任务没有被改成混合训练。

人类迁移组不要求必须混合训练:允许“人类预训练→机器人适配”的分阶段方案,也允许混合采样。请披露训练顺序与逐阶段成本,人类阶段不能从预算中省略;详见迁移指南中的“不要求必须混合训练”。