← 返回榜单

Latent action 诊断:已实现的三组指标

诊断版本 latent-diagnostics-v1,与闭环v1的120个场景分离。使用每任务20条验证轨迹、每条4个均匀取样窗口,共480个窗口,每窗口16步×29关节。已随下载包发布当前图像、当前状态、语言、供reference encoder使用的未来图像,以及固定目标动作。数据来源和许可与主数据集一致。

这些是验证集诊断,不能作为隐藏测试或最终泛化证明。反复按这些指标选方案后,最终仍需独立闭环评测。

指标

1. 真实编码latent的动作重建误差

同一窗口的参考信息经tokenizer编码,再经decoder还原动作。报告原始关节目标空间的MSE、RMSE、绝对误差P95、chunk末步RMSE、逐关节RMSE和五组关节分项。

必须使用反归一化后的29维动作,不能直接提交128维padding或归一化动作。参考编码器可采用动作、未来图像或两者,但必须声明;不同编码输入和decoder条件的分数不可不加区分地排名。榜单显示整体RMSE,详细指标保存在结果JSON。

2. 离散码本利用情况

每层报告使用的code数、覆盖率、经验熵、perplexity、直方图、验证集未使用比例,以及固定长度下的名义bit/chunk。连续latent的这一栏显示“不适用”。

验证集未使用的code不是已证实的训练死码;当前不推断训练reset次数或EMA状态。覆盖率和熵不是越高越好,应结合重建和执行表现理解。

3. 预测latent的解码误差与差距

预测器只接收当前图像、状态和语言。预测latent与参考编码latent通过同一decoder、使用同样的当前条件,分别计算对目标动作的误差。

报告预测latent解码RMSE,以及 ΔMSE / ΔRMSE = 预测latent误差 − 参考latent误差。差值可以为负,不会被截成0。它衡量这一诊断路径中的预测损失,不是模型闭环成功率下降的因果证明。

只有方法真的预测可送入同一decoder的latent时,才能填写这项。当前UniT通过flow动作头部署、latent用于辅助监督;不能拿flow动作直接假称为“预测latent解码动作”。如果不导出对应bridge latent,填写 not_provided 并说明;方法没有这种预测路径时用 not_applicable。

接口

模型作者实现 create_adapter(),返回具有以下方法的对象。runner不提供任何模拟器训练,也不会自动适配所有模型。

class Adapter:
    def eval(self):
        # 设置全部模型为eval;关闭dropout、训练增强、码本EMA/reset更新。
        pass

    def reset(self):
        # 清空窗口之间的历史/缓存,不改变权重或码本。
        pass

    def predict_latent(self, observation):
        # observation只有image、state、language,不含未来图像或目标动作。
        raise NotImplementedError

    def encode_reference(self, observation, actions=None, future_image=None):
        # 根据metadata选择允许的参考输入。
        # 返回 latent, code_indices;离散indices为[query_count, num_layers]整数。
        # 连续latent返回 latent, None。
        raise NotImplementedError

    def decode(self, latent, observation):
        # 返回float数组[16,29],按GR1顺序反归一化。
        # 不能接收未来图像或目标动作。参考/预测latent必须共用此方法。
        raise NotImplementedError

同一窗口先计算预测路径,再reset后计算reference路径,避免reference计算意外污染预测缓存。runner在PyTorch inference_mode下执行接口,并在两条decoder调用前设置相同的按窗口固定随机种子;适配器若有自己的生成器也须固定。随机decoder应使用固定且对应一致的采样设置;声明sampler/采样步数,不得给两条路径不同的额外条件。适配器可以使用PyTorch,但导出的数组需转成CPU NumPy。

元数据示例

复制成 diagnostic-metadata.json,替换模型和权重标识,与闭环 submission.json 的对应字段完全一致。以下只是schema示例,不是实验结果。

{
  "model": "YourModel-v1",
  "checkpoint_identity": "实际模型权重SHA256或固定revision",
  "latent_type": "discrete",
  "execution_path": "latent_decoder",
  "encoder_inputs": "actions",
  "decoder_conditioning": "current RGB and current state; deterministic decoder",
  "prediction_status": "measured",
  "codebook_sizes": [128, 128]
}

execution_path允许latent_decoder、auxiliary_latent_flow、other。encoder_inputs允许actions、future_video、actions_and_future_video。连续latent使用latent_type: continuous并省略codebook_sizes。预测缺失必须提供prediction_reason,不能用全零数组伪装。

运行

准备NumPy及模型自己的依赖,在自己的模型环境中执行:

PYTHONPATH="$PWD" python ./gr1-six-task-mini/tools/run_latent_diagnostics.py \
  --benchmark ./gr1-six-task-mini \
  --adapter my_latent_adapter:create_adapter \
  --metadata ./diagnostic-metadata.json \
  --output ./my-model-diagnostics

输出 diagnostic-predictions.npz、diagnostic-metadata.json、latent_metrics.json。将这三个文件放入已完成闭环评测的结果目录,再按原提交指南创建PR。上传工具已允许这三个文件。验证器会用固定目标重新算指标,不信任提交者填写的标量。

也可以使用已有导出:NPZ必须含按固定windows清单排序的window_ids、oracle_actions [480,16,29];预测路径存在时增加predicted_actions;离散latent增加code_indices [480,Q,L],然后执行:

python ./gr1-six-task-mini/tools/latent_metrics.py \
  --benchmark ./gr1-six-task-mini \
  --predictions ./diagnostic-predictions.npz \
  --metadata ./diagnostic-metadata.json \
  --output ./latent_metrics.json

展示与验证边界

榜单已增加重建RMSE、各层码本覆盖率、预测ΔRMSE列。没有诊断包的模型显示“未提供”,不影响已有闭环成功率;连续latent码本显示“不适用”。诊断不改变v1闭环协议、不生成新的综合分。

模型结果仍是作者自报。统一runner和校验不能证明恶意提交者没有偷看目标,也不能替代独立复跑。工具已做数值单元测试和接口检查,当前训练尚未生成真实latent诊断成绩;本次没有额外启动大模型GPU评测。

当前数据范围:仅人类遥操作采集的GR1机器人示范;不包含EgoDex等人类第一视角手部操作视频。当前成绩不能用于宣称人类视频到机器人的迁移收益。