← 返回榜单

小型 Latent Action Benchmark:参考、指标与预算

更新:2026-10-29。以下是当前v1的扩展设计与预算建议,不是已经完成的实验结果,也没有修改正在运行的训练任务。v1的场景、成功判定与协议校验值保持不变。

1. 借鉴什么

LIBERO:把泛化维度拆开

官方仓库将空间、物体、目标等知识迁移分开研究。我们借鉴分项报告:前四个任务报告抓取放置平均成功率,后两个报告多阶段容器操作平均成功率,同时保留六任务宏平均。

目前只验证了训练/验证/测试轨迹和评测初始场景的episode ID互斥,**不能据此声称物体、布局或目标分布都未见过**。真正的物体/布局留出需要审计metadata后另发新版本;暂不增加新的模拟器。

CALVIN:关注连续操作,而非只看终点

官方评测研究连续语言任务和长程控制。我们借鉴阶段诊断:对抽屉和微波炉任务增加“物体到位”“关门”“完整成功”等可验证事件。不是把这两个任务称为CALVIN,也不直接复制其任务链分数。

这些子目标必须由实际物体位姿、接触或关节状态定义,核对环境成功判定并用正负视频验证后才启用;不能从最终success反推中间阶段。目前未实现这一扩展。

SIMPLER:基础场景与分布变化分开测

官方项目及代码分别考虑视觉匹配、环境变体和策略在分布变化下的表现。我们借鉴固定成对扰动:先选择每任务10个场景,对同一初始状态分别应用一个固定光照/纹理变体与一个小幅相机变体,共额外120回合。报告相对相应基础场景的成功率下降,不把新的120回合混进v1总分。

这是待实现的robustness扩展。参数必须提前冻结;核对没有裁掉目标、改变可达性或破坏物理状态,并由参考策略/示范回放检查可解性。这里没有做真实机器人对照,不能声称我们的仿真分数已经预测真机表现。

VQ-BeT:动作表征既要可执行,也要高效

VQ-BeT项目采用分层向量量化动作表征,并比较行为生成表现与推理效率。它是方法参考,不是我们直接照搬的独立benchmark。

我们借鉴成功率与延迟同时报告,并显式区分“预测latent再解码控制”与“latent作辅助监督、连续动作头执行”。目前UniT属于后者;两条执行路径不应被解释成同一种decoder测试。

2. 榜单结构

- **完整策略榜(现有)**:固定120回合,按fixed-480-demo / external-data分组。比较最终成功率和固定视频,不归因于latent本身。 - **控制变量的latent对照(拟增加)**:固定通用预训练backbone、训练数据、控制频率、动作语义、采样种子和预算。记录可训练参数量、latent容量与decoder差异。先用同一实现中的baseline与一个变体对照,不把不同backbone的公开结果硬排成表征优劣。 - **压缩能力对照(拟增加)**:tokenizer/decoder自己的重建、码本、时间和压缩率指标。连续latent不使用码本占用率;可变长token序列不比较裸token数量。 - **可选鲁棒性榜(待实现)**:固定的新变体协议,单列结果。

保持单训练种子,遵循当前实验要求。置信区间只描述场景采样层面的不确定性,不代表跨训练种子稳定性。

3. 最小必要指标

闭环:六任务宏平均、逐任务成功数/20、四个抓取放置任务均值、两个多阶段任务均值、错误/未完成计数、首次成功步数(需要新增事件记录)。20回合的任务分数每次变化5个百分点;120回合等权总分每成功一个变化约0.83个百分点,小差距不能仅凭名次判优。

统计:逐任务Wilson 95%区间;对两个模型在相同场景上的成功差值做按任务分层的成对bootstrap;同时报告A赢/B赢/同成同败的场景数。区间跨0时不据此宣称A更好。工具已加入 tools/analyze_results.py,不改变v1正式得分。

效率:推理p50/p95延迟、每个16步action chunk延迟、峰值显存、GPU型号/数量、总分配GPU小时、模型参数量。同步CUDA或用CUDA events计时,区分预处理、模型、仿真与视频编码;当前只保存的平均策略墙钟时间不足以填p95。20Hz且一次执行16步对应0.8秒控制时间窗,但小于0.8秒的推理时间并不自动证明真机实时性。

重建:在固定验证轨迹窗口上报告逐关节RMSE、P95绝对误差、chunk末端误差;不同单位关节先分组报告,归一化MSE作为补充。若末端位姿误差使用正向运动学,必须固定机器人模型和坐标系。

离散latent:每层码本覆盖率、分布熵、dead-code比例、reset次数和编码速率。8 query × 2层 × log2(128) = 112 bit/chunk是固定长度表示的名义码长,不是实测熵或通用压缩性能,也不包括条件输入/模型开销。码本用得越满不一定越好。

预测:在同一tokenizer下比较latent预测CE/准确率,并做预测latent与oracle latent的离线解码误差差值。不同码本的token编号和准确率不可直接横比。oracle使用示范未来信息,只能放在诊断表,不能参与可部署策略排名。若UniT实际经flow头执行,必须把flow-head诊断单列,不能用tokenizer decoder误差解释全部执行失败。

4. 如何定位“MSE更好,执行更差”

1. 固定同一验证窗口和动作反归一化,先排除动作顺序、单位、时间对齐和统计量错误。 2. 比较oracle编码重建与策略预测后的误差:前者变好、后者变差,优先检查latent预测难度和条件分布。 3. 两者都变好、闭环变差:检查chunk末端/尾部误差、接触敏感关节、训练与部署采样设置、累计误差和离开示范分布后的行为。 4. 对auxiliary-latent方案,检查实际执行的连续动作头,而不是假设一定经过tokenizer decoder。 5. 只做一项变更,保留完全相同的120场景和部署设置;共享旧checkpoint只适用于明确标注的迁移对照,不与从零机器人任务训练混排。

5. 推荐预算:上限,不是收敛承诺

计费口径:分配GPU数 × 作业墙钟小时。数据准备、模型加载、保存、上传、渲染和等待只要仍占用GPU配额就计入;不同卡型分别记录,不能把A800 GPU小时按1:1当作H100算力。

开发筛选档:每方案最多64 A800-80GB GPU小时(拟议)

8卡 × 8小时:准备/检查1小时、tokenizer2小时、策略4小时、闭环诊断1小时。可提前以固定开发场景筛掉明显无效方案。必须使用与正式120场景分离且未参与梯度训练的开发场景;开发场景清单尚未构建。该档不是充分训练对照,不用于证明大型原生UniT已收敛,也不能把只跑部分场景的成绩放上完整榜。

正式对照档:每方案最多192 A800-80GB GPU小时(当前)

8卡 × 24小时:准备1小时、tokenizer7小时、VLA12小时、完整闭环评测4小时。单种子;每方案同预算。若之前做一次最长2小时的八卡smoke,总额度为208 GPU小时。反复失败和重启需另计,不能宣称整项研究总成本仍为208。

当前实测:2026-10-29读取的tokenizer日志到463更新,43分48秒,稳态约5.7秒/更新。5000更新仅训练预计约7.9小时(63.3 GPU小时),尚不包含额外保存/上传。7小时阶段上限扣10分钟保存预留后,理论至多约4315更新,实际更少。VLA吞吐、闭环渲染吞吐和大包上传耗时尚未实测,因此不能承诺2000 VLA步或120回合一定在上限内完成。

诊断与鲁棒性扩展:分开预留,暂不自动执行

离线诊断建议先给1张80GB卡 × 2小时的试运行额度;模型不适配单卡则先重新估算。新120回合扰动测试最多再预留32 GPU小时,属于额外预算,不能藏在现有192/208里。当前先不追加,等v1真正闭环跑通再决定。

小规模方案比较的总额

若预算是整个研究总共208 GPU小时,应先完成现有一个原生baseline,利用剩余额度做离线诊断,不能承诺再充分训练多个方法。若预算是每方案208 GPU小时,可先比较baseline和一个变体,总上限416(含每个各一次smoke)。多个小筛选和正式重训都应累加进研究总预算。

可复用冻结的通用视觉特征、数据索引和同一未经修改的公共模块来节省开发成本,但最终对照应披露复用部分及其训练成本;改tokenizer的方案不能偷偷复用baseline的已训练tokenizer权重。

6. 评测用多少卡

当前原生入口绑定8卡。一般评测无需DDP梯度同步,可将不同episode分到1/2/4/8卡:卡数增加主要减少墙钟等待,不保证降低GPU小时。发布的通用runner当前为单进程。不要在未实现分片和合并检查前把它启动8份,以免重复测评或覆盖文件。

先用6个开发回合测量模型加载时间、仿真步耗时、推理chunk耗时和编码时间,再外推120回合。720步、执行16步时每回合最多45次预测;全部120回合最多86400次仿真step、5400次预测。粗略GPU小时为120×(720×单步仿真耗时+45×预测耗时)/3600,加上加载、编码和并行不均衡开销。GPU型号和模型不同必须重新测量,不能用没有实测依据的“单卡半小时”承诺。

7. 当前落地范围

已提供:固定协议/场景、公开下载、统一模型接口、结果PR流程、视频入口;新增统计分析工具、参考依据和预算说明。

待验证:原生模型完整闭环、通用adapter跨机器执行、大checkpoint上传耗时。

新增已实现:固定480个验证窗口、通用latent诊断runner、重建/码本/预测解码差距计算、提交时重算和榜单列;真实模型需要自己的适配器并实际运行。详见 Latent诊断指南。

待实现:新开发场景集、扰动场景、子目标事件、具体模型的诊断适配器、严格latency测量、更多模型适配器。它们不会被标记成已经支持的v1成绩。

当前数据范围:仅人类遥操作采集的GR1机器人示范;不包含EgoDex等人类第一视角手部操作视频。当前成绩不能用于宣称人类视频到机器人的迁移收益。