大规模人类视觉与触觉数据能提升视觉-触觉机器人学习吗?

TouchScale 用 500 小时统一采集的人类视觉-触觉数据,提升了未见传感器的接触 IoU 与机器人成功率。

直接答案

在论文测试的范围内,答案是肯定的。用完整的 500 小时 TouchScale 数据训练,把模型在未见触觉传感器上的零样本接触 IoU 从 0.134 提升到 0.383;把它用于视觉-触觉中训练,则让四个富接触操作任务的平均真实世界成功率从 22.5% 提升到 57.5%。这些增益来自用同一套传感器和采集流程录下的人类数据,而机器人证据只覆盖一个平台和四个任务。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

500 小时数据里究竟有什么

TouchScale 记录了 500 小时的富接触人类交互,全部由同一套可穿戴设备采集,而不是把不同传感器的记录拼在一起。每段记录都把头部视角的自我中心 RGB-D 视频、双手腕部 RGB 视频,以及手套采集的密集全手双手触觉测量在时间上对齐。数据集包含约 87K 个片段、约 2K 条预定义任务描述、超过 1.5K 个物体、9 类高层采集场景和 800 多种不同场景配置,约有 20 名参与者贡献数据。

这些传感细节决定了后面每个数字该怎么读。手套每只手报告 880 个触觉单元(taxel),论文称这是所比较数据集中最密集的手套式触觉感知;所有记录共用同一代硬件和同步流程。正因为传感器和采集流程保持不变,论文才能只改变训练数据量,并把变化归因于规模,而不是归因于换了设备。

规模与一致性为何必须同时具备

论文把缺口说得很具体:自我中心视频数据集如今已达数百到数千小时,但它们只记录手怎么动,没有记录接触和压力。已有的视觉-触觉数据集补上了这一信号,但多数只包含不到 30 小时的交互记录,而规模最大的资源又混合了不同传感器或标注流程的录制。把这类来源合并会带来第二个问题:传感硬件和采集流程的差异会干扰跨数据集比较。

TouchScale 的设计正是为了消除这一干扰。同一套可穿戴设备可以反复部署到不同参与者和环境中,且不需要人工动作标注,作者据此认为这种采集范式可以继续扩大规模。正是这一设计选择让规模问题变得可回答,也解释了为什么论文的比较都建立在固定流程之上。

接触预测可迁移到未见传感器

第一项测试问的是:用 TouchScale 训练后,模型能否在训练时未见的触觉传感器上做零样本视觉到触觉预测。接触 IoU(cIoU)衡量预测的接触区域与真实接触区域的重合程度,数值越高说明模型越准确地定位接触发生的位置。与先前的触觉数据相比,用完整 TouchScale 训练把模型在未见触觉传感器数据上的零样本 cIoU 从 0.134 提升到 0.383。

一项时长匹配的对比用来判断增益是否只来自数据量。在相同预测架构下,用 TouchScale 的 16 小时子集训练的模型在 EgoTactile 上达到 0.181 cIoU,而用 EgoTouch 的 16 小时训练集训练的模型为 0.134。在相同小时数下,TouchScale 数据已经能更好地预测接触,完整数据集则进一步扩大了这一领先。规模检验保持传感器和流程固定:从 TouchScale 的十分之一增加到完整数据集,EgoTactile 上的零样本 cIoU 从 0.311 升到 0.383。

触觉监督也塑造视觉表征

第二项测试问的是:TouchScale 上的触觉监督能否学到可迁移到触觉预测之外的视觉表征。用 TouchScale 预训练视觉编码器后,在三个基准上,无论采用线性探测还是端到端微调,其动作识别准确率都在所比较的视觉-触觉数据集中最高。这与接触预测是两个不同的问题:这里衡量的是动作基准上的识别准确率,而不是预测接触区域的重合程度。

这一结果表明,由触觉监督塑造的视觉特征不仅包含手在哪里接触的信息,也包含有助于识别手在做什么的信息。由于比较对象是其他视觉-触觉数据集,且两种评测协议相同,这一优势被归因于预训练数据,而不是不同的下游设置。

无动作标签的中训练提升机器人成功率

第三项测试从感知走向控制。TouchScale 只用于 N0-VTLA 策略的视觉-触觉中训练,既没有把人类手部动作重定向到机器人,也没有使用人类动作标签。在这一阶段,视觉-语言-动作主干被冻结,只更新触觉投影层、触觉预测器和辅助触觉重建头,约 123.8M 参数被更新,其余 3.71B 参数保持冻结。预测器被训练用来表示未来 50 帧内预期的触觉变化。

中训练之后,检查点在机器人演示数据上做后训练。基线从同一个已发布检查点出发,但跳过 TouchScale 中训练;两个版本都使用每个任务相同的 50 条演示,以及相同的优化和数据处理流程,因此唯一差别是触觉预测器是否先接受了无动作的人类视觉-触觉中训练。在这一受控比较下,四个富接触操作任务的平均真实世界成功率从 22.5% 升到 57.5%。

固定流程下数据越多持续有效

第四项测试问的是:当传感器和采集流程固定时,增益是否随数据规模增长。把中训练数据从五分之一增加到完整数据集,机器人成功率从 30.0% 升到 57.5%;在对应范围内,零样本 cIoU 从 0.311 升到 0.383。论文把两者都描述为总体上升趋势,而不是平滑的单调规律,证据覆盖的也只是所测试的范围。

这两条曲线回答的是不同问题,不应合并:一条追踪未见传感器上的接触区域重合度,另一条追踪实体机器人上的任务成功率。它们的共同点是使结果可解释的实验条件,即只改变了 TouchScale 训练数据的数量。作者据此认为,自我中心视频中报告的规模收益同样适用于视觉-触觉学习。

机器人证据的边界在哪里

机器人结果受其评测设置限制。论文指出,当前机器人评测只覆盖一个平台和四个操作任务,且 TouchScale 不含动作标签。跨机器人形态和更多富接触任务的更广泛评测留待未来工作,因此 22.5% 到 57.5% 这一数字应理解为针对该策略、这四个任务和这一演示预算的证据,而不是普遍的机器人学习结论。

机制也尚未完全厘清。作者只报告未来触觉预测误差与动作预测误差之间存在弱关联,并把未来触觉预测在机器人控制中的作用列为开放问题。因此,中训练目标最好被视为一个经验上有效的配方,其通向控制的因果路径尚未确定。

决定数据选择的关键比较

对于正在权衡视觉-触觉数据来源的读者,最有决策价值的证据是固定流程下的比较,而不是最醒目的跃升。在匹配的 16 小时下,TouchScale 数据达到 0.181 cIoU,而先前数据集为 0.134,这说明优势不只来自数据量。规模曲线进一步表明,在测试范围内,增加更多由同一套流程一致感知的数据,会持续改善接触预测和机器人成功率。

因此论文确立的优先级是先一致性、后规模:一套保持感知和同步固定的统一可穿戴流程,才让额外的小时数真正发挥作用;已展示的回报从未见传感器上的零样本接触预测,延伸到动作识别和真实世界操作。尚未回答的问题是,这一回报能超出单个机器人平台和四个任务多远,以及未来触觉预测究竟如何进入控制。

本文引用的文献

1

TouchScale: 500 Hours of Human Vision and Touch for Visual-Tactile Learning

一个 500 小时的统一人类视觉-触觉数据集,把未见传感器上的零样本接触 IoU 从 0.134 提升到 0.383;作为无动作中训练使用时,又把四个富接触操作任务的平均真实世界成功率从 22.5% 提升到 57.5%。