为什么边缘情况会破坏视觉-触觉系统？
边缘情况——不寻常的物体形状、极端形变或未见过的力——迫使系统依赖真正的理解，而非记忆中的模式。在2024年的一项研究中，一款配备1，152个力传感通道的可拉伸触觉手套在力测量上达到了97.6%的准确率，但在重建24个物体（包括可变形物体）的完整手-物状态时，平均误差为1.8厘米[1]。这一优秀感知与不完美重建之间的差距表明，即使拥有高质量的触觉数据，系统在预测物体在非典型场景下如何形变时仍存在困难。
另一项2026年关于可变形物体追踪的视觉-触觉模仿学习研究发现，成功率从已见过物体的80%下降到未见过的物体的65%[2]。这15个百分点的下降直接衡量了边缘情况——即不熟悉的物体或配置——如何挑战系统的泛化能力。作者明确指出，现有方法要么缺乏跨物体类别的泛化能力，要么在真实世界场景中表现不佳，而这正是边缘情况所考验的。
边缘案例能让我们对这项技术有何认识？
边界情况能揭示系统是否真正学到了形变背后的物理原理，而不仅仅是表面特征。2025年一篇关于Shape-Space Deformer的论文指出，现有方法难以泛化到未见过的力或适应新物体，并提出了一种统一表示，以提升对异常值和伪影的鲁棒性[3]。这表明，边界情况——例如意外施加的力——正是模型失效之处，因为它们尚未捕捉到支配形变的力学特性。
另一项2025年的研究采用了不同的方法：它通过物理探索物体来估算局部柔顺度（不同区域的软硬程度），并将此信息以颜色形式编码到点云中[4]。该方法在六个真实物体上进行了测试，并用于分类和路径跟踪等任务。他们不得不显式添加力学属性信息这一事实，恰恰凸显了标准视觉数据本身的不足——边缘情况需要的是对材料属性的了解，而不仅仅是形状。
这对现实世界中的操控意味着什么？
对于现实世界中的任务，边缘情况恰恰是精度最为关键的所在。2024年的一项研究利用视觉-触觉关键点对应关系，在齿轮插入等任务中实现了毫米级精度，其误差范围显著低于仅依赖视觉的方法[5]。这表明，当系统与任务高度匹配时，它能够胜任精细操作——但挑战在于确保这种鲁棒性能够延伸到意外情境中，而这正是边缘情况所考验的。
关键在于，边缘情况不仅仅是麻烦事，它们恰恰是检验视觉触觉系统能否从实验室演示走向实际应用的试金石。纵观这些研究——从力测量到模仿学习——一个一致的模式是：当物体或力不熟悉时，系统性能就会下降。因此，在评估此类系统时，用边缘情况进行测试至关重要，这样才能判断它们是否真正理解可变形物体，还是仅仅能处理简单情况。
关于这些资料来源
本回答基于5项同行评审研究——发表于2024年至2026年，其中5项为2024年或之后发表，1项发表于Q1期刊——这些研究是从5项通过质量筛选的研究中选出的最具相关性的成果，而这些研究又源自从超过5亿篇论文数据库中检索到的31篇文献。
本文引用的文献
利用深度学习驱动的可拉伸触觉阵列捕捉与可变形物体的强力交互
2024年的一项研究报告了一种可拉伸触觉手套，其拥有1152个力传感通道，力测量准确率达97.6%，但在对6个类别共24个物体（包括可变形物体）进行手-物重建时，平均误差为1.8厘米。
ViTac-Tracing：可变形物体追踪的视觉-触觉模仿学习
一项2026年关于追踪可变形物体的视觉-触觉模仿学习研究，在已知物体上实现了80%的成功率，但在未知物体上降至65%，凸显了泛化方面的挑战。
形状空间变形器：用于机器人可变形物体操作的多模态视觉-触觉统一表征
一篇2025年的论文提出了Shape-Space Deformer，这是一种用于可变形物体重建的统一表示方法，与现有方法相比，该方法在对未见力的泛化能力以及对新物体的快速适应方面均表现出改进。
基于点云构建的跨任务视觉-触觉表征
2025年的一项研究将触觉探索点云中的局部柔顺度（柔软度）编码为颜色，并展示了该方法在六个真实世界物体的分类、路径跟踪和抓取任务中的应用。
面向物体操作的视觉-触觉关键点对应
2024年的一项研究利用视觉-触觉关键点对应关系，在齿轮插入等任务中实现了毫米级精度，其误差范围显著低于仅依赖视觉的方法。