[arXiv 2026] WanderDream：当 AI 拥有“脑补”能力，具身智能体如何通过想象破解 What-if 难题？

TL;DR

如果机器人不需要挪动一步，就能预见翻过这道障碍后会看到什么，它的推理能力会进化到何种程度？本文推出的 WanderDream 是首个专注于“仿真模拟”的大规模数据集，它通过世界模型（World Models）为智能体插上了“想象力”的翅膀：从当前视角生成通往目标的 360° 全景视频轨迹，并在此基础上进行深度的空间推理。

核心定位

在学术坐标系中，WanderDream 标志着具身推理从“感知即推理”向“想象即推理”的跨越。它填补了生成式世界模型与情境推理（Situated Reasoning）之间的空白，是该领域从静态场景理解迈向动态心理模拟的重要工作。

痛点深挖：为什么物理探索不是万能的？

传统的具身智能（Embodied AI）依赖于“先探索，后理解”的范式。但在以下场景中，这种范式会失效：

• 物理约束：仓库机器人可能无法爬楼梯。
• 安全顾虑：视障人士在不确定的环境中不敢贸然前行。
• 动态环境：环境瞬息万变，物理记忆容易过时。

作者发现，人类倾向于在行动前进行“心理演练”。那么，能否给 LLM/MLLM 配置一个“想象引擎”，让它通过生成的视频来回答：“如果我走到那里，我的左边会有什么？”

方法论详解：构建 AI 的“梦境”

WanderDream 分为两个核心板块：

1. WanderDream-Gen（想象引擎）

研究者利用机器人导航（HM3D）和人类行为（ScanNet++）数据，生成了 15.8K 段全景视频。

• 机器人视角：基于最短路径算法生成通往地标的模拟。
• 人类视角：模拟交互、坐下、站立等情境，并引入 3D 概率路线图（PRM）来绕过障碍。

2. WanderDream-QA（推理大脑）

为了评估“脑补”的质量，作者设计了覆盖全路径的 10 类推理任务，包括：

• Start Phase：导航能力、目标方位。
• Path Phase：地标顺序、路程估计、障碍物判断。
• End Phase：供能性（Affordance）分析、物体的空间关系。

图 1：WanderDream 的仿真模拟流程：从感知 s0 到想象 sT，并沿途回答推理问题。

实验与结果：想象力就是战斗力

作者对比了 Wan, CogVideoX, HunyuanVideo 等主流视频生成模型。

• 关键发现 1：想象必不可少。只给模型看起点图，模型在路径推理上几乎抓瞎；而加入了世界模型生成的中间采样帧后，推理准确率显著攀升。
• 关键发现 2：微调的力量。通过 LoRA 或 SFT 微调的模型（如 Wan2.1），其生成的视频在 FVD（视频一致性）和 End-FID（终点准确性）上远超单纯靠 Prompt 引导的模型。

表 3：不同世界模型在 WanderDream-Gen 上的性能对比，Wan2.1 在多项指标上领先。

Sim-to-Real 的惊人迁移

即便在真实世界中存在人体遮挡、运动路径非最优等杂音，在 WanderDream 上训练过的模型依然能生成合理的空间布局，并将 Reasoning 的准确率提升了 4.2%。这证明了通过模拟数据培养的“空间直觉”是可以反哺现实世界的。

深度洞察：世界模型的新边疆

WanderDream 的真正价值在于它将 World Model 从单纯的“视频生成工具”提升到了“认知组件”的高度。

局限性分析：

• 延迟问题：目前生成一段轨迹视频需 30-200 秒，无法满足实时交互需求。
• 细节丢失：在严重遮挡下，模型对细微物体（如 Affordance 相关的开关）的推理仍有瑕疵。

总结与展望： 未来的具身智能体将不再是笨拙的探测器，而是预言家。通过将语义空间与物理动力学空间在世界模型中对齐，我们正在接近一种通用的“空间智能”。WanderDream 为这一愿景提供了一套完整的基准和数据支撑。

本文由资深学术技术主编重构。