生成视频看似合理却无法直接回放
给定任务指令和机器人当前场景的一张 RGB-D 观测，视频生成器可以生成一段合成视频，展示一个人在同一个环境中完成该任务。这样就不必收集真实的人类演示，而论文指出这类数据收集成本很高。但视频只是在视觉上看起来合理：它不一定物理可行，而且画面中是人而不是机器人，存在运动学与视觉上的差异，因此机器人无法直接回放视频展示的轨迹。
论文的设定刻意收得很窄。视频生成器是冻结的，只在推理阶段使用，被当作黑盒：其参数、训练数据、梯度和内部表示都不可获得，也不能用机器人数据微调。机器人只能使用自身观测、自身的本体与控制模型，以及从这个生成器采样的视频，除此之外没有别的信息。
多种流程背后是同一个优化问题
论文的核心做法是先定义问题，而不是先提出又一条流程。每段合成视频给出物体运动的一个初始猜测，机器人随后寻找一组动作，使其引起的物体运动在任务特征空间中接近这个猜测，同时满足两个概率约束：所得轨迹完成任务概率至少为 1 减去可容忍的语义失败率，并且落在机器人与环境允许的轨迹集合内的概率至少为 1 减去可容忍的物理违反率。
代价函数并不定义在每一个路径点上。一个特征映射把物体轨迹压缩成较短的向量，论文认为它应捕捉任务关键的对象间关系，而不是偶然的时序和路径细节。论文自己的例子是倒一杯水：把水送到杯子旁的精确路径不如保持水不洒重要。物理可行性涵盖工作空间可达性、关节与速度限制、避碰，以及操作物体所需的接触。
数字孪生需要显式的安全裕度
可行性在数字孪生中检查，即对场景的仿真重建。由于仿真器只是近似真实约束，论文要求仿真约束带一个额外容差（安全裕度）成立，而不是恰好卡在边界上。如果在相关轨迹上真实约束与仿真约束之差始终不超过该裕度，那么满足更严格的仿真约束就意味着真实约束也成立。
形式化在这里变得可操作：裕度是为仿真到现实的失配付出的代价，论文指出增大裕度可以提升仿真到现实的鲁棒性。优化在孪生中运行，得到的机器人轨迹可以在真实世界中开环执行。
成功取决于语义吸引域
论文最具特色的论断关乎视频生成器必须提供什么。提取出的特征必须落在语义解流形某个半径之内，该流形是真正能完成任务的物体轨迹集合。在这个半径内，优化可以局部修改轨迹形状而不丢失其语义。论文把这一区域称为语义吸引域。
由此可以推出一个界。把生成视频的特征误差视为随机变量，其期望平方误差已知，马尔可夫不等式给出视频把搜索初始化在吸引域内的概率下界：至少为 1 减去期望平方误差与半径平方之比。实际含义是一个比值，而不是单一的质量分数。更好的视频缩小误差；运动能容忍局部修改的任务扩大半径。该分析不要求特征无偏，因此系统性的幻觉是允许的，但会增大误差从而削弱这个界。
抓放任务比富接触推动更适配
半径取决于任务，这使上述界变成一条任务选择规则。抓放任务有利，因为从抓取到放置之间的精确运动可以大幅变化，从而扩大半径。富接触任务，例如把物体推入拥挤的箱子，则不利，因为姿态、时序或抓取的微小变化就可能改变整个任务，从而缩小半径。
这是在说哪些任务适合该形式化下的合成视频迁移，而不是断言富接触操作不可能实现。它取决于物体轨迹在任务谓词仍成立的前提下能被局部修改多少，也是论文对其充分条件给出的自身解释。
已有方法都是同一问题的简化
这一形式化也重新定位了先前的工作。PhysWorld 提取单个目标物体的轨迹，并在数字孪生中优化机器人去跟踪它，论文将其对应为同一优化问题，只是代价函数是更严格的跟踪代价。RIGVid 假设刚性抓取，用运动学把物体运动映射为机器人运动，直接回放提取出的物体轨迹，这相当于同样的跟踪代价但去掉了物理可行性约束。
论文谨慎地指出，这些简化未必是坏事，在某些设定下可能是合理选择。它的要点是结构性的：这些方法在代价函数和保留哪些约束上不同，而不是在解决哪一类问题上不同。
两处改动缩小了与形式化的差距
CASTER 与这些基线有两处具体不同。第一，它不精确匹配视频中的物体轨迹，而是保留任务特征。系统把任务和物体标签输入 LLM，得到任务必需的对象关系（目标—上下文配对）以及需要跟踪的轨迹维度。随后在多个采样视频上计算特征：这些关系的中位位置和平均朝向，并配以随跨演示方差指数衰减的时间相关权重，以强调一致的特性。
第二，它使用多个采样视频而不是一个。聚合后的特征定义共享的优化目标，每个采样视频各自初始化一次优化，因此机器人是在期望行为上做优化。视觉语言模型会筛选采样视频，在提取特征前丢弃未完成指定任务的视频。物体跟踪结合了现成的深度模型、把估计深度仿射对齐到观测首帧，以及拟合为刚体变换的稠密三维点跟踪。
增益是相对最佳基线测得的
在 12 个真实世界任务上，CASTER 达到 76.6% 的平均零样本任务成功率，比表现最好的基线高 34.1%。这一比较是论文的核心证据，说明去掉这些简化、更贴近底层优化，能从合成视频得到更稳健的轨迹。
适用范围由设定界定：冻结的、仅推理的生成器，用于修正的数字孪生，以及在真实世界中开环执行优化后的轨迹。论文把在 CASTER 生成的轨迹上训练闭环策略列为未来工作，因此报告的成功率属于这一开环零样本配置，而不是学到的闭环策略。论文确立的实际优先级是视频特征误差与任务对局部轨迹修改容忍度之间的比值：决定一段合成视频能否为成功的机器人轨迹提供初始猜测的，是这个比值，而不只是视频的逼真程度。
本文引用的文献
CASTER: Formalizing Zero-Shot Manipulation from Synthetic Videos as Constrained Optimization
把合成视频迁移形式化为约束优化并去掉先前的简化后，在 12 个真实世界任务上取得 76.6% 的平均零样本成功率，比最佳基线高 34.1%。