语义任务完成测试在视频生成语义完成方面可能无法揭示什么？

为何视频能通过语义测试，却随时间推移仍显违和

语义任务完成度测试通常只评估生成的视频内容是否与所请求的动作或场景相符，却往往忽略了时间连贯性——即视频在帧与帧之间是否合理。在跨视角视频生成（例如，将第三人称视角转换为第一人称视角）中，模型可能生成每一帧都单独符合语义描述、但无法在时间上保持运动或上下文一致性的视频。DRSA论文指出了这一点，提到先前的方法“在捕捉长程时间上下文方面存在局限”，导致合成性能下降[1]。这意味着，仅检查最终输出的测试可能会漏掉那些动作在语义上正确、但在时间上抖动或不合逻辑的视频。

同样的问题也出现在基于视频的机器人规划中，其中生成的视频充当行动计划。This&That论文指出，仅依赖语言的语义指令在复杂环境中往往具有歧义，因此他们添加了手势条件，使视频预测变得“简洁且无歧义”[3]。如果语义补全测试仅检查视频是否与语言描述匹配，那么即使视频的时间序列并非机器人可执行的可行计划，该测试也可能通过。因此，语义测试可能遗漏对下游任务至关重要的时间推理中的失败。

语义测试往往忽略跨模态对齐与上下文相关性

语义补全测试通常会将生成的视频与文本提示进行比较，但可能不会检查视频是否与其他模态（如音频或观众聊天内容）保持一致。在直播视频评论生成中，SFAT模型会根据视频帧与当前观众对话的语义相关性对其加权，因为“优先处理与当前观众互动最相关的视频帧”对于生成符合语境的评论至关重要[4]。仅检查评论是否与视频内容匹配的语义测试，可能会忽略评论是否与当前聊天语境相关——而这种失误，人类观众会立刻察觉。

同样，在视频-文本检索中，随机掩蔽区域的视频掩蔽建模往往无法利用跨模态相关性。MASCOT论文表明，基于语义的掩蔽——将掩蔽内容与未掩蔽的视觉区域及对应文本对齐——在四个基准测试上提升了性能[5]。这表明，不考虑跨模态对齐的语义补全测试可能会遗漏一些错误，即视频和文本在各自孤立情况下语义一致，但彼此并未正确对齐——例如，一段狗奔跑的视频和文本“一只狗在奔跑”可能通过测试，但如果文本是“一只狗在追球”而视频中没有球，那么仅检查狗的语义测试仍可能通过。

语义测试可能遗漏多步生成流程中的失败

当视频生成涉及多个步骤时——比如将复杂的用户请求分解为子任务，并为每个子任务选择模型——仅评估最终视频的语义完整性测试可能会遗漏中间步骤中的错误。SPAgent论文提出了一种自动分解意图并选择模型的框架，但它还包含一个视频质量评估模块，以“自主评估并整合新模型”[2]。这意味着，对最终输出的语义测试可能无法揭示流程是否为某个子任务选择了错误的模型，即使最终视频碰巧在语义上看起来正确。例如，一个“制作一段猫走路然后狗跑步的视频”的请求可能会被分解为两个子任务；如果第二个子任务的模型失败，最终视频可能仍然显示狗，但过渡可能很突兀，或者狗的动作不自然——这些失败是语义测试可能忽略的。

This&That论文还指出，基于视频的规划需要将视觉计划转化为机器人动作，为此他们采用了行为克隆架构[3]。对生成的视频进行语义完整性测试或许能通过，但由于细微的物理不一致性（例如违反物理规律的物体交互），该视频可能无法由机器人执行。因此，不考虑下游可用性的语义测试可能会遗漏关键失败。

关于这些来源

本回答基于5项同行评审研究——发表于2023年至2025年间，其中4项为2024年或之后发表，合计被引用71次——这些研究是从59篇论文中筛选出的最相关成果，而59篇论文则来自一个收录超过5亿篇文献的数据库，最终有5项研究通过质量筛选。

本文引用的文献

相关研究问题