由执业外科医生打分的基准
这篇论文要回答的是:当前最先进的视频生成模型能否生成可信的手术画面,而不只是看起来逼真的画面。为此,作者构建了 SurgVeo 基准,包含 50 段手术视频片段,取自两个公开数据集:腹腔镜子宫切除术(18 段,来自 AutoLaparo)和内镜垂体手术(32 段,来自 PitVis)。每个样本由一张起始帧和一段真实的 8 秒后续视频组成,后者作为评判生成视频的参照。
两个模型均未接受任何手术领域微调:商业模型 Veo-3 和开源模型 Wan2.2。给定起始帧和文本提示后,每个模型生成 8 秒的后续视频。由四名获得委员会认证的外科医生组成的评审小组对输出打分,其中两名胃肠外科医生负责腹腔镜组,两名神经外科医生负责内镜组;每组各有一名资深和一名资历较浅的医生。研究共收集了 4,800 条专家评分。
金字塔框架把外观与手术推理分开
评分工具是手术可信度金字塔(Surgical Plausibility Pyramid),一个从表面外观逐级上升到临床推理的四层框架。最底层是视觉感知可信度,指图像的清晰度和稳定性。其上是器械操作可信度(器械操作是否准确、技术上是否合理)、环境反馈可信度(场景反应是否可信,例如组织和液体如何反应),最顶层是手术意图可信度(动作是否符合该手术的要求)。
外科医生在三个累积时间点对每段生成视频按 1 至 5 的整数打分:0–1 秒、0–3 秒和 0–8 秒。由于每个时间点覆盖截至该时刻生成的全部内容,三个分数能显示模型预测得越远,可信度是保持还是衰减。正是这一设计让研究得以区分视觉渲染问题和手术推理问题。
视觉评分保持高位而逻辑评分崩塌
核心结果是金字塔底层与顶层之间的分化。在两个模型和两种手术中,视觉感知可信度在 1、3、8 秒三个时间点都保持相对较高且稳定。使用基线提示时,Veo-3 在腹腔镜子宫切除术中的初始视觉评分为 3.72,在内镜垂体手术中为 3.88;Wan2.2 在同样两个组中 1 秒时分别达到 3.97 和 3.89。
三个更高维度的表现则不同。在 Veo-3 腹腔镜基线条件下,环境反馈可信度从 1 秒时的 3.06 降至 8 秒时的 1.64,降幅接近 46%,手术意图可信度从 3.11 降至 1.61。在内镜垂体手术中,Veo-3 使用基线提示时手术意图可信度在 8 秒时降至 1.12。Wan2.2 呈现相同模式:在内镜基线组中,手术意图可信度从 1 秒时的 3.17 降至 8 秒时的 1.42。作者将这种高视觉评分与低逻辑评分之间的分化称为可信度差距。
多数错误是手术逻辑失败而非渲染缺陷
错误统计让这一差距变得具体。在审查 Veo-3 在整个基准上的输出时,外科医生认为腹腔镜子宫切除术中只有 6.2% 的失败、内镜垂体手术中只有 2.8% 的失败属于基本视觉质量失真。两种手术中超过 93% 的错误都是手术逻辑失败。
四个最大的类别是手术意图错误(腹腔镜 21.9%,内镜 22.0%)、环境反馈错误(17.2% 和 22.0%)、手术器械错误(17.2% 和 17.7%)以及不恰当的手术操作(15.6% 和 21.3%)。在内镜垂体手术中,仅这四个高层级类别就占全部错误的 83%。定性示例与数字相符:真实手术使用标准手术刀,模型却凭空生成了一件不存在的器械;真实操作需要向左移动,模型却让分离器向右移动;吸引工具把整块明胶海绵当作附着在一起的固体整体拉起;真实动作是向硬脑膜注射生物胶,模型却预测为用棉片擦拭硬脑膜。
告知手术阶段并不能弥合差距
一个显而易见的解释是缺少上下文,因此作者比较了仅说明手术类型的基线提示与明确说明当前手术阶段的阶段感知提示。如果上下文是瓶颈,阶段感知提示应当提高更高层级的评分。但结果并非一致如此。
在 Veo-3 的腹腔镜子宫切除术中,8 秒时器械操作可信度在基线提示下为 1.78,在阶段感知提示下为 1.69,基本没有变化。在内镜垂体手术中,8 秒时手术意图可信度为 1.12 对 1.17。Wan2.2 的结果则好坏参半:阶段感知提示使腹腔镜组的器械操作可信度在 8 秒时从 1.81 提高到 2.00,但使内镜组的环境反馈可信度从 1.45 降至 1.11。作者据此认为,这一缺陷不仅是信息不足,还在于模型对领域特定因果和程序约束的推理能力有限。
视觉训练为何无法迁移到手术因果
论文的解释是,这些基于 Transformer 的视频扩散模型被训练来优化感知保真度,这适合传播纹理、颜色和局部运动的连续性。但这一目标并不强制生成符合因果、物理规律或程序约束的内容,因此加入信息更丰富的文本提示并不会改变模型被优化的方向。作者认为,扩大通用领域训练可能并不足够,因为手术遵循的是解剖、生理和生物力学层面的专家常识,而非自然场景中的日常物理规律。
这是作者的机制性解释,而非直接测量的结果,它决定了作者提出的补救方向:物理约束、领域适配的奖励模型,或在生成层面整合手术知识图谱,同时配合更好的提示设计。实际含义是,一个模型可以逐帧看起来正确,却仍然无法通过临床上真正重要的检验,即下一个动作是否正确。
证据覆盖的范围与止步之处
评估覆盖两个零样本配置的模型、两种手术和 50 段视频片段,每段视频的分数由两名评估者取平均。差距在两种手术专科和两个架构不同的模型上表现一致,这是作者称其为结构性挑战的依据,但他们明确将本研究定位为试点研究,并呼吁在更广泛的生成模型集合上开展系统研究。提示设计空间也被描述为探索得远远不够。
作者得出的临床结论很直接:零样本生成目前不适合用于医学教育中的高保真模拟、术前演练或术中引导等应用。基准和金字塔框架是作为弥合这一差距的测量基础提出的,而不是差距已被弥合的证据。
下一步努力应投向何处
论文自身的优先级排序是最有用的要点。由于零样本生成已被证明不足,作者将少样本学习和任务特定微调列为首要方向,作为通往程序连贯生成的更可行的近期路径。将手术知识显式嵌入世界模型排在第二,物理信息建模以及旨在抑制误差随时间累积的架构排在第三。
这一排序来自数据中的具体模式:视觉评分保持稳定,而三个逻辑维度随预测时长衰减,额外的阶段上下文也没有可靠帮助。对于任何评估手术视频生成器的人来说,这意味着应更看重金字塔更高层级维度和 8 秒终点的表现,而非视觉逼真度,因为逼真画面与正确手术之间被测出的差距正出现在那里。
本文引用的文献
Quantifying the plausibility gap in generative AI for surgical video generation with expert assessment
专家外科医生发现,Veo-3 和 Wan2.2 生成的手术视频视觉上逼真,但在手术逻辑上失败,超过 93% 的错误是逻辑失败而非视觉质量缺陷。
