分层程序理解能提升主动式 AI 辅助吗？

固定粒度引导同时丢失进度与上下文

主动式助手一边观察用户的操作，一边要同时决定两件事：现在该不该开口，以及该说什么。论文认为，现有的训练与评测数据只支撑了其中一部分。此前的数据集要么面向基于检测的主动理解——本质上只是判断何时打断，要么只提供单一固定粒度的程序性引导。

作者对固定粒度提出的问题在于信息量。单一层级的引导对细粒度进度提供的信号有限，模型难以判断某个工作单元是否已经完成；它对更宏观的程序上下文提供的信号也有限，模型无法在用户需求变化时在粗、细引导之间切换。论文提出的解决办法，是在三个嵌套层级上同时监督同一任务。

阶段、步骤、动作构成嵌套层级

论文定义了三个引导层级。阶段是通过多个步骤达成一个中间目标的高层单元。步骤是通过多个动作达成某个具体结果的过程单元。动作是可以被独立引导的可观察细粒度事件。

这些层级不是并列标签，而是父子结构。在模型的输出格式中，带编号的正整数表达父子关系，单元在片段内按时间顺序编号，子编号在每个父节点下重新开始。输出按阶段、步骤、动作的顺序排列，未激活的层级省略。论文称，正是这一机制让单个模型既能跟踪细粒度进度，又能把握更宏观的程序上下文。

ProactiveCoach 套件把训练数据与基准配对

该套件包含三部分：用于训练的 ProactiveCoach-Instruct、用于评测的 ProactiveCoachBench，以及结合自适应引导系统的微调视觉语言模型。

底层数据集包含 11,119 个样本，来自八个来源数据集的 7,232 段第一人称视频，划分为 10,007 个训练样本和 1,112 个基准样本，同一视频的样本被分到同一划分。样本平均时长 7.8 分钟，中位数 8.8 分钟，范围从 40 秒到 18 分钟，总时长 1,452.1 小时。数据共含 582,084 个引导目标：阶段层级 46,074 个，步骤层级 154,507 个，动作层级 381,503 个。平均每个样本含 4.14 个阶段，每个阶段 3.35 个步骤，每个步骤 2.47 个动作——监督量主要集中在动作层级。

三个指标回答三个不同问题

评测在预定义的锚点进行，锚点分为应答锚点和静默锚点：前者期望模型给出引导，后者期望模型保持安静。在 ProactiveCoachBench 上，所有真实引导时间戳都作为应答锚点；静默锚点则从每个阶段、步骤或动作片段中间 30–70% 区间内随机抽取没有真实引导的时间戳。在每个锚点，模型看到最近 10 秒视频以及该点之前完整的真实对话历史；使用真实历史而非模型生成的回复，可避免此前的错误逐级累积。

这三个指标不可互换。sF1 按时间与内容对生成引导和真实引导做一对一匹配，累加匹配对的语义相似度，再取 sPrecision 与 sRecall 的调和平均——它衡量内容与覆盖度。gF1 只看模型在每个锚点是应答还是静默，完全不考虑内容，是应答 F1 与静默 F1 的几何平均。PQS 把两者结合起来：静默锚点只有保持静默才得 1 分，应答锚点按 GPT-5.2 评判的相关性、具体性、可操作性和简洁性打分，再对所有锚点取平均并乘以 100。由于 ProactiveCoachBench 的应答锚点与静默锚点数量相等，一个始终静默的预测器 PQS 可达 50 但 gF1 为 0，因此论文把 PQS 与 gF1 放在一起解读，而不单独看 PQS。

分层监督比固定粒度最多高 9.6 个百分点

核心比较是在相同骨干模型上，分层监督与固定粒度监督的差异。论文报告，分层监督使各骨干模型的总体表现最多提升 9.6 个百分点。

逐骨干的表格显示了这一模式。在 ProactiveCoachBench 上，Qwen3-VL-4B 在阶段、步骤、动作层级的平均分分别为 62.69、58.96、53.24；Qwen3-VL-8B 为 64.07、59.37、52.99；Qwen3.5-4B 为 62.94、59.30、53.44；Qwen3.5-9B 为 61.13、58.81、54.77。相同骨干未训练的对应行则低得多——例如 Qwen3-VL-4B 为 26.65、27.83、27.96。引导越细，得分越低：每个微调骨干都在阶段层级得分最高、动作层级最低，说明动作层级仍是三者中最难的。

同样的微调模型还在 EgoProactive 的公开验证集上仅按步骤层级评测，平均分落在 47–49 区间，说明训练能迁移到并非作者构建的基准上。

轻量路由器处理引导层级切换

自适应引导系统把一个微调模型与一个轻量级引导路由器组合起来。路由器的意义在于，当请求的引导层级变化时，引导模型本身无需重新训练。

在四种引导层级切换上，该系统无需额外微调就比上下文内自适应基线高出 57.1 个百分点。这是与仅靠提示进行自适应的基线相比，因此这一增益反映的是路由器在上下文内自适应之上额外带来的部分，而不是分层训练本身的价值。论文把这一结果表述为：无需额外微调引导模型即可支持引导层级变化。

证据覆盖的是基准而非已部署助手

论文中的动机场景——智能眼镜识别用户正在做什么、人形机器人监控任务进度——被表述为未来愿景，而不是本文构建或测试过的系统。所有报告数字都来自 ProactiveCoachBench 和 EgoProactive 验证集，且遵循固定协议：前 10 秒视频、真实对话历史、预定义锚点。

两项协议选择限定了这些数字的适用范围。真实对话历史是给定的而非生成的，因此评测把引导决策与长交互中的错误累积隔离开来。基于锚点的评分从每个片段中间 30–70% 区间抽取静默锚点，因此这些分数衡量的不是片段边界处的静默行为。论文还指出，在锚点数量均衡时单看 PQS 会产生误导，因此必须与 gF1 一起解读。

论文自身的定位是：这些数据集和方法为主动式 AI 辅助的未来研究提供了基础，而不是一项已验证的产品能力。

动作层级是差距仍然存在之处

如果只有一个数字能决定读者如何权衡这篇论文，那应该是分层级的拆分，而不是标题式的总体增益。分层监督提升了每个骨干模型，但排序始终一致：阶段层级平均分集中在 61–64，步骤层级约 59，动作层级约 53–55。最细的层级同时也是引导目标占比最大的层级（582,084 个中的 381,503 个），恰恰是模型最弱的地方。

这为在此之上继续工作的人明确了实际优先级：分层监督的价值在粗粒度引导已经奏效的地方最大，而尚未解决的问题是动作层级的进度能否被同样可靠地跟踪。57.1 个百分点的路由器增益回答的是另一个问题——按请求在层级之间切换——不应被解读为填补了动作层级的差距。

本文引用的文献