ViSkill 如何用不断演化的视觉原生技能强化 VLM 智能体？

文本技能压平了智能体要操作的空间

技能增强型智能体试图让强化学习更省样本：把成功轨迹提炼成可复用策略，在后续任务中检索使用。论文认为，这类技能库大多是文本中心的，空间布局、相对位置以及动作与状态的对应关系都被线性化成语言。在依赖视觉的环境中，这种转换可能丢掉策略所依赖的几何信息，作者称之为表征鸿沟。

第二个鸿沟与学习方式有关。近期一些工作确实把视觉证据用于技能的构建或使用，但技能构建和更新与策略优化是分开进行的。因此论文要解决的不只是技能格式更好，而是把两者耦合起来：技能应当影响策略，策略自身的成功经验也应当反过来重塑技能。

一张技能卡就是一张 VLM 能读的图

ViSkill 把每个技能存成一张复合视觉技能卡。它从一条成功轨迹出发，保留原始视觉观测，叠加标注以说明空间和步骤上的推进，再把由策略提炼出的策略描述以文字形式渲染进同一张图。带标注的轨迹和渲染出的策略被合成为一张卡，直接作为视觉上下文交给 VLM。

技能库中的每个条目还带有一个几何描述符、一个效用值和一个使用次数。模型看到的是那张卡；描述符和效用值则是决定何时值得展示这张卡的记录信息。这一区分很重要，因为 ViSkill 的检索并不是在指令与文字技能描述之间做语言匹配。

检索先比几何，再权衡历史可靠性

每个回合开始时，一个针对具体环境的特征提取器把初始任务配置映射为几何描述符，其中包含相对位置、距离和障碍物等关系。对每个已存技能，ViSkill 计算一个分数，把几何相似度与该技能的历史效用结合起来；在报告的配置中，相似度权重为 0.9。只有最高分超过检索阈值 0.8 时才会检索该技能，否则策略在没有技能指导的情况下继续。

论文直接给出了按几何而非措辞检索的理由：相似的指令可能对应不同的空间布局，需要不同的策略。每个回合结束后，效用值用二值成功指标的指数移动平均更新，因此一个反复帮不上忙的技能即使几何上仍然接近，也会逐渐失去地位。

质量与新颖性两道门决定谁能入库

把每条成功轨迹都存下来，可能让技能库充满次优或冗余的技能。因此一个回合结束后，成功轨迹只有通过两道门才会被考虑提炼。质量门要求轨迹长度在任务特定预算之内，该预算取任务特定求解器给出的长度。新颖性门要求现有技能尚未很好地覆盖当前配置，用最佳匹配分数作为覆盖程度的代理指标。

对通过筛选的轨迹，策略会把自己的成功交互总结成一条可复用的高层策略描述，再与带标注的轨迹一起渲染成新卡。技能库满时，效用与频率综合得分最低的技能会被淘汰。论文报告，在 Sokoban 和 FrozenLake 上，随着技能库增长，检索几乎变得无处不在，而一旦常见配置被覆盖，新技能的接纳量就下降。

失败轨迹也能获得有上限的部分奖励

二值的任务成功奖励对失败轨迹提供的信号很少，即使智能体部分遵循了有用的检索技能。为此 ViSkill 增加了一个辅助项，依据执行轨迹与检索到的参考轨迹之间的一致程度：它衡量智能体沿参考轨迹走到了多远，相对于执行轨迹长度和参考轨迹长度，再按技能指导权重缩放。

这一项只在回合失败且检索到技能时生效。由于一致度分数介于 0 和 1 之间，且指导权重被设定为低于终局成功奖励，辅助奖励始终小于完成奖励。作者将其表述为有上限的部分奖励，不会扭曲全局奖励的排序。策略本身则用 PPO 在得到的轨迹奖励上优化。

冷启动先播种，随后交给策略自己

从空技能库开始意味着早期探索没有技能指导，这会推迟提炼与策略学习之间的循环。可选的冷启动机制在训练前用种子技能预填充技能库：候选轨迹来自离线任务特定求解器，策略描述来自外部模型，选择时在几何特征空间中使用最远点采样以最大化初始覆盖。

种子只是初始化。训练开始后，所有后续技能都由策略从自己的成功轨迹中提炼。冷启动技能库大小设为一个比例乘以无冷启动的初步运行所达到的收敛库大小；把该比例设为零就完全关闭外部模型初始化。这在早期样本效率与对外部监督的独立性之间给出了明确的权衡。

总体成功率 0.89，冷启动后 0.91

评估覆盖 Sokoban、FrozenLake 和 PrimitiveSkill，后者包含五个 ManiSkill 操作任务：Place、Stack、Drawer、Align 和 Swap。ViSkill 的总体成功率为 0.89，启用冷启动初始化后升至 0.91；论文报告这一结果优于所有被评估的专有和开源基线，并且比标准 PPO 收敛更快。这些是跨所评估环境的汇总数字，不是逐任务的分项结果。

训练设置以 Qwen2.5-VL-3B-Instruct 作为策略骨干并采用 PPO，三个环境共用同一套优化与 rollout 配置，只调整训练步数、计算资源和序列长度上限。论文中 PrimitiveSkill 的逐任务曲线显示，两个 ViSkill 变体都比 PPO 更快达到完全成功，冷启动进一步加速了早期学习。因此 0.89 与 0.91 之间的差距最好理解为初始化带来的可测贡献，而不是技能表征本身发生了变化。

闭环在哪里不再适用

有两条限制界定了这些结果能走多远。ViSkill 只在 VAGEN 框架支持的环境中评估，作者指出，视觉技能卡在更复杂或开放式场景中是否仍能带来一致收益，尚待验证。技能指导奖励还假设有用的部分进展会到达检索技能所表示的状态，因此当有效解法走的是不相交的状态路径时，它可能提供有限的指导。

实际优先级来自论文真正做出的比较。表征的改变和闭环才是 ViSkill 区别于文本中心技能库的地方，冷启动选项则在其上增加了一个较小且可分离的增益。读者判断该方法是否适合新领域时，应先问该领域的任务是否具有可复用的几何配置、能被视觉卡保留，以及成功解法是否与检索到的参考共享状态路径；这两个条件正是所报告机制的设计作用范围。

视觉卡比文字策略多带来了什么

论文的核心主张是一个比较，而不是单一分数：把空间结构以 VLM 能直接读取的形式保留下来，并让策略自身的成功经验回流到该技能库，才产生了所报告的增益。消融实验被描述为确认了视觉表征、策略指导和联合优化各自都对正反馈循环有贡献。

这一框架为读者设定了判断门槛。如果任务的可复用知识主要是口头流程，文本技能库可能已经够用；如果难点在于相对位置、障碍物以及动作如何改变视觉状态，那么卡格式和几何检索就是 ViSkill 中最值得先测试的部分。0.89 到 0.91 的范围适用于三个被评估的环境，而冷启动比例则是用外部监督换取更快早期学习的调节旋钮。

本文引用的文献