用另一策略的数据评估目标策略
策略外评估要回答的问题是：用另一个行为策略收集的数据，目标策略会有多好的表现。两个策略之间的差距是核心难点：数据按行为策略分布，而要估计的价值属于目标策略。
论文把贡献放在在线场景中。在这一场景里，智能体持续收集新数据，许多已有工作建立在多步算子方法之上。多步算子通过组合若干步的贝尔曼误差来更新价值估计，每一步的贡献由逐步迹系数加权控制。论文点名的这类算子是 Retrace。
TD 权重取代逐步迹系数
边缘化算子由一组 TD 权重定义，记作 w，它为每一对状态-动作转移分配一个权重。算子不再沿轨迹逐步施加迹系数，而是把行为策略的转移结构聚合进这些权重，再把权重作用到贝尔曼误差上。
关键的理论结果是一个等价关系：对任何带逐步迹系数 c 的多步算子，都存在一种对应的 TD 权重 w，使边缘化算子等于原来的多步算子。论文以命题 3.2 给出这一结论，并给出 w 的显式构造，其形式是从每个状态-动作对出发的轨迹上的期望。正因如此，“严格推广”才是具体的结论而非修辞：只要选择匹配的权重，Retrace 及类似算子就能作为特例被还原。
比迹算子更广的收缩算子族
如果新算子类没有包含旧算子类之外的东西，那么仅凭推广只是一个有限的结论。论文直接处理了这一点。推论 3.3 指出，对同一组动力学、奖励、策略和折扣因子，收缩多步算子集合包含于收缩边缘化算子集合之中。
命题 3.4 随后表明，对某些这样的参数组合，这种包含可以是严格的；对另一些组合，则可以是相等。换言之，边缘化算子是否真的带来新的收缩算子，取决于具体问题设定，而不是一个普遍成立的结论。论文用确定性链式 MDP 构造了严格包含的反例；另一个引理表明，即使允许非马尔可夫迹，只要限制在马尔可夫迹上，映射也无法覆盖所有正权重。
收缩性取决于残差误差项
边缘化算子要在迭代价值估计中有用，就必须是收缩的。论文用一个残差误差向量刻画这一点，该向量由起始状态-动作对的一热编码、目标策略的转移矩阵和 TD 权重构成。某个状态-动作对处的局部收缩率，等于该残差的 1-范数除以一减折扣因子。
由此得到一个可检验的条件：当残差范数在所有状态-动作对上的最大值低于一减折扣因子时，算子收缩。这个条件按状态-动作对给出，因此收缩性是权重必须在局部满足的性质，而不是算子类自带的一揽子保证。
样本估计为何可能方差更低
摘要称，相对于原始多步算子的样本估计，边缘化算子提示了一种可能降低方差的样本估计形式。论文指向的机制是聚合这一步：权重被定义为行为策略动力学上的期望，因此样本估计可以直接瞄准这些聚合后的权重，而不必沿每条轨迹累积带噪声的逐步迹乘积。
“可能”一词在这里很重要。降方差的说法是针对所建议的估计形式提出的性质，而不是摘要中给出方差比数值的定理。读者若把它与重要性采样估计器比较，应把方差收益看作论文提出并检验的动机，而不是有保证的幅度。
可扩展估计与边缘化重要性采样的联系
一类算子只有在其权重无需枚举整个状态-动作空间就能估计时才有实用性。论文表明，边缘化算子的估计可以以可扩展的方式计算，并且这一计算把此前关于边缘化重要性采样的结果作为特例推广。
附录把这一联系讲得更明确。用于估计权重的鞍点目标与早先 dualdice 风格的目标只在目标策略上不同，可以理解为用次概率行为策略运行该算法。在表格型设定中，论文还给出一个直接的蒙特卡洛流程：按状态-动作对累积逐步迹，并以 0.1 的步长更新权重表，无需解鞍点问题。
实证增益说明了什么、没说明什么
论文报告，边缘化算子在实验中为策略外评估和下游策略优化算法带来了性能提升。这就是证据中可用的定量结论的范围：摘要称两类设定都有增益，但没有报告效应大小、基线，也没有给出主要比较所用的环境。
因此适用范围是论文自身的实验设定，这一结论应被读作该算子类可以端到端使用的证据，而不是对某个具体算法改进幅度的校准估计。相比之下，理论结果是对一般的动力学、奖励、目标策略、行为策略和折扣因子组合给出的，并受上述收缩条件约束。
该框架如何改变比较方式
论文对自身价值的定位是一座桥：边缘化算子把多步算子与边缘化重要性采样连接起来，而这两者此前被视为策略外评估的两套独立框架。实际后果是，读者在两者之间做选择时，不再在算子设计层面面对非此即彼的取舍，因为多步算子就是取特定权重的一种边缘化算子。
因此这篇论文支持的判断取决于具体的问题参数组合。如果你想要的那个基于迹的算子本身已经收缩，边缘化形式就能复现它；只有当基于权重的算子族在你的动力学、策略和折扣因子下严格更大时，新增的空间才有意义，而命题 3.4 表明这在某些参数组合下成立、在另一些下不成立。论文建议的下一步，是像此前把边缘化重要性采样与逐步重要性采样结合那样，把边缘化算子与传统多步算子结合起来。
本文引用的文献
Marginalized Operators for Off-policy Reinforcement Learning
边缘化算子严格推广了 Retrace 等多步算子，支持可扩展的样本估计并推广了边缘化重要性采样，且据报道能改进策略外评估和下游策略优化。