R-BPG 把光滑性假设移到镜像坐标
标准 Bregman 近端梯度假设数据保真项在原始变量中相对光滑,即对某个 Legendre 型势函数 φ,存在 L 使 L·φ − f 为凸。泊松负对数似然配上普通负熵并不满足这一模板:附录表明相对光滑性会要求对任意 t > 0 都有 ‖y‖₁ ≤ L·n·t,而当 t 趋近于零时该条件不成立。
论文的做法是在镜像坐标中重参数化目标,改为要求重参数化后的函数 f∘∇φ* 相对光滑。在原始变量中,由此得到的方案交替执行一个使用势函数 Hessian 逆的预条件梯度步和一个右 Bregman 近端更新。作者把该算法称为 R-BPG,并在表 1 中总结了它与普通近端梯度和标准 BPG 的差别。
泊松保真项在边界附近不是 L-光滑的
当测量 y 服从均值为 Ax 的泊松分布时,论文最小化泊松负对数似然 f(x) = Σⱼ [(Ax)ⱼ − yⱼ log(Ax)ⱼ],它与 y 和 Ax 之间的广义 Kullback-Leibler 散度只相差与 x 无关的常数。它的梯度局部 Lipschitz,但 Lipschitz 常数在正卦限边界附近爆炸,因此经典二次下降引理不成立。
第二个障碍是当 A 非对角时,f 的近端算子一般没有闭式解,这限制了近端分裂方法。经典乘性更新 x(k+1) = x(k)/s ⊙ Aᵀ(y/Ax(k))(其中 s = Aᵀ1ₘ 是列和向量)同时避开这两个问题:它保持非负性,且近期被证明在函数值上以次线性 O(1/k) 速率收敛。论文是在这一分析基础上继续推进,而不是取代它。
加权负熵给出单位步长
在泊松情形中,论文使用加权负熵 φ(x) = Σᵢ sᵢ(xᵢ log xᵢ − xᵢ) 作为势函数,其 Bregman 散度是加权 Kullback-Leibler 散度。引理 3.3 证明重参数化后的泊松目标相对 φ* 是 1-光滑的,附录则表明该常数不可能小于 1。
这个常数之所以重要,是因为它决定了可允许的步长。当 L = 1 时下降步长满足 τ ≤ 1,命题 4.8 在论文对 A、y 和 g 的条件下验证了 L = 1、τ = 1 时各项前提成立。这与把标准 BPG 直接用于泊松保真项时的步长区间不同:表 1 列出后者要求 0 < τ ≤ 1/‖y‖₁。
步长取一时方案恢复 Richardson-Lucy 更新
把加权负熵的 Hessian 逆代入预条件梯度步,得到 x(k+1) = x(k) − τ (x(k)/s) ⊙ ∇f(x(k)),它可以改写为当前迭代点与乘性更新的凸组合。令 τ = 1,该式就化为 x(k+1) = (x(k)/s) ⊙ Aᵀ(y/Ax(k)),正是经典乘性更新。
这是论文的核心结构性论断:Richardson-Lucy 并非无关的启发式,而是在该势函数下 R-BPG 取单位步长、无正则项时的特例。同一推导也解释了该方法为何继承乘性方案的非负性保持性质:预条件梯度点 x − [∇²φ(x)]⁻¹∇f(x) 等于 (x/s) ⊙ Aᵀ(y/Ax),在论文对 A 和 y 的假设下保持严格为正。
正则项以右 Bregman 近端映射的形式进入
当存在凸正则项 g 且步长取 1 时,更新变为 x(k+1) = →prox^φ_g((x(k)/s) ⊙ Aᵀ(y/Ax(k))),其中箭头表示右 Bregman 近端映射。论文证明这等价于求解 x(k+1) = argmin_{x>0} { g(x) + D_φ(z(k) ‖ x) },其中 z(k) 是乘性更新点;它的一阶条件可写成 x(k+1) ⊙ (s + ξ(k+1)) = x(k) ⊙ Aᵀ(y/Ax(k)),其中 ξ(k+1) 属于 g 在 x(k+1) 处的次微分。
作者把这一隐式形式与 Green 的一步滞后启发式联系起来:后者把 ξ(k+1) 替换为在当前迭代点处计算的 ξ(k),从而得到显式更新。他们指出这种近似计算便宜,在发射断层成像和显微去卷积中广泛使用,但一般不保证收敛或下降;而隐式 R-BPG 更新正是他们证明单调下降和收敛速率所针对的对象。
单调下降普遍成立,O(1/k) 速率仅限泊松情形
在一般凸情形中,命题 4.7 证明复合目标值沿迭代序列非增,且 Φ(x(k+1)) − Φ(x(k)) ≤ (L − 1/τ) D_φ(x(k) ‖ x(k+1))。证明结合了原始坐标下的下降不等式与 Bregman 三点恒等式,作者明确指出在这些一般假设下该论证只给出单调性,并不给出函数值收敛速率。
速率只在特化到泊松情形后才出现。定理 4.12 指出,对正则化乘性更新,对每个 k ≥ 1 有 Φ(x(k)) − Φ(x⋆) ≤ KL(x⋆ ⊙ (s + ξ⋆) ‖ x(1) ⊙ (s + ξ(1)))/k,遍历迭代点也满足同一界。该界以函数值表述,而非迭代点距离,其推导方式是对一个由缩放单纯形量之间 KL 散度构造的 Lyapunov 能量做望远镜求和。
实验显示竞争力,而非全面占优
论文报告了若干具有泊松分布观测的成像逆问题,其中包括一个二维 BrainWeb PET 实验,其图绘制了复合目标、以百分比表示的 NRMSE、相邻迭代点之间的相对距离,以及平均恢复系数随圆盘直径(毫米)的变化。参与比较的方法包括普通乘性更新、镜像下降、带 L2 或 TV 正则的 BPG、带 L2 或 TV 的一步滞后方法,以及带 L2 或 TV 的 R-BPG。
讨论部分指出,在泊松情形中所提算法与 BPG 等现有方法具有竞争力,它使用单位步长乘性更新并允许一般凸正则项。这是对所报告实验的竞争力陈述,并不是说 R-BPG 在每一项指标上都优于所有基线。作者还推测泊松情形的速率可以改进,因为数值实验中目标下降快于定理 4.12 的次线性界。
一般情形的速率与非凸扩展仍未解决
R-BPG 的一般收敛分析被描述为尚不完整:在一般凸情形中建立收敛速率和迭代点收敛被留作未来工作。泊松情形的保证也带有条件,包括 A 非负且每行每列至少有一个正元素、数据 y 严格为正,以及正则项 g 真、下半连续、凸、有下界,且 dom φ 包含于 dom g、Φ 的下水平集有界。
还有两条边界对解读结果很重要。重参数化后的目标一般不是凸的:附录给出 A = (1,1)、y = 1 的反例,沿对角线当 t < −log 2 时 Hessian 存在负特征值。此外,附录的非凸 BPG 分析需要额外假设,包括镜像坐标中的超强制、局部正则性以及重参数化目标本身的强制,作者指出后者不同于 Φ 在原始变量中的强制。
需要单位步长下的一般凸正则时选 R-BPG
这篇论文中与决策相关的区别,不在于 R-BPG 是否在无正则泊松去卷积上胜过乘性更新——在 τ = 1 时它就是那些更新。区别在于加入凸正则项 g 之后:R-BPG 保留乘性更新点作为其预条件梯度步,用加权负熵施加右 Bregman 近端映射,并保持已被证明的 O(1/k) 函数值速率;而发射断层成像和显微去卷积中使用的一步滞后启发式并不提供这样的收敛或下降保证。
需要权衡的是计算成本。讨论部分指出,针对其他凸正则项高效计算加权负熵的 Bregman 近端映射,是推广到更大规模问题所需的未决事项,且一般情形的速率仍未证明。因此论文自身的优先级排序是:当一般凸正则项和单位步长都重要、且近端映射可计算时使用 R-BPG;把所报告的相对 BPG 的竞争力视为来自论文泊松成像实验的证据,而不是笼统的性能排名。
本文引用的文献
Right Bregman proximal gradient with application to Poisson inverse problems *
把 Bregman 近端梯度应用于镜像坐标重参数化得到 R-BPG;其加权负熵特化在单位步长下恢复 Richardson-Lucy 乘性更新,将其扩展到一般凸正则项,并在泊松情形下具有次线性 O(1/k) 函数值速率。
