帕累托稳定是梯度条件而非单一最优模型
深度网络中的多目标优化从同一组参数上的 m 个非负可微损失出发。由于这些损失通常相互冲突，没有任何单一参数配置能同时最小化全部损失，因此论文采用局部最优性概念：若某个点附近不存在能在不恶化其他目标的前提下改进某一目标的点，该点即为局部帕累托最优，该集合的像就是局部帕累托前沿。
论文的实际目标是更弱、可检验的帕累托稳定性条件。当损失梯度的某个凸组合为零时，该点即为帕累托稳定，即存在非负且和为 1 的权重，使加权梯度和为零。帕累托稳定性是局部帕累托最优性的必要条件，在凸性假设下才成为充分条件，因此论文报告的是帕累托稳定解构成的前沿，而非声称找到全局最优。
这一区分对理解下文所有结果都很关键。超体积和帕累托最优解数量描述的是方法恢复了多少权衡曲面，而不是它是否找到了唯一最优解。一个方法可能在其中一项指标上表现强、在另一项上表现弱，论文对两者都作了报告。
标量化每次训练只能恢复一种权衡
处理冲突损失的一种常见方式是标量化，它把向量问题压缩为编码偏好向量的单一替代目标。论文考察两种变体：线性标量化，即损失的加权和；以及平滑 Tchebychev 标量化，它使用平滑参数和乌托邦点，后者是各目标单独可达的理想值，在目标冲突时通常不可行。
两者不可互换。线性标量化只能恢复帕累托前沿的凸部分上的解，而 Tchebychev 标量化不受此限制。这正是论文在实验中同时保留 MOSEL-LS 和 MOSEL-CS 的原因，而不是把标量化当作单一设计选择。
成本问题是结构性的。先验方法针对固定偏好计算一个帕累托稳定解，每换一个偏好就需要重新训练；而后验方法旨在生成一组权衡解。MOSEL 被定位为后验方法，其卖点是在不付出逐偏好重训成本的情况下产出整个解集。
MOSEL 将表示学习与偏好对齐解耦
MOSEL 把后验多目标优化重新表述为一个双层问题，利用网络模块化将表示学习与目标偏好对齐解耦。把该双层问题表述为 Stackelberg 博弈，正是使原始后验问题能在一次前向-反向传播中求解的关键。
效率主张依赖时间尺度分离近似。它把精确双层优化中嵌套的二阶导数化简为标准梯度下降，从而在不增加计算成本的情况下达到帕累托稳定。论文指出 MOSEL 与 COSMOS 具有相同的渐近复杂度，时间为 O(e·m·p)、内存为 O(e·p)，其中 e 是训练轮数，m 是目标数，p 是网络参数量，因为两种方法每个梯度步都对 m 个目标做一次前向和反向传播。
拆分架构在参数上并非零成本，但开销很小且经过测量。在多任务基准上，MOSEL-LS 和 MOSEL-CS 相对等权训练增加 4,320 个参数，COSMOS 增加 708 个，而若干基线不增加参数。三个多任务数据集上的相对时间约为等权训练的 1.1 至 1.4 倍，GPU 内存比接近 1.0。
在公平性-准确率上 MOSEL 追平或超越 COSMOS
强冲突场景是公平性与预测性能之间的权衡，其中机会均等差异等指标与准确率直接冲突。论文在 Adult、COMPAS 和 Credit 三个以性别为敏感属性的表格公平性基准上评估，并在图像数据集 FairFace 上以种族为敏感属性预测性别。训练目标是作为准确率代理的二元交叉熵，以及作为公平性代理的 DEO 可微双曲正切松弛；测试时报告误分类误差和 DEO。
在 25 条均匀分布的测试射线上与 COSMOS 比较，MOSEL-LS 和 MOSEL-CS 在各数据集上的超体积和帕累托最优解数量均追平或超越它。差距在 FairFace 上最明显：COSMOS 坍缩为近乎退化的前沿，训练损失上的相对超体积为 0.193、测试误差上为 0.176，而 MOSEL-LS 达到 0.987 和 0.701，MOSEL-CS 达到 0.998 和 0.734。
Hardt 等人的后处理基线在某些情况下超体积仍有竞争力，例如 Default 和 FairFace 的测试误差，但通常产生更少的非支配解。在 Adult 上，它的解集中在低不公平度但高误差的狭窄区域，论文认为这限制了其实用价值。因此相关比较不只是峰值超体积，还包括决策者实际能考察多少权衡曲面。
多任务学习中 MOSEL 更接近乌托邦点
多任务学习处于弱冲突状态：联合训练可以通过正迁移改善任务表现，但任务特定损失也可能引发梯度冲突。由于冲突并非必然，为化解梯度冲突而设计的方法，包括 GradNorm、FAMO、NashMTL 和 PCGrad，甚至可能损害性能。论文用这一场景论证 MOSEL 在无需事先了解冲突结构的情况下能适应两种状态。
在两任务设置中，MOSEL 通过利用正迁移收敛到更接近乌托邦点的解，在不增加计算成本的情况下超越标准单目标训练和专门的多任务学习方法。测试时帕累托前沿绘制任务特定误差，灰色虚线标记每个任务可达的最佳单任务性能，其交点标记单任务基线；正迁移使方法能超越该基线，论文报告 MOSEL 取得最大改进。
可扩展性在 CelebA 上测试，该数据集包含超过 200,000 张名人图像，标注 40 个二元属性。论文报告了最相关和最不相关任务集在联合优化任务数从 1 增至 10 时相对单任务基线的逐任务准确率改进，取 5 个随机种子的平均。论文还报告，当目标数从 2 增至 10 时运行时间大致恒定、峰值内存仅略微增加，且相关与不相关特征设置下内存相同。
Dirichlet 参数在超体积与前沿分布间权衡
MOSEL 随机采样偏好，Dirichlet 参数 α 控制这些样本的集中程度。消融实验显示其影响依赖场景。在强冲突设置中，性能随 α 增大而显著下降，尤其在线性标量化下：在 Adult 上，超体积从 α=0.5 时的 0.939 降至 α=1.2 时的 0.816；在 COMPAS 上降幅更剧烈，从 0.920 降至 0.164，表明当偏好样本集中在单纯形中心附近时几乎完全无法发现多样的权衡解。
在 Tchebychev 标量化下情况不同。Adult 呈类似下降趋势，从 0.819 降至 0.524，而 COMPAS 在所有 α 值下都保持稳定，超体积高于 0.920。两个多任务数据集对 α 基本不敏感：Multi-Fashion 实际上保持不变，Multi-Fashion+MNIST 随 α 增大仅呈轻微上升趋势。
论文得出两点结论。第一，α 在目标强冲突且标量化函数对偏好单纯形几何敏感时影响最大，线性标量化比 Tchebychev 更敏感。第二，即使超体积保持稳定，增大 α 也会系统性地收缩极端解、降低前沿多样性，这种效应可能被聚合指标掩盖。论文推荐 α=0.5 作为稳健默认值，在所有数据集-标量化组合上取得最佳或接近最佳的超体积，并始终恢复最宽的极端解分布。
单次传播主张在 MLP、CNN 和 DistilBERT 上成立
效率主张在主基准之外也得到检验。在公平性感知的文本分类上，MOSEL 用 DistilBERT 在 CivilComments 的 10 万样本子集上评估，在线性标量化、α=0.5 下优化毒性预测和 DEO。DistilBERT 有六个 Transformer 块，评估了三个候选拆分点。MOSEL 无需架构修改即可扩展到该架构，在三个拆分点上取得一致的帕累托前沿质量，超体积为 0.419 至 0.423，标准差至多 0.011。
论文将此视为证据，说明 MOSEL 不依赖特定架构的分解，而是利用现代神经网络共有的模块化结构，在自然块边界（如残差阶段或 Transformer 块）处进行划分。将实证验证扩展到基础视觉-语言模型和大语言模型被留作未来工作。
有两条边界限定这些结果。该方法依赖神经网络的模块化分解，这种分解可能不易设计，也未必对所有架构最优，探索自适应或学习到的分解仍是开放问题。另外，部署模型需要选择偏好向量，从而选定一种具体权衡，论文指出随着目标数增加这一决策愈发困难，仍是开放问题。
比较前沿多样性而非只看峰值超体积
论文自身的结果指向一个具体的阅读优先级。在 FairFace 上，COSMOS 与 MOSEL 的差别不在于能否找到好的权衡，而在于保留了多少前沿：COSMOS 坍缩为近乎退化的前沿，而 MOSEL 保留了明显更大的帕累托最优解集合。在 Adult 上，后处理公平性基线在超体积上可能有竞争力，但其解集中在低不公平度、高误差的狭窄区域。仅看峰值超体积无法区分这些情况。
第二个比较是场景。在强冲突的公平性-准确率设置中，标量化选择和 Dirichlet 参数 α 会实质性改变结果：随着 α 上升，线性标量化在 COMPAS 上急剧退化，而 Tchebychev 保持在 0.920 以上。在弱冲突的多任务设置中，同一 α 基本不起作用，相关问题变成正迁移是否比单任务训练和专门多任务基线更能把解推向乌托邦点。
论文给出的实用阈值是 α=0.5，它报告该值在所有数据集-标量化组合上最佳或接近最佳，并恢复最宽的极端解分布。单次传播前沿的实测代价是多任务基准上增加 4,320 个参数、时间约为等权训练的 1.1 至 1.4 倍。仍然悬而未决的决策是：前沿存在之后，该部署哪个偏好向量。
本文引用的文献
Learning Pareto Stationary Fronts via Single-Pass Backpropagation
MOSEL 通过把后验多目标优化表述为一次前向-反向传播求解的双层 Stackelberg 博弈，以标准单目标训练的时间和内存成本恢复完整的帕累托稳定解前沿，在公平性基准上追平或超越 COSMOS，并比单任务和专门多任务基线更接近乌托邦点。