每个模型一个权重，从预测中学习
OMA 把每个候选模型看作共享标签空间上固定的类别概率来源。它对各模型的预测概率做加权平均，得到集成分布，每个模型对应一个非负标量系数，所有系数之和为 1。只有这些系数被学习，所有基础模型保持冻结；预测结果缓存之后，方法既不需要模型内部信息，也不需要穿过模型做反向传播。因此，被优化的参数数量取决于候选模型有多少个，而不是模型有多大。
学习信号来自无标签目标集上的预测熵：目标函数奖励集中而非分散的集成预测。论文说明了为什么不能直接使用这一信号。由于熵是凹函数、混合对权重是线性的，单纯形上未加正则化的目标总存在单模型最优解，所以它本身并不偏好真正的集成，被选中的模型也未必最准确或校准最好。正则化因此是核心设计，而非装饰。
两种正则化把权重拉向参考
论文给出两种约束适应过程的方式。第一种是预测空间上的 KL 惩罚，把集成预测拉向一个参考分布；该参考分布由每个目标输入上各候选概率的逐坐标中位数构造，只从冻结预测计算一次并保持固定。它惩罚的是给参考所支持的类别分配过低概率，且只使用目标预测，不使用标签。第二种是权重空间上的 L2 惩罚，把权重拉向一个固定参考向量，该向量可以是均匀权重、近似的贝叶斯模型平均（BMA）权重，或依据源域表现构造的权重。
两者的区别决定了各自能起什么作用。中位数参考可能继承候选模型共有的错误，也不被假定为已校准。源域导出的参考反映模型在源数据上的质量，而论文指出，在分布偏移下这未必反映目标域的质量。两种惩罚都不直接优化校准，因此论文分别测量精度和期望校准误差，而不是把更低的熵当作预测校准更好的证据。
文本任务上校准优于均匀平均
在四个 GLUE 文本分类任务（MRPC、RTE、CoLA、SST-2）上，论文微调了四个模型——两个 BERT-base 变体和两个 funnel-transformer 变体——并使用带 KL 正则项的 OMA。报告的结果是精度与校准的权衡优于均匀平均。在全部四个数据集上，以期望校准误差为目标调参的 OMA，校准都好于输出平均，也好于每一个基模型；结果以五个随机种子的均值和标准差报告。
论文还报告 OMA 优于输出平均和单个最佳模型，并对比较保持谨慎：Model Soups 和 Fisher 合并使用的是不同架构，论文认为直接比较不合理，转而强调相对各自最佳模型的提升。有一个观察让权重的简单解读变得复杂：在校准最佳处学到的系数并不跟随单个模型的精度，精度更高的模型不一定获得更高权重。
图像上的提升小且依赖数据集
在图像分类上，论文把八个 OpenCLIP 视觉模型当作冻结的特征提取器，各接一个可训练的线性分类器，组成 16 个模型的候选池，即八个 MAP 估计和八个零样本模型。对线性分类器做 BMA，可提供一个可选的源域参考向量，从而考察源域信息加权与目标熵在分布偏移下如何相互作用。评估覆盖 ImageNet-1K 和五个偏移数据集：ImageNet-V2、ImageNet-R、ImageNet-Sketch、ImageNet-A 和 ObjectNet。
相对输出平均的精度变化不大，且并非全部为正。在零样本与 MAP 合并的候选池中，OMA 在 ImageNet-1K 上把 top-1 精度提高 0.37%，V2 上提高 0.26%，R 上提高 0.29%，ImageNet-A 上提高 2.15%，ObjectNet 上提高 2.10%，但在 Sketch 上下降 0.11%。只用 MAP 估计时，OMA 在 ImageNet-A 上提升 2.22%，在 Sketch 上下降 0.11%。只用零样本模型时，它在 V2 上下降 0.29%，在 R 上下降 0.05%。论文自己的总结是：合并两个候选池后，校准和精度总体优于均匀合并，但 Sketch 例外——那里校准误差更低，精度却更差。
熵更低不等于校准更好
论文的核心提醒是：最小化预测熵可能偏向自信却错误的模型，因为置信度提高并不必然意味着精度或校准改善。正则化在受评估的设置中可以降低期望校准误差，但论文指出，这一收益取决于任务和优化配置。由于拿不到目标标签，正则化本身并不保证目标域的校准。
这也是为什么报告的校准结果被限定为“选定的配置”，而不是普遍性质。论文报告这些配置下期望校准误差更低，精度与校准的权衡优于模型输出平均，同时明确不把熵降低等同于预测已校准。因此，比较方法的读者应把精度和校准当作两个独立指标，而不是用一个作为另一个的代理。
比微调便宜，但推理并非免费
论文把 OMA 定位为微调和参数空间合并的低成本替代，并给出具体的计算比较。在 A100 上微调 Model Soups 中的单个模型需要 3 天，而在 RTX 4090 上做 BMA 所需时间比 Model Soup 少 86.1%。比较微调全部 58 个模型与 BMA 中的八个模型时，Model Soup 需要 4176 小时，BMA 需要 80 小时，总运行时间减少 98.08%。论文也指出该比较中精度相近：Model Soup 在 ImageNet-1K 上达到 90.94，而使用 BMA 权重的 OMA 达到 89.19。
成本结构并非单向。包括 OMA 在内的输出合并在推理阶段比参数合并增加计算，论文承认所有输出合并方法都承担这一负担，并提到量化和剪枝作为可能的缓解手段。实验设计为图像任务在单张 24 GB 的 RTX 4090 上运行、文本任务在单张 16 GB 的 RTX A4000 上运行，这也是论文可及性论证的一部分。
目标自适应加权何时值得权衡
论文的证据支持一个有条件的优先级，而不是笼统推荐。当候选模型架构异构或其参数不可访问、参数空间合并不可用时，OMA 最明确有用；同时需要有可用于适应的无标签目标预测。在这种情形下，学到的权重能随目标分布调整，而均匀平均做不到；论文最强的精度提升出现在合并零样本与适应模型的 ImageNet-A 和 ObjectNet 候选池上。
同一批证据也划出了边界。相对均匀平均的提升常常只有零点几个百分点，在某些数据集和候选池上，即使校准改善，OMA 的精度也更差。由于方法优化的是无标签的熵代理，而正则化并不直接针对校准，论文自己的表述是：正则化控制适应过程，而不是保证预测更校准或更准确。实际读法是：在具体目标分布上把 OMA 与均匀平均做比较，并同时报告精度和校准，因为论文结果显示两者可能朝不同方向变化。
本文引用的文献
Revisiting Bayesian Model Averaging in the Era of Foundation Models
OMA 在无标签预测上最小化带正则化的预测熵，为每个冻结模型学习一个非负权重；在多数报告的图像候选池上精度优于均匀输出平均，在选定的文本配置上校准更好，但提升幅度小且依赖数据集。