残差引导的自适应 Tucker 秩分配能否高效改进 MCI 转化预测？

3D 适配器容量该放在哪里

这篇论文要回答的是：在冻结的预训练 3D 卷积网络中，少量可训练适配器参数应当分配到哪些层。下游任务是预测轻度认知障碍（MCI）患者是否会在 36 个月内转化为阿尔茨海默病，数据来自阿尔茨海默病神经影像学倡议（ADNI）队列，编码器则先用海马分割任务预训练。

具体目标是每个被适配卷积核的通道结构。在通道模式 Tucker 适配中，一次核更新分别用输入通道秩和输出通道秩表示，空间核维度保持不变。这两个秩共同决定共享核心张量的大小，因此它们的参数成本相互耦合。固定比例分配只根据通道维度设定两个秩，不检查由此得到的容量能在多大程度上表示下游更新；这篇论文改用实测的近似残差来选择秩对。

代理更新把残差变成分配分数

方法先从下游训练数据中学习任务特定的代理更新。这些代理更新不是最终的适配器，而是一个校准信号，用来显示下游任务希望每一层发生什么样的变化。对每一层，方法尝试若干候选输入/输出秩对，并在这些秩下用 Tucker 分解近似代理更新。

近似误差就是重构残差。每个平方残差都除以对应的代理更新能量，这样方法比较的是各层之间的相对近似误差，而不是偏向更新幅度更大的层。扰动分析用这些逐层重构残差，给出固定代理网络与其 Tucker 近似之间输出差异的上界，这是论文所述残差引导分配的依据。该上界用于理论论证；分配器本身使用的是实际 HOSVD 重构残差。

动态规划在预算内选出最优秩组合

候选秩对由锚点秩乘以一组有限倍数生成。每个候选都带有精确的参数成本，其中同时计入两个通道因子和共享 Tucker 核心。共享预算设为参考固定比例分配的成本，因此自适应版本和固定比例版本是在同一上限下比较的。

在该上限下为每层选择一个候选，属于多重选择背包问题。剔除被帕累托支配的候选后，一个以整数预算为索引的动态规划最小化归一化残差之和，并回溯得到指定候选集上的全局最优分配。在报告的 seed-42 配置中，选中的秩用掉了共享适配器预算的 99.93%，剩余 270 个参数未使用。论文指出，由此形成的逐层分配模式反映的是代理重构质量和耦合的参数成本，而不是解剖或预测重要性的直接度量。

相同适配器预算下取得更高 AUC

在五个随机种子上，残差引导 Tucker 的平均 AUC 为 0.7706，样本标准差为 0.0381。使用相同 61.8 万可训练参数的固定比例 Tucker 为 0.7239（标准差 0.0093），使用 4269.1 万可训练参数的全量微调为 0.7430（标准差 0.0099）。因此自适应方法在平均 AUC 上超过了两个对照，但其种子间波动大于任一基线。

其他报告指标的变化方向并不一致。平均准确率升至 0.7035，平均 F1 升至 0.6763，固定比例 Tucker 则分别为 0.6561 和 0.6046。平均敏感度从 0.5736 升至 0.6755，平均特异度则从固定比例 Tucker 的 0.7279 降至 0.7279，全量微调为 0.7639。由于敏感度和特异度回答的是关于错误的不同问题，AUC 的提升不应被理解为每一项操作特性都一致改善。

归一化与共享组件解释部分增益

一项消融实验单独考察归一化步骤。在相同的适配器预算上限下，绝对残差分数得到的平均 AUC 为 0.7524，归一化残差分数为 0.7706，提高了 1.82 个百分点。平均敏感度从 0.6226 升至 0.6755，平均特异度从 0.7475 降至 0.7279。这一比较说明，残差在各层之间如何加权会影响结果，而不只是是否使用残差。

第二项消融把适配器与共享可训练组件分开，后者包括分类头、改变通道数的捷径连接和 BatchNorm 仿射参数。仅训练分类头时，用 6.6 万可训练参数取得 0.6820 平均 AUC；仅训练共享组件时，用 25.0 万参数取得 0.7250。加入残差引导 Tucker 适配器后，总参数为 61.8 万，平均 AUC 为 0.7706；固定比例 Tucker 加相同共享组件则为 0.7239。

内存节省伴随相近的前向计算成本

在评估的 seed-42 配置中，适配器包含 36.8 万参数，使总可训练参数达到 61.8 万，占完整模型的 1.45%。最终训练期间的峰值分配内存为 2.235 GiB，相比全量微调的 2.703 GiB 降低 17.31%。

计算方面的情况更为复杂。一次冷启动前向传播需要 3162.03 亿次浮点运算（GFLOPs），全量微调为 3138.01 亿 GFLOPs，额外成本来自适配器重构。缓存重构后的更新可将热启动前向成本降至 3138.01 亿 GFLOPs，与全量微调相同。在 seed-42 运行中，准备工作包括模型设置、校准、秩分配和最终模型初始化，耗时约 26 秒，占总准备和训练时间的 1.5%。论文的限制部分也指出，稠密前向计算仍与全量微调相当，且校准会增加准备时间和临时内存需求。

证据适用到哪里为止

报告的对比仅限于所评估的 ADNI 队列和实验配置，使用海马分割预训练和 36 个月转化标签。作者指出，要用于常规临床人群，还需要进一步验证，并需跨队列、架构和参数预算进行评估。五个种子刻画的是该设定内的训练波动，自适应方法更大的 AUC 标准差属于这种波动的一部分，而不是一项独立的临床结论。

在这些边界内，这篇论文的独特重点在于分配规则，而不只是适配器形式。固定比例 Tucker 与残差引导 Tucker 共享相同预算和相同共享组件，因此 0.7706 对 0.7239 的平均 AUC 差异，分离出了用归一化代理残差选择通道秩所带来的效果。绝对残差的结果 0.7524 进一步表明，归一化步骤确实起了作用。因此，在比较参数高效的 3D 适配方案时，读者应把任务条件化的秩选择，而不只是低参数数量，视为本研究支持的结论。

本文引用的文献