二阶优化能否训练变量投影 SVM 检测路面异常？

核函数为何让训练变难

变量投影支持向量机（VP-SVM）把 SVM 分类器与一个自适应特征变换组合在一起。该变换把每个输入信号映射到低维空间，其参数具有物理含义；在这项应用中，这些参数描述拟合轮胎传感器波形的自适应 Hermite 函数。变换参数与 SVM 权重一起优化，因此模型保留可解释的参数，而不是深度网络常见的数千万参数。

代价体现在数值计算上。核方法要构建一个核矩阵，其规模随训练信号数量增长；在 VP-SVM 中，核还依赖可学习的变换参数。论文指出，此前的 VP-SVM 方案通过随机次梯度方法优化一个简化目标来应对这一问题，作者认为这可能带来次优的分类效果和较弱的可解释性。因此论文提出的问题很具体：二阶信息能否让这种训练既更省又更好？

解析导数取代有限差分

论文的技术贡献是一组解析公式，用于计算二阶优化器所需的导数。它推导了 Moore-Penrose 伪逆和变量投影算子的二阶导数，以及原始二次 VP-SVM 目标的 Hessian。论文还给出目标各项对变换参数的一阶和二阶偏导数（假设核二阶可微），以及同时对 SVM 权重和变换参数求导的混合导数。

这一点很关键，因为信赖域方法需要曲率信息来选择步长。以闭式形式提供这些信息而不是近似它，求解器才能利用变量投影问题的结构。作者表示，虽然结果以 VP-SVM 表述，但可推广到任何核依赖可学习参数的核方法模型。

5,171 条轮胎传感器信号基准

评估使用一个包含 q = 5,171 条一维信号的数据集，信号采集自布达佩斯公共道路网络。每条信号是植入轮胎的力传感器产生的电压变化，因此反映轮胎形变；信号被切分为单个轮胎转动周期，并零填充为等长、紧支撑的波形。任务是识别坑洼或凸起等路面异常。

模型仅用五个 Hermite-Fourier 系数表示每条信号，这些系数由自适应 Hermite 函数构建。论文提到，此前一个基于 VP 的神经网络使用十一个自适应 Hermite 函数，在该数据集上达到平均 97% 的准确率。这里的比较不是与该网络对比，而是在更简单的 VP-SVM 的两种训练方案之间进行，两者都用 5 折交叉验证评估。

信赖域在准确率与迭代次数上胜出

表 1 报告了平均准确率、各折最小与最大准确率、平均梯度范数、迭代次数和实际耗时。信赖域方法在 15 次迭代、1.73 秒内达到 95.5% 平均准确率（范围 92.2% 至 98.1%），平均梯度范数为 9.16e-04。梯度下降需要 1,000 次迭代、13.63 秒才达到 92.1% 平均准确率（范围 90.3% 至 96.2%），平均梯度范数为 8.24e-04。

梯度下降的中间结果清楚显示了权衡：25 次迭代在 0.33 秒内给出 72.3% 平均准确率，250 次迭代在 3.39 秒内给出 88.2%，500 次迭代在 6.78 秒内给出 91.3%。因此梯度下降在极小迭代预算下更便宜，但要接近信赖域结果，需要大约多两个数量级的迭代和约八倍的训练时间。论文还报告了另一次信赖域运行：25 次迭代、96.3% 平均准确率、梯度范数 2.24e-04、耗时 5.39 秒，说明这一优势并不局限于单一预算。

更简单的模型接近此前的 97%

作者把准确率结果定位为有竞争力，而非更优。他们的 VP-SVM 使用五个 Hermite-Fourier 系数，而此前基于 VP 的神经网络使用十一个自适应 Hermite 函数，在同一数据集上平均准确率为 97%。作者称，信赖域训练的 VP-SVM 的 95.5% 均值接近这一当前最佳水平，且模型简单得多。

这是不同模型类别和特征数量之间的比较，不是受控的正面对比，因此应把它看作训练结果的背景，而不是 VP-SVM 是更好分类器的证据。论文自身的受控比较是在同一 VP-SVM 设置内比较求解器。

证据覆盖到哪里为止

所有实验都在一台工作站上运行，配置为 Intel Xeon W-2123 CPU @ 3.60GHz、64 GB 内存、Python 3.10.12 和 PyTorch 2.4.0（使用自动微分），所有模型都在 CPU 上训练。因此报告的时间只适用于该硬件和实现，论文没有报告多硬件或大规模扩展研究。数据集是来自布达佩斯道路的一组轮胎传感器信号，所以准确率数字描述的是该基准，而不是一般意义上的路面异常检测。

论文也没有报告求解器之间的统计显著性检验；比较依据是五折交叉验证的均值和范围。向其他参数依赖核的推广是作为推导的性质陈述的，并未在此进行实验验证。

迭代次数成为瓶颈时选信赖域

论文中与决策相关的区分在于迭代预算与每次迭代成本之间。如果约束是优化器步数，信赖域方法显然是选择：15 次迭代产生 95.5% 平均准确率，而梯度下降 25 次迭代只产生 72.3%，需要 1,000 次迭代才达到 92.1%。如果约束是在极小预算下的实际耗时，梯度下降 25 次迭代的 0.33 秒比论文报告的任何信赖域运行都便宜。

对于这项轮胎传感器任务上的 VP-SVM，实际优先事项是预先支付曲率信息的成本，而不是运行许多廉价的一阶步骤。论文自身的表述支持这一解读：作者旨在证明选择恰当的二阶方案能大幅缩短训练时间，同时泛化能力提升；报告的数字显示迭代次数更少、平均准确率高于梯度下降基线。

本文引用的文献