[ICLR 2025] TORCHLEAN：定理证明器里的 PyTorch，终结神经网络验证的“语义鸿沟”

TL;DR

传统的神经网络验证（Verification）往往是在模型训练好后，“导出”到一个单独的工具中进行的。这种逻辑上的断层隐藏了深水区风险：万一导出时的算子实现和推理时的不一样怎么办？万一浮点数舍入误差积少成多导致验证结果作废怎么办？

TORCHLEAN 给出了硬核解法：在 Lean 4 定理证明器中重构整个 AI 开发栈。它让模型定义、执行、求导和验证共享同一个数学底座（中间表示 IR），并首次实现了对 IEEE-754 浮点数位级操作的全形式化建模。

痛点深挖：消失的语义一致性

在工业界标准的验证流程中，路径通常是：PyTorch代码 -> ONNX导出 -> 第三方验证器（如 Marabou）。

作者敏锐地指出这里存在三类致命伤：

1. 导出边界（Export Boundaries）：ONNX 等中间格式在转换时可能丢失控制流，或者其算子实现（Opset）与 PyTorch 运行时存在微妙差异。
2. 浮点数陷阱（Floating-Point Mismatch）：主流验证器往往假设实数运算，但实际部署是在有限精度的浮点数硬件上。即使差 1 纳秒的舍入，也可能被对抗样本利用。
3. 碎片化的认证：缺乏一个能够同时处理物理约束（PINN）、控制理论（Lyapunov）和鲁棒性的统一化数学环境。

上图展示了标准流程（易漂移）与 TORCHLEAN（单 IR 闭环）的区别。

Methodology：在 Lean 4 中构建神经网络的“元宇宙”

TORCHLEAN 的核心在于它将神经网络视为一等公民数学对象。

1. 类型即约束（NN.Spec）

不同于 PyTorch 在运行时才报错形状不匹配（Runtime Error），TORCHLEAN 在编译期通过 Lean 的依赖类型（Dependent Types）强制约束 Tensor α s。如果你的矩阵乘法维度不对，代码压根无法通过类型检查。

2. 算分秒不差的浮点数（IEEE32Exec）

这是本文最具技术含量的部分。作者实现了一个位级的浮点数内核。

• IEEE32Exec：在 Lean 内部模拟 IEEE-754 binary32 行为（包括 NaN、正负零、次正规数）。
• FP32/NF：提供可证明的舍入模型，用于分析误差如何在深度图中累积。

3. 可证明的自动微分

框架证明了一个关键定理：在一个 SSA/DAG 计算图上的 backprop 等于其 denotation 的伴随 Fréchet 导数。这意味着你用的梯度，在数学上是严格“正确”的。

图 2：TORCHLEAN 综合架构。可以看到执行、分析、证明三位一体。

实验与结果：从理论到安全关键场景

作者并没有止步于理论，而是将 TORCHLEAN 应用到了三个复杂的用例中：

• 认证鲁棒性：在 MNIST 任务中，TORCHLEAN 不仅计算边界，还能直接在 Lean 中生成并检查“证书”。其检查时间仅需 0.032ms，展示了作为“高可信检查器”的潜力。
• PINN 验证：在 Burgers 方程的科学计算中，利用 IBP 和 CROWN 算法首次给出了偏微分方程残差的严密区间边界。
• 神经控制器：验证自动驾驶中的控制策略是否满足反向稳定性（Lyapunov 稳定性），确保系统永远不会跑出安全区。

表 2：VNN-COMP 风格的测试结果，展示了与 α-CROWN 的兼容性。

深度洞察：为什么这很重要？

以往的 AI 验证更像是一种“事后审计”，而 TORCHLEAN 提倡的是**“原生可验证建模”**。随着 AI 进入自动驾驶、医疗诊断等生命攸关的领域，我们需要这种从硬件位级语义到高层逻辑的全栈一致性。

局限性：目前 TORCHLEAN 的算子覆盖面（Operator Set）还不如原生 PyTorch 广泛，且在超大规模模型的分布式训练上仍有性能差距。但正如 Lean 的 mathlib 改变了数学形式化一样，TORCHLEAN 为“形式化 AI 工程”铺平了道路。

总结

TORCHLEAN 的出现标志着 AI 开发正在从“炼金术”向“精密工程”演进。它通过消除模型代码与数学证明之间的 gap，让我们第一次能够在大规模神经网络上谈论真正的“绝对安全”。