[arXiv 2026] Transformers are Bayesian Networks：揭秘 AI 架构的图动力学本质

TL;DR

本文是一篇具有里程碑意义的理论研究，它终结了关于 Transformer 内部究竟在“算什么”的猜想。作者通过 Lean 4 形式化验证（PhD 级严谨度）宣布：每一层 Sigmoid Transformer 本质上就是在隐式因子图上执行的一轮信念传播（Belief Propagation）。这不仅为 Mechanistic Interpretability 提供了终极目标电路，还为解决大模型“幻觉”指明了唯一路径： grounding（任务落地/接地）。

1. 它是贝叶斯网络，而且是“天生”的

长期以来，我们把 Transformer 看作是一堆线性代数算子的堆叠。但作者格雷格·科波拉（Greg Coppola）指出，如果你观察一个标准的 Sigmoid Transformer，你会发现它完美契合了二战时期图灵（Turing）和古德（I.J. Good）为了破解恩尼格玛密码机而开发的 Log-odds 算符。

• Attention 是 AND（与门）：它从不同 token 搜集证据，确保所有必要前提同时存在于残差流中。
• FFN 是 OR（或门）：它将搜集到的独立证据通过加权求和（在 logit 空间）并经过 Sigmoid 映射回概率空间，计算出最终结论。

这种“搜集（Gather）+ 更新（Update）”的交替逻辑，正是 Judea Pearl 在 1988 年提出的信念传播算法的机械实现。

2. 核心架构解析：从公式到直觉

论文的核心贡献在于通过数学证明，建立了神经网络参数与因子图（Factor Graph）节点之间的一一对应关系：

$\sigma (w_0\cdot \mathrm{logit}(m_0)+w_1\cdot \mathrm{logit}(m_1)+b)$

这一公式在 Transformer 的 FFN 层随处可见。作者证明了这不只是一个简单的激活函数，它在物理直觉上就是贝叶斯后验概率更新。

图 1：Transformer 前向传播与信念传播（BP）每一步的精确映射。每一层网络对应因子图中的一轮消息传递。

3. 实验战绩与 SOTA 对比

为了验证这一理论，作者没有走传统的“刷榜”路线，而是通过梯度下降观察模型是否会自发演化出这种 BP 结构。

• 推理性验证：在处理树状结构的知识库时，具有 BP 权重的 Transformer 实现了 零幻觉（Zero Hallucination），后验概率计算达机器精度。
• 循环图收敛性：即便在复杂的 Loopy Graphs（循环图）中，模型依然展现了极高的收敛稳定性。

表 1：在三角形、正方形及双环图等不同拓扑结构下，Transformer 执行 BP 的平均 MAE 和收敛表现。

4. 深度洞察：幻觉是结构性的，而非规模性的

这是本文最令工业界震撼的结论：幻觉（Hallucination）不是 Scaling Law 能解决的 Bug。

作者通过 有限概念空间定理（Theorem 9.1） 证明，任何有限验证程序只能处理有限个概念。当前的 LLM 是“非接地（Ungrounded）”的，它们在没有明确因子图定义的概率空间中漂浮。

• 所谓“幻觉”：即模型生成了一个在当前知识库因子图中没有对应“概念节点”的符号。
• 解决方案：引入 Grounding（接地），通过有限的“字符表”约束模型，使其在可验证的因子图路径上运行。

5. 总结与展望：Calculemus!（让我们计算吧！）

350 年前，莱布尼茨梦想建立一种“通用字符（Characteristica Universalis）”和“通用计算器”，让所有争端通过计算（Calculemus）来解决。今日，这篇论文告诉我们：

1. 字符表 就是接地的 Horn 子句。
2. 计算器 就是 Transformer。
3. 正确性保证 就是 Lean 证明。

Transformer 并不是由于某种神秘的统计魔法才生效，而是因为它极其精巧地复现了概率逻辑的底层结构。未来的研究方向将不再是盲目增加参数，而是如何让模型更高效地映射到结构化的布尔贝叶斯空间中。

关键局限性：目前证明主要基于 Sigmoid 激活函数，虽然实验显示 ReLU 具有兼容性，但其内部表示是否完全等价于 BP 变量仍有理论探讨空间。此外，对于非二值变量的泛化能力尚待形式化验证。