PrivTF：破解 Transformer 安全推理的效率瓶颈

TL;DR

随着大语言模型（LLM）的普及，如何在不暴露用户数据和模型参数的情况下进行云端推理成为了业界难题。本文介绍了 PrivTF，一个专门为 Transformer 架构定制的高效隐私保护推理方案。它通过一套精心设计的优化协议（包括 Embedding、Attention 和非线性激活函数），在保证 0.3% 以内 精度损失的同时，显著降低了计算耗时和通信带宽。

1. 痛点深挖：为什么 Transformer 的安全推理这么难？

在典型的 2-Party Computation (2PC) 场景下，服务器拥有模型，客户端拥有数据。现有的工作（如神经网络安全推理框架 Gazelle, Cheetah）在处理 CNN 时表现尚可，但在 Transformer 面前却显得力不从心：

• Embedding 墙：词表（Vocabulary）通常高达数万，传统的同态加密（HE）方法需要对整个矩阵进行线性运算，通信开销爆炸。
• 复杂的非线性算子：Softmax、GeLU 和 Layer Normalization 包含指数、倒数和平方根倒数，在密文域下极难高精度且快速地计算。
• 高维度矩阵乘法序列：Attention 机制涉及多组矩阵乘法（Q/K/V），每一层的累积误差和通信量是巨大的。

2. 方法论详解：PrivTF 的三大杀手锏

2.1 PrivEmbedding：利用预共享摆脱词表规模限制

不同于前人使用 HE 进行矩阵乘法，PrivTF 提出了一个直觉：Embedding 本质是查表。 作者利用伪随机函数（PRF）对词表进行掩码处理并预共享。在线推理时，客户端只需通过简单的 XOR 操作和 sAES 协议即可提取对应的向量，这使得通信复杂度与词表大小 $n$ 解耦，仅与向量维度相关。

2.2 混合位宽（Mixed Bitwidth）的 Attention 优化

PrivTF 发现 Attention 中的中间结果（如指数化后的概率）通常处于较小的数值范围。

• 策略：对于不同的层，不统一使用 64-bit，而是采用更小的位宽。
• 效果：在 MatMul 和 Softmax 协议中，这种非均匀位宽设计将运行时间缩短了 1.51-2.1 倍。

2.3 剥茧抽丝：GeLU 与 Pre-LN 的融合

针对 GeLU 激活函数，作者利用其 Sigmoid 表达形式的对称性（$extsigmoid(x)+extsigmoid(-x)=1$），极大减少了安全计算中的乘法器数量。同时，通过采用 Pre-norm 模式，将 LayerNorm 的线性部分融合进下一层算子，减少了数据截断（Truncation）的交互次数。

3. 实验与结果：实战表现如何？

作者在 LAN 环境下对 BERT-tiny, BERT-base, TF-base 和 ViT 进行了详尽测试：

• 端到端性能：在 BERT-base 模型下，相对于基线 Iron 框架，PrivTF 将执行时间从 3654s 压缩到了 2938s，通信量减少了约 74GB。
• Embedding 优势：对于 $50257imes768$ 的超大词表，PrivTF 的计算耗时仅为 1.1s，而 Iron 需要 4.9s。

在 GLUE 基准测试中，PrivTF 展示了极高的数值稳定性。如下图所示，其生成的分类概率分布与明文结果几无差别，误差偏差小于 0.1。

4. 深度洞察与总结

PrivTF 的核心价值在于其针对性。它没有追求普适的加密方案，而是精准捕捉了 Transformer 的两个物理特性：

1. 查表稀疏性（Embedding 优化）；
2. 数值分布的局域性（混合位宽与对数域优化）。

局限性分析：尽管 PrivTF 表现优异，但其基于诚实且好奇（Honest-but-curious）的模型。在现实恶意环境下，如何设计具备抗剪裁（Malicious Security）且不严重损失效率的协议依然是未来的战场。此外，其 242GB 的通信开销对于边缘设备依然较重，未来结合模型蒸馏或量化技术将是必然选择。

Takeaway：Transformer 的隐私外包推理不再是理论上的“不可跨越之山”，PrivTF 为 NLP 服务的合规上云提供了一条切实的工程化路径。