逻辑神经网络适合粒子探测器中的可重构片上推理吗?

在SmartPixels基准上,逻辑神经网络以约19倍更少的FPGA逻辑资源达到相当精度,抗比特翻转更强,三层可重构可保留99%精度。

直接答案

有条件地适合。在SmartPixels基准上,逻辑神经网络(LNN)以约19倍更少的综合后FPGA逻辑资源,达到了与量化算术网络相当的平衡准确率,在随机输入比特翻转下退化更慢,并且可以在制造后实现部分可重编程。代价是可重构性会消耗资源,而且硬件数据来自FPGA综合,而非已流片的ASIC。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

探测器读出难题背后的核心问题

未来的粒子物理对撞机预计以40 MHz的事件率运行,其像素探测器将包含数十亿个读出通道,而辐射损伤会逐步改变这些探测器的响应。在这样的速率下集中处理并不可行,因此分类器必须位于芯片上,处于严格的空间和功耗预算之内,并且部署后仍可更新。

论文要问的是逻辑神经网络是否适合这一角色。LNN不依赖乘累加算术和非线性激活,而是学习AND、XOR等布尔函数或查找表,这些可以直接映射到数字电路。作者在公开的SmartPixels基准上评估了稠密QKeras、稠密LNN和卷积LNN分类器,比较了分类性能、综合后FPGA资源占用、对随机比特翻转的鲁棒性,以及一种新的可重构机制。

训练后的LNN如何变成数字电路

本研究中的所有LNN只使用2输入查找表,即所谓逻辑门,连接方式随机且固定。输入通过分布式阈值化被二值化为每个特征100个有序阈值。训练时每个门是所有16种二输入布尔函数的softmax加权和,并用模糊逻辑求值以保持可微;推理时softmax被其argmax取代,产生离散电路。

稠密模型使用14个高层输入特征,卷积模型使用13x8时间剖面加一个高层特征。硬件成本通过在Xilinx VU13P上进行FPGA综合来估计,请求时钟周期为4.1667 ns,约240 MHz,禁用DSP模块,并以LUT加触发器总数作为逻辑资源代理。输入预处理、I/O与布线以及下游决策逻辑不计入,布局布线和时序收敛留待未来工作。

同等精度下逻辑资源约少19倍

在相当的平衡准确率下,稠密LNN为0.807,QKeras为0.798,稠密LNN需要14,418个LUT加触发器,而QKeras需要275,815个,资源占用约低19倍。在整个架构扫描中,稠密LNN的平衡准确率超过0.81,同时仍处于数万资源的量级。

这一效率提升对时间分辨表示尤为重要。此前的SmartPixels工作发现,八剖面卷积模型相比稠密单剖面模型提升了性能,但参数量增加约36倍,该卷积架构未被纳入硬件实现。在这里,卷积LNN使用相同的105输入、八剖面表示,所需综合后资源与稠密LNN相当,并达到超过0.84的平衡准确率。

比特翻转鲁棒性取决于输入编码

故障被注入每个模型自身的数字输入表示:LNN为1,400个阈值编码比特,QKeras为14个输入的8位表示中的112个比特。因此报告的故障率是每个模型自身编码中被破坏比特的比例,而不是共同的物理剂量,每个非零点在五次独立完整测试实现上取平均。

在无故障平衡准确率相近的模型之间比较,LNN为0.807,QKeras为0.798,LNN退化明显更慢。在约10%输入损坏时,未做故障训练模型的平衡准确率分别降至约47%和36%(LNN和QKeras);经过故障感知训练后,它们分别保留约72%和46%。故障感知训练对两种架构都有帮助,但在该故障模型下LNN保持明显优势。

为何重训练LNN不只是改写寄存器

对传统算术模型而言,部署后重训练很简单:计算图固定,只有可写寄存器中的训练参数发生变化。LNN无法这样干净地分离。其效率很大一部分来自编译期对布尔计算图的压缩,折叠常量并合并冗余门,因此保留下来的拓扑本身是训练真值表的函数。重训练可能改变连接关系,而不仅仅是一组存储的系数。

所提出的机制让指定子集的门保持固定的二输入连接,但从一个小的运行时配置寄存器读取其四项真值表。每个这样的门变成带两个选择位和四个配置位的多路复用器,配置位存储在触发器中,而其余所有门保持永久固定。代价有直接部分,即多路复用器和寄存器逻辑,也有间接部分,即压缩的损失,因为可重构门不能再被折叠掉。

三层可重构保留99%的重训练精度

可重构性在稠密LNN上评估,该模型在未辐照的SmartPixels样本上训练,并在两个累积注量(低和高)的样本上重训练。该数据集与效率和比特翻转研究使用的数据集略有不同,因此各节之间的绝对数值不能直接比较。

完全静态模型在漂移数据上退化,而无限制重训练可恢复基线性能。让每个门都可重构会使资源占用相对静态模型增加约17倍。事先知道重训练模型的oracle在规模相当的重训练模型中表现最好。在一个辐照情景下选择可重构子集并应用到另一个情景,相比完全不知道漂移没有任何优势。无知识方法表现得出奇地好:使用三个可重构层时,它以完全可重构37%的资源成本保留了完全重训练精度的99%,而且让整层可重构在帕累托意义上优于逐门标准。

FPGA综合只是代理,并非真实芯片

硬件结果使用FPGA综合作为片上实现成本的代理。要获得更现实的部署估计,仍需ASIC综合、布局布线和功耗分析,首个在eFPGA上集成LNN的片上系统计划于2027年流片。鲁棒性研究目前只覆盖输入比特翻转,应扩展到中间激活中的故障以及卷积LNN,可重构性也仅在稠密模型上评估。

进一步的优化可以通过学习连接和/或二值化阈值来实现;作者指出,一旦把数据I/O成本计入,学习阈值可能提升比特效率。这些是作为未来方向提出的,而非已证明的结果。

可重构性应花在整层上

本文与决策最相关的比较不是抽象意义上的LNN与算术网络,而是固定的可重构预算应如何分配。在所评估的漂移情景下,让整层可重构比选择单个门更好地利用了资源,而无知识的逐层策略与最佳部分知识替代方案相当,同时以完全可重构37%的成本保留了完全重训练精度的99%。

这使得层级别可重构成为探测器读出分类器应首先测试的优先方向,但需注意该结论基于FPGA综合估计,以及两个累积注量下重训练的稠密LNN。效率和比特翻转结果支持LNN作为候选架构;可重构结果则说明如果采用该架构,灵活性应放在哪里。

本文引用的文献

1

Reconfigurable On-Chip AI for Particle Physics Detectors with Logic Neural Networks

稠密LNN以约19倍更低的综合后FPGA逻辑占用达到量化QKeras的精度,在随机输入比特翻转下退化更慢,三层可重构设计以完全可重构37%的成本保留了完全重训练精度的99%。