NEF 预计算的是光照而非出射辐亮度
这篇论文的核心改动在于改变预计算的对象。此前的代理表示把离开光源的辐亮度存成 4D 近场代理,这免去了在光源组件内部采样路径的开销,但每个接收点仍必须在运行时对该代理积分。NEF 改为预计算相对于接收点的、已积分的出射直接光照,这里的接收点是光源周围空间中任意被着色的表面点。
该量被表示为神经场,参数包括接收点的位置、法线、视线方向和材质参数,并由一个以材质模型为条件的网络学习得到。由于接收点的 BRDF 被纳入学习目标,积分被转移到一次性的预计算阶段,一次网络求值即可替代对代理光源的整个积分。
双头网络一次求值给出无噪声无遮挡光照
网络结构分为漫反射与光泽两个头,使同一个网络能服务两类接收点。渲染时管线先执行 G-buffer 通道,取得每个着色点的位置、法线、出射方向和粗糙度;这些通道被变换到光源局部坐标系,编码后送入网络,得到相对于光源已预积分的出射辐亮度贡献。
结果是每个着色点一次网络求值即给出无噪声、无遮挡的直接光照。这与基于采样的估计器给出的保证不同:蒙特卡洛方法(包括蓄水池重采样)支持任意光源,但会留下残余方差,通常需要去噪器处理,而去噪器可能引入时间与空间伪影。NEF 完全避免运行时采样,把计算负担转移到一次性的、每个光源各自的离线训练阶段。
在光源局部坐标系训练使场可移植
训练在光源的局部坐标系中进行,世界空间的查询在着色时被映射到该坐标系,而不是烘焙进网络权重。因此训练好的 NEF 可以在运行时平移、旋转和等比缩放而无需重新训练,成为一个可在刚体变换下跨场景复用的可移植光照资产。
论文直接说明了这种经济性:一次训练可摊销到该光源被放置的每个场景和每个实例上,很像一张烘焙贴图或预计算 BRDF。内部互反射、自遮挡、空间变化的发射以及形变都被吸收进学到的表示中,且不增加运行时开销,因为训练阶段仅依赖路径追踪得到的辐亮度估计作为训练数据,同一套流程覆盖简单平面多边形、复杂发光网格和可形变光源组件。
平面光源上精度与解析参考一致
对于均匀发射下的漫反射接收点,论文报告 NEF 与解析参考一致,确认了在解析积分所能处理的情形上的准确性。对于光泽接收点,NEF 更大的容量使其在多个粗糙度取值下取得比线性变换余弦更低的渲染误差,作者将此归因于 LTC 残留的近似误差。
有一个区间仍然困难:粗糙度趋近于零的近镜面情形对有限容量的神经表示依然具有挑战性,论文指出补充材料中给出了低粗糙度下误差增大的例子。这一边界值得注意,因为它恰恰是光泽解析模型最接近精确的地方。
推理开销取决于发射场而非多边形数量
解析方法对低多边形光源极快,但其开销随光源顶点数线性增长,在高多边形光源的实时场景中变得难以承受。论文报告解析方法与光泽 NEF 之间的交叉点在 267 个光源顶点处,该对比见补充材料。
NEF 的推理开销则由网络规模而非光源多边形数量决定。作者指出,NEF 推理确实会随发射场复杂度增长,因为空间变化剧烈的光源需要更大或表达能力更强的网络,但这种复杂度通常远低于几何本身的复杂度:单纯细分发光网格会提高顶点数,却基本不改变其发射场,因此无论细分程度如何,同样的 NEF 容量都够用。论文中所有结果共用同一套网络配置,按最苛刻的情形(Pierced Sphere,其外壳互反射产生最难的信号)确定规模。
存储、训练时间与可见性分工
所有结果都使用同一套 NEF 架构,每个光源共 15 MB,光泽变体为 30 MB。对于较简单的光源,作者称这一体积往往过大且可以缩减。训练是一次性离线开销,从简单平面光源的约一分钟到带内部互反射光源的三小时不等,主要耗时在生成路径追踪训练样本;论文指出,由于目标是即时生成而非缓存,报告的训练时间已包含路径追踪的开销。
可见性与学到的场分开处理。与现有解析方法一样,NEF 本身不捕捉周围场景对发射场造成的遮挡。对简单光源,朝光源中心发一条阴影射线通常就足够;对软阴影,阴影贴图或小预算光线追踪配合去噪器可直接适用。论文报告,即使每像素只有 1 条阴影射线,配合 OptiX 去噪器作为比率估计器也能得到感知上准确的软阴影,继续增加样本收益递减。关键在于,阴影射线只需针对非光源的场景几何,因为 NEF 本身已把光源组件内部的自遮挡和互反射烘焙进去。
多光源与稀疏训练信号限制当前适用范围
包含 N 个光源的场景目前需要求值 N 个独立的 NEF 并求和,除非这些光源足够接近、可由单个 NEF 联合表示,因此开销随 N 线性增长。作者看到两条缓解途径:一是共享解码 MLP 学习从多个光源中分离隐变量,但朴素的先求和再解码方案在隐变量读取上仍保持线性开销;二是把 NEF 与光照层级结合以实现次线性扩展。
训练数据生成是另一个压力点。目标值通过对光源组件做路径追踪并配合下一事件估计产生。对于外壳几何比本文所展示的更复杂的光源——例如严重包裹发光表面或仅通过狭窄开口透光——这一策略可能产生稀疏的训练信号:大多数路径无法到达光源并贡献为零,网络只能从很小一部分有信息的样本中学习。论文提出,光线追踪可减少零辐亮度贡献,而自适应采样训练损失则能把训练数据集中到发射场的高频区域。
267 个顶点是实际决策阈值
这篇论文中最具决策价值的数字是解析积分与光泽 NEF 之间在 267 个光源顶点处的交叉点。低于该值,解析方法对简单多边形仍保持更低的逐帧着色开销;高于该值,其随顶点数线性增长的开销使 NEF 与几何无关的开销成为更优取舍。论文自身的表述支持这样理解:当超出平面几何时,通用性与计算效率变得尤为相关,而报告的时间只反映着色步骤,是在 RTX 4090 上以 1920×1080 和标准化架构测得,而非针对每个光源调参。
有两个条件限定该阈值。低粗糙度的近镜面区间仍是有限神经表示的弱点,因此光泽解析模型在那里可能仍更可取。此外,该交叉点针对的是无遮挡直接光照:场景级遮挡仍需阴影射线或去噪后的可见性预算,而场景中每增加一个光源就增加一次独立的 NEF 求值。在这些边界之内,论文的优先级很明确:付出一次性的、每个光源约一分钟到三小时的训练开销,换取一个 15 MB 或 30 MB 的可移植资产,其运行时开销不再随光源复杂度增长。
本文引用的文献
Real-time Rendering of Pre-integrated Neural Emitters
Neural Emission Fields precompute pre-integrated outgoing direct illumination around an emitter as a neural field parameterized by receiver position, normal, view direction, and material parameters, yielding noise-free unoccluded direct illumination from a single network evaluation per shading point and decoupling inference cost from emitter polygon count.
