仅凭fMRI与相机运动，能否重建三维房间布局？

不借助任何视频帧恢复墙面距离

多数输出三维结果的fMRI解码器重建的是一张图片或一个孤立物体。这项研究问的是另一个问题：把受试者观看室内漫游视频时的大脑反应，与已知的相机运动路径结合起来，能否恢复模型从未见过的房间的度量几何？这里的“度量”很关键：墙面必须落在正确的距离上，从不同位置看到的画面必须描述同一个空间。

作者认为这件事难在三点：视角每秒都在变化；fMRI测量的血氧水平依赖（BOLD）信号会把数秒的信息混在一起；可用的记录很少。因此方法并不直接解码深度图，而是解码一个紧凑的布局编码，每秒22个数字，描述墙面距离、地面范围、开口和深度范围，之后再把这个编码转成深度图和三维表面。

论文把这项工作称为同类任务中的首次：仅凭相机轨迹和fMRI信号重建留出场景的三维布局，输入中不含任何视频帧。这一主张针对的是一个新任务和首个可行方法，而不是一个已经解决的问题。

layout r 衡量深度相关性，而非表面精度

核心指标是 layout r，定义为预测的对数深度与光线投射得到的对数深度之间的皮尔逊相关系数。光线投射是几何参照：在已知相机位姿下，真实房间几何决定每个像素的深度。因此 layout r 问的是，预测的深度顺序和间距与这一参照有多吻合，并在场景层面汇总。

这与表面精度不是一回事。论文另外报告了表面指标，包括25厘米阈值下的F-score、精确率、召回率和以米为单位的Chamfer距离，都在合并后的三维表面上计算。这些指标的表现与 layout r 不同，论文明确指出，表面分数区分各方法的能力远弱于布局分数。

把两者分开很重要。一个方法可以提高 layout r 而表面精度不变，论文对自己布局组件的报告正是这种模式。

把神经布局编码与相机自由空间融合

DRAFT有两个输入。第一个是用岭回归从早期视觉皮层（EVC）读出的紧凑布局编码，特征为16个主成分得分，再加上12个相机运动回归量。EVC反应逐点映射图像，因此携带与深度相关的图像结构。第二个输入是相机路径本身：每个到过的位置都是自由空间，所以轨迹显示了墙不在哪里。作者把它当作学习到的先验，而不是对墙面距离的硬性约束。

融合方式刻意采用先粗后细。编码先被渲染成粗略深度，一个在真实读出误差上训练的小型生成器为连续八个视角补充细节，随后DRAFT用由编码和相机路径预测出的3×3布局，替换这些视角中低空间频率的宽泛结构。各视角按已知位姿放入三维空间。

由于读出也使用了相机运动回归量，单看融合增益并不能分离出大脑的贡献。作者加入两个保留运动回归量的对照：把EVC特征替换为其训练场景均值，以及把每段记录的BOLD序列循环平移80秒中的37秒。两者都在全部十个场景中降低了 layout r 和F-score。

相机路径提供了大部分布局信息

仅凭相机路径，轨迹头达到 layout r 0.446；DRAFT达到0.480。差距真实但不大，论文也直言大部分布局来自相机路径。

大脑的贡献用几种方式衡量。把EVC加入12个相机运动回归量后，layout r 在九个场景中从0.338升到0.440。把编码与轨迹布局融合，在全部十个场景中把 layout r 提高0.035，并在九个场景中降低像素MAE。替换EVC特征使 layout r 降低0.037、F-score降低0.036；平移BOLD序列使两者分别降低0.043和0.044。在读出层面，EVC增益在3至4秒的滞后处达到峰值，并优于全部20种循环平移。

在测试过的脑区中，EVC对编码的预测最好。每个掩膜取1,000个体素并加上运动回归量后，EVC在全部十个场景中优于仅用运动，并在九个场景中优于场景选择性区域OPA、PPA和RSC的联合。作者提醒，在没有功能定位或背侧运动区的情况下，这只说明各掩膜的排序，并不表明生物学因果。

DRAFT优于七个改造过的fMRI解码器

在十个留出场景、20名受试者上，DRAFT的 layout r 0.480高于七个改造过的fMRI解码器中的最好者（0.429）、固定模板（0.324）和单独生成器（0.303）。这一比较并非纯架构差异：与那些解码器不同，融合头拟合的正是 layout r 所评分的单元深度；即便给定经由轨迹布局的相机路径，各解码器在十场景均值上仍落后DRAFT 0.024至0.032。

这一增益不只是对室内房间的笼统猜测。室内视角有共同形状，地面近、墙面远，因此模板能猜对一部分布局。DRAFT在九个场景中优于固定模板，在全部十个场景中优于逐秒中位数，而Brain-Diffuser、MindEye和单独生成器都没有超过固定模板。

DRAFT还能作为插件使用，无需重新训练。把它应用到全部七个解码器上，可将其 layout r 从0.171至0.429的区间提升到0.487至0.493。对Brain-Diffuser而言，这在全部十个场景中把 layout r 从0.324提升到0.493，是报告中最高的基于fMRI的数值。作者指出，此时 layout r 主要评分的已是DRAFT布局本身，因此表面指标才是真正的检验。

表面精度区分各方法的能力弱得多

在合并后的三维表面上，图景收窄了。经过范围校准后，DRAFT在八个场景中Chamfer距离低于单独生成器，在全部十个场景中精确率更高，F-score相近。但在生成器自己选定的因子1.5下，DRAFT的Chamfer距离并不低于生成器。未修改的MindEye和Brain-Diffuser平均F-score略高于DRAFT，分别为0.494和0.492对0.484，Chamfer距离也更低，不过只有MindEye更低的Chamfer距离超出噪声范围。

表面分数的两个性质解释了这种压缩。第一，即使场景错误也能得高分：用另一个场景预测的深度、在评估位姿上抬升后，仍保留了大部分F-score，而正确场景只增加0.055至0.069。第二，分数奖励深度范围，来自VAE的解码图像达到真实范围的0.84，而岭回归布局只有0.46至0.54，这即使对错误布局也会提高召回率。

去掉深度尺度后，DRAFT在全部十个场景中的尺度不变深度误差低于轨迹头、生成器、Brain-Diffuser和MindEye。作者称这是一个低门槛，因为Brain-Diffuser和MindEye的尺度不变误差仍高于固定模板。

大脑增益只在两个留出场景中复现

论文自己的稳健性检验最能说明结果能走多远。在五个留出场景中，DRAFT在其中四个的绝对 layout r 分别为0.489、0.476、0.579和0.534，都落在十个开发场景给出的预测区间内。相对固定模板的优势在全部五个场景中复现；相对轨迹头的优势只在最初两个场景中复现；相对特征替换的优势在五个场景中的三个复现。

合并记录也很重要。在不合并的单次记录上，DRAFT在第一个场景的56段记录中胜过轨迹头31次，但在后续场景中只有24次中的10次、6次中的2次、24次中的10次和24次中的11次。相对路径的增益只在跨受试者合并记录时出现。

作者直接列出了边界：DRAFT需要已知相机路径和合并记录，是在这些场景上开发的，且若干分析为事后进行；其大脑增益无法在低层图像特征之外测得。该方法尚未在无约束或隐蔽解码条件下测试。

它是粗略布局先验，不是完成的房间重建

最站得住脚的解读是：相机运动已经携带了大部分可恢复的房间几何，fMRI在其上增加了一个小而一致的增量。这个增量在每个开发场景中都可见，并通过了两个大脑输入对照，但只在五个留出场景中的两个复现，且只在合并记录时出现。

这一排序改变了数字之间该如何比较。接近0.48的 layout r 是粗略的几何相关性，不是表面重建：同一篇论文显示，表面分数几乎无法把DRAFT与那些在 layout r 上明显落后的解码器区分开，也显示错误场景的深度图仍保留了大部分表面F-score。

因此论文确立的实际优先级是插件角色。DRAFT布局无需重新训练就改善了全部七个解码器，并让Brain-Diffuser和MindEye获得最好的基于fMRI的平均表面分数，其中Brain-Diffuser为0.499。对于想判断脑信号是否在已知轨迹之外还有贡献的读者，答案是：在合并记录、已知路径的条件下有一个小的“是”，而论文自身的复现记录就是值得关注的阈值。

本文引用的文献