稀疏视角 3D 动物行为表征能提升神经编码吗？

2D 行为特征为何留下未解信息

行为是研究大脑的主要窗口，大规模视频记录让细致的行为测量成为可能。论文梳理了两类常见的视频转特征方式：姿态估计追踪预先定义的关键点；非线性视频嵌入保留更丰富的信息，但难以解释。姿态追踪可解释，却丢弃了所选关键点之外的全部信息；非线性嵌入保留更多细节，却难以用于科学解读。

这两类方法通常都只处理动物的 2D 投影，而动物实际是在三维空间中运动。论文认为，只有把行为放到 3D 中刻画，才能消除视角歧义，并恢复仅凭 2D 观测无法推断的细微动作。因此，目标是得到一种同时具备密集、可解释和三维三个特点的表征。

双相机视角是 3D 恢复的困难情形

双视角成像是动物行为实验中的常见配置，相比更大的多相机系统更便宜、更紧凑、也更易部署，同时也是通过立体重建恢复 3D 运动学的最小配置。但这份数据中的两个视角重叠有限，主要覆盖鼻子、前爪和转轮。

现有 3D 基础模型是在视觉重叠密集、往往十个以上视角的数据集上训练的，因此在这里表现吃力。论文报告了双相机 IBL 数据上的具体失败模式：Depth Anything 3 能生成看似合理的单目点云，却无法推断用于跨视角融合的相机位姿；零样本使用的 VGGT 退化为单视角的 2D 捷径解；E-RayZer 出现类似失败，即便经过微调，产出的点云也相互重叠且被压平。SABLE 正是为填补这一空缺而设计。

SABLE 如何强制形成真正的 3D 结构

SABLE 是一个自监督框架。第一个多视角 Transformer 从输入视角预测相机内参和外参，并转换为射线 token。这些射线 token 与 DINOv3 编码器输出的图像 token 融合，在 patch 级别加掩码，再送入第二个多视角 Transformer，生成具有 3D 结构的嵌入。高斯泼溅解码器把这些嵌入转成逐像素的 3D 高斯基元，再由可微渲染器投影回 2D 图像。

关键补充是几何正则化。由于从稀疏、重叠极少的视角做重建本身是病态问题，仅靠重建损失常常退化为平凡的 2D 解。因此 SABLE 用伪点云监督预测点云：伪点云由单目深度估计生成，借助动物姿态关键点作为对应关系跨视角对齐，并用 Kabsch 算法估计刚体变换完成合并。随后几何损失把预测点云拉向这一伪目标。论文的消融结果很直接：去掉几何损失，重建就会退化。

SABLE 的掩码策略也与 E-RayZer 不同。E-RayZer 掩掉整个视角，但在双视角设定下，去掉一个视角就只剩单视角，几何约束不足，会导致 2D 塌缩。SABLE 改为在两个视角上同时做 patch 级掩码，以保留跨视角上下文。

神经基准实际测量的是什么

评估使用两个数据集。在 IBL 上，分析覆盖 3 只小鼠、6 次探针插入的 2,619 个单元，涉及 37 个解剖区域。神经活动从三个留出会话中各随机抽取 400 次试验，共 1,200 个 1 秒试验；脉冲序列按约 16.7 ms 分箱（每个试验 60 个箱，与 60 Hz 视频帧率一致），平均放电率低于 5 Hz 的神经元被排除。行为测量包括转轮运动，以及来自同步左右相机的视频姿态估计。

编码与解码是两种不同的指标，不应混为一谈。神经编码以每脉冲比特数报告，考察行为表征能在多大程度上预测神经活动；解码以 PSNR 和 SSIM 报告，考察神经活动能在多大程度上重建行为。一个模型可能在一项上表现好而在另一项上不佳，因此论文的结论同时依赖这两项。

Cheese3D 提供第二项检验：六路同步相机拍摄头部固定的小鼠，以 100 Hz、1280×1024 分辨率记录整个面部运动，并降采样到 60 Hz。10 个没有神经记录的会话（约 5,500 对同步帧）用于训练，唯一带神经记录的会话用于编码评估。为模拟 IBL 的挑战，作者选取重叠有限的左上和右上两个视角。

SABLE 在何处胜出，以及为何不是模型规模

论文报告，在 IBL 和 Cheese3D 上，SABLE 学到的 3D 表征在神经编码与解码上达到或超过此前最先进方法的水平。在重建方面，SABLE 恢复了跨视角一致的几何结构，在深度上把前景与背景分开，并避免了基线中出现的退化解。在 Cheese3D 上，DA3 的两片点云在鼻子附近配准错位，VGGT 则让背景几何与小鼠混在一起。

模型规模消融回应了一个显而易见的替代解释。作者对比了基于关键点的模型、ResNet-AE-18 自编码器和 ViT 掩码自编码器（BEAST），并进一步测试更大变体：ResNet-152 和 ViT-Large 版 BEAST。增大模型规模并未提升两个基线的表现，而 SABLE 在编码和解码指标上都优于最好的 ResNet-AE 与 BEAST 变体。论文据此认为，优势不能简单归因于扩大骨干网络，而指向表征学习架构本身。

零样本迁移成立，但动物范围很窄

在跨动物预训练之后，SABLE 可作为现成模型使用，无需针对具体动物校准或重新训练，就能零样本泛化到未见过的动物。这是一项有实际意义的性质：实验室不必收集带标注的 3D 数据，也不必为每只动物重新训练，就能获得 3D 行为嵌入。

但适用范围比这句话本身更窄。论文指出，SABLE 目前只应用于头部固定的小鼠数据集；扩展到自由活动的动物和其他物种留待未来工作。因此零样本结论适用于这一头部固定设定下未见过的老鼠，而不适用于新物种或无约束行为。该框架也并非只能处理两个视角：附录报告了在 IBL 上微调后的单视角重建，以及在 Cheese3D 上仅用 6 个视角中的 3 个进行重建；不过论文指出六视角情形因相机重叠大而较为简单，E-RayZer 在那里本就表现良好。

优先项是几何监督而非更大骨干

论文中最具决策价值的比较，不是 SABLE 与更大模型之比，而是 SABLE 有无几何正则化之比。消融显示，去掉几何损失会让重建退化；模型规模消融显示，扩大 ResNet-AE 或 BEAST 并不能缩小差距。对于想改动稀疏视角行为流程的读者，证据指向由单目深度和姿态关键点对应关系构建的几何归纳偏置，正是它让 3D 恢复成为可能。

这一优先项也带有论文自己划定的边界。几何信号来自作为冻结预处理使用的外部深度与姿态模型，所展示的收益来自双视角重叠极小的头部固定小鼠数据。同样的几何监督能否迁移到自由活动的动物或其他物种，本文尚未检验，因此采用它的理由仍限于论文实际评估的稀疏视角、头部固定这一情形。

本文引用的文献