预训练视觉-语言-动作模型能提升神经运动解码吗？

瓶颈在于配对的神经-动作数据稀缺

运动脑机接口的目标是把尝试运动转化为控制外部设备的信号。常规做法是学习一个从记录到的神经活动到运动学的任务专用映射，论文认为这种做法受限于配对的神经与动作记录稀缺。它提出的问题是：解码能否转而借用在大规模机器人数据上训练过的模型中的动作先验。

视觉-语言-动作（VLA）模型是这类先验的候选来源：它们从机器人演示和视觉-语言语料中学习动作策略。难点不在策略本身，而在接口。VLA 策略期望语言和视觉输入，因此论文需要一种方式，让神经活动以策略可用的形式表达运动意图。

语言表征成为神经意图的桥梁

BrainVLA 的核心做法是训练一个神经编码器，使其输出与对应运动意图的语言表征相匹配。编码器把脉冲活动池化为单个嵌入，训练使用双向的对称对比目标，即神经到语言和语言到神经两个方向，采用余弦相似度和可学习的 logit 尺度。语言嵌入来自冻结的 OpenVLA 词元嵌入，因此语义目标是固定的，不会与编码器共同调整。

得到的神经表征随后以 38 个神经槽位插入策略提示中，替换固定 53 词元提示里的占位嵌入。任务指令不进入策略输入；神经槽位承载意图，渲染观测承载不断变化的任务状态。论文称这一信号为内生信号，原因在于意图来自记录到的脑活动，而不是推理时提供的任务标签。

策略先被适配，再接受神经条件

在引入任何神经条件之前，作者先构建 VLA 兼容数据集：在已有的配对神经-动作记录上补充渲染观测和生成的语言指令。随后用 LoRA 微调把 OpenVLA-OFT 适配到目标动作空间，得到一个面向该运动任务的语言条件参考策略。

一项 oracle 检验说明了这一步为何重要。只给语言和视觉、不给神经输入时，OpenVLA-7B 加任务头在 D1 上达到 R² 0.86、成功率 0.85，在 D2 上达到 R² 0.39、成功率 0.99。加入 LoRA 后，D1 升至 R² 0.89、成功率 0.97，D2 升至 R² 0.49、成功率 1.00。因此适配后的策略是更强的起点，但它仍由指令和视觉驱动，而非由记录到的脑活动驱动。

轨迹拟合与任务成功衡量的是不同内容

评估在两个动作维度不同的神经运动数据集 D1 和 D2 上进行因果 rollout 解码，留出会话仅用于测试。报告两项指标：以原始速度单位为单位的方差加权 R²，奖励复现参考轨迹；以及任务成功率，考察解码出的动作是否完成预期任务。

这两项指标可能分离。在 D2 上，BrainVLA 达到 R² 0.46、成功率 1.00。作者解释，视觉引导的策略可能较早到达目标，大约在第 3 帧，时间安排和后续运动的差异会降低 R² 而保持成功。因此，比较解码器的读者不应把中等 R² 当作任务失败的证据，也不应把高成功率当作轨迹精确复现的证明。

消融显示增益主要来自 VLA 策略

组件消融在相同数据划分和 rollout 协议下重新训练每个变体。完整模型在 D1 上达到 R² 0.65、成功率 0.77，在 D2 上达到 R² 0.46、成功率 1.00。把适配后的 VLA 换回原始 OpenVLA-7B 后，D1 降至 R² 0.39、成功率 0.43，D2 降至 R² 0.34、成功率 0.75。关闭神经-语言对齐后，D1 为 R² 0.56、成功率 0.68，D2 为 R² 0.41、成功率 0.87。

降幅最大的是完全移除策略：在保留相同输入和对齐监督的情况下换成轻量 MLP 解码器，D1 降至 R² 0.14、成功率 0.31，D2 降至 R² 0.18、成功率 0.22。作者明确指出，这一消融检验的是整个适配后的 VLA 策略，而不是预训练初始化与架构容量之间的区别。实际解读是：该框架的收益与使用适配后的策略绑定，对齐和任务专用适配在此基础上进一步带来增益。

神经意图、视觉与本体感觉各补不同短板

模态消融保持训练好的模型不变，只在推理时移除输入。移除本体感觉使 D1 降至 R² 0.35、成功率 0.39，而 D2 仍为 R² 0.45、成功率 0.99。移除视觉的影响更广，尤其在 D2 上，性能降至 R² −0.04、成功率 0.03。移除神经活动后，D1 为 R² 0.24、成功率 0.25，D2 为 R² 0.17、成功率 0.87。

单模态结果指向同一方向。仅神经活动在 D1 上给出 R² 0.15、成功率 0.11，在 D2 上给出 R² −0.06、成功率 0.43；仅视觉在 D1 上给出 R² 0.11、成功率 0.19，在 D2 上给出 R² 0.20、成功率 0.75；仅本体感觉在两个数据集上表现都很差。维度层面的分析给出更细的划分：移除视觉主要损害平移维度 x、y、z，而移除神经活动对 roll 和手指相关维度影响更大。

数据效率成立，但实时脑机接口尚未验证

在 D1 上的训练数据规模实验显示，BrainVLA 在测试的各训练集比例下，轨迹 R² 和成功率均优于 POYO 和 LSTM，并且只用一小部分数据仍能保持有意义的解码和任务成功。基线表现更低、波动更大，尤其在低数据区间。报告的单次查询推理延迟为 D1 上 0.064 秒、D2 上 0.045 秒，对应 8 个动作的预测块，测量硬件为 NVIDIA RTX PRO 6000 Blackwell Server Edition。

适用范围有明确条件。评估是在两个数据集上的离线因果 rollout，基线在相同划分下复现，部分基线使用未标注的留出神经活动做对齐或单元身份推断，论文称之为转导式校准。作者指出，BrainVLA 仍需在实时闭环脑机接口环境中验证，因为感觉反馈可能改变神经活动。因此，这些结果支持的是一条借用机器人动作先验的路径，而不是已演示的临床脑机接口。

先比较策略替换，再比较对齐调整

对于判断证据强弱顺序的读者，排序是清楚的。组件消融中单次降幅最大的是把适配后的 VLA 策略换成 MLP，其次是移除视觉，再次是移除任务专用 VLA 适配，最后是关闭神经-语言对齐。这一顺序提示，适配后的策略和视觉状态是承重部件，而对齐是有意义但较小的贡献者。

D1 与 D2 的差异也影响解读。D2 把中等 R² 与接近完美的成功率结合在一起，因此单看成功率会高估该数据集上的轨迹保真度；而 D1 在两项指标上更均匀地区分各变体。论文自身的重点是三者的组合：神经意图提供环境无法提供的信息，视觉跟踪不断变化的状态，本体感觉补充当前状态信息，即使在有视觉反馈时，这一信息在 D1 上仍然重要。

本文引用的文献