为什么要把头显和模型配在一起？
VR和空间音频对建模者有用，是因为它们能以现实世界不允许的方式调节感官输入。你可以固定视觉场景，只改变声音的渲染方式，或者增加、移除某个线索，观察人的反应。这种控制正是计算模型所需要的：明确的输入、可测量的输出，以及检验模型内部步骤是否与人类行为相符的方法。
Bortolotti及其同事的综述直接提出了这一点，主张空间音频和虚拟现实应更系统地与多感官整合的计算模型和神经模型结合[1]。这个定位很重要：它说的是研究应如何组织，而不是报告一个统一框架已经存在。
实际的VR到模型流程是什么样
一个具体例子来自姿势研究。Zanchi及其同事在带听觉刺激的混合现实头显中整合了视觉、前庭、本体感觉和听觉输入，然后用神经质量模型——一种描述神经元群体如何相互作用的简化数学描述——分析多感官交互[2]。测量的是姿势稳定性行为，建模则用来把这种稳定性与各感觉通道的具体贡献联系起来，而不是把平衡当作一项不分化的能力。
第二个例子来自动物研究。Si及其同事为啮齿动物构建了基于VR的空间导航任务，结合视觉、听觉、触觉和味觉线索，并用A*算法——一种标准的路径规划方法——生成穿过环境的最优路线[4]。这里的计算承担不同任务：它定义什么是最优路径，以便把动物的选择与基准比较。该研究把目标表述为阐明多感官策略的计算机制和神经基础[4]，这是意图陈述，而不是已完成的结果。
单靠头显能告诉你什么关于感官权重
并非每项VR研究都需要神经模型才能产生有用约束。Potter及其同事在带音乐和语音的虚拟环境中独立改变空间音频渲染和视频分辨率，并测量感知到的视听质量和沉浸感[3]。两个因素对两项结果都有统计显著影响。引人注目的结果是权衡：在所测试条件下，给头追踪双耳音频增加房间声学渲染，对沉浸感的提升相当于把视频分辨率提高五倍，从每眼0.5百万像素提高到2.5百万像素[3]。
这类结果正是多感官权重模型需要的那种输入，因为它量化了一个感觉通道的保真度相对于另一个通道值多少。不过范围很重要：这一比较只适用于该实验使用的特定刺激、渲染水平和头显设置[3]，所以它是一个校准点，而不是声音质量与画质之间的通用兑换率。
空间音频的技术层面也是建模参数的来源。Raposo及其同事描述了双耳渲染和高阶Ambisonics——计算声音如何从不同方向到达每只耳朵的方法——并追溯从简单振动到神经知觉的空间听觉，其背景是多感官整合和音频触觉反馈塑造感知场景[5]。这项工作提供了信号处理细节，但本身没有建立计算模型或神经模型[5]，这相当准确地反映了该领域许多工作的现状。
循环仍未闭合之处
综合来看，这些研究展示了两种可行模式，而不是一种定论方法。第一种是把模型拟合到受控多感官VR输入下测量的行为，如姿势稳定性的神经质量模型[2]。第二种是用计算算法定义基准，据此评判行为，如啮齿动物导航任务中的最优路径规划[4]。两种模式都还没有通过用模型预测设计下一个VR刺激并检验这些预测来闭合循环。
综述的建议正指向这一缺口：其论点是VR和空间音频应更系统地进入计算建模和神经建模[1]，这意味着当前状态是一组相邻的努力。沉浸感发现[3]和渲染技术[5]为建模者提供了校准依据，而姿势和导航研究[2][4]展示了组合流程可以是什么样。这些证据尚未确立的是一个共享框架，能把VR测量转化为模型参数，再反过来用模型参数指导VR测量。
本文引用的文献
多感官整合：揭示知觉的复杂性
主张空间音频和虚拟现实应更系统地与多感官整合的计算模型和神经模型结合。
通过样本熵和神经建模分离感觉对姿势控制调节的贡献：一项初步研究
在混合现实头显中结合视觉、前庭、本体感觉和听觉输入，并用神经质量模型分析各感觉通道对姿势稳定性的具体贡献。
视觉与空间音频渲染对VR沉浸感的相对重要性
发现空间音频渲染和视频分辨率都显著影响沉浸感和视听质量，在所测试条件下，增加房间声学效果相当于把分辨率提高五倍。
面向啮齿动物的基于VR的多模态空间导航任务与最优路径规划
为啮齿动物构建了使用视觉、听觉、触觉和味觉线索的VR多模态空间导航任务，并用A*算法生成最优路径作为行为基准。
面向VR的空间音频
综述了面向VR的空间音频，涵盖双耳渲染和高阶Ambisonics，并追溯空间听觉到神经知觉，但没有建立计算模型或神经模型。