跨模态后测实际上是什么样子?
最简单的例子是跨通道似动:一个地方闪了一下光,然后另一个地方响起声音,你会觉得那道光朝声音的方向移动了——尽管光本身从未移动[3]。后来的声音可以说“回溯”过去,改变你对先前闪光的体验。幻觉视听兔子错觉的原理类似:一连串快速的闪光—蜂鸣配对之后,再出现一次单独的闪光或蜂鸣,你就会感知到从未呈现过的额外闪光或蜂鸣[1]。在这两种情况下,都是在关键事件之后到达的刺激改变了你有意识看到或听到的内容。
这些效应并不局限于单一感觉通道。视觉刺激可以后测性地影响听觉知觉,听觉刺激也可以后测性地影响视觉知觉[3]。关键特征是,后来出现在某一感觉通道的刺激修正了另一通道中先前的知觉——因此称为“跨模态”后测。
预测性整合与后测有何不同?
预测性多感官整合关乎预期,而非修正。你的大脑不断根据过往经验和自上而下的模型,生成关于哪些感觉信号应该搭配出现的预期,并按照这些预期把来自不同感觉的输入结合起来[2]。例如,当你看到一个人嘴唇在动,你的大脑会预测随之而来的语音,并把视觉流和听觉流整合成一个连贯的知觉。这发生在信号到达的过程中,而不是事后。
在预测框架中,预期与接收到的信息之间的不匹配会产生预测误差信号,大脑试图通过调整模型或重新加权感觉输入来解决这些误差[2]。影响的方向是向前的:先前的预期塑造你如何处理当前输入。在后测中,方向是向后的:后来的输入重塑你如何体验先前的输入[1][3]。
大脑对两者使用同一套机制吗?
有证据表明,一种共同的计算过程——因果推断——可能是这两种现象的基础。在幻觉视听兔子范式中,贝叶斯因果推断模型比强制融合、强制分离或忽略后测的模型更好地拟合了参与者的行为数据[1]。该模型假设,大脑会权衡感觉信号来自共同原因还是不同原因的概率,并利用这种权重来组合它们。同一框架此前已被证明能解释非后测性的多感官整合,而新结果表明它也能解释跨时间窗口的后测[1]。
这并不意味着后测和预测是同一回事。它意味着大脑可能在不同方向上应用相似的推断规则——预测性整合是时间上向前,后测是时间上向后。这一发现与以下观点一致:大脑整合来自过去、现在和后续事件的信息,以构建统一的知觉[1],但并未证明两者的机制完全相同。
这一区别为何对理解知觉很重要?
这一区别之所以重要,是因为它改变了我们对意识在做什么的看法。预测性整合与“知觉是基于预期的主动构建”这一观点相契合。后测则更奇特:它意味着有意识的体验可以在事后被编辑,因此你“看到”或“听到”的内容部分取决于接下来发生了什么[3]。有人把这种现象描述为有意识知觉像修正主义历史——最终的知觉是大脑在权衡所有证据(包括迟到证据)之后讲述的故事[3]。
跨模态后测也为了解各感觉之间如何交流打开了一扇窗。综述文献指出,后测效应可以揭示原本可能看不见的跨模态串扰,而且最初为单模态后测开发的模型可以改编用于多感官情形[3]。这表明后测不仅是一种奇趣现象,更是绘制大脑整合机制的工具。
本文引用的文献
因果推断塑造多感官整合中的跨模态后测
贝叶斯因果推断模型比强制融合、强制分离或非后测模型更好地解释了幻觉视听兔子错觉中的跨模态后测,表明大脑会跨时间窗口进行因果推断。
预测编码、多感官整合与注意控制:清醒梦的多成分框架
一个多成分框架提出,预测编码和多感官整合在注意控制的引导下,有助于解释清醒梦中的生动意象和动觉感受等现象。
跨模态后测:作为修正主义历史的有意识知觉
跨模态后测发生在某一通道的后续刺激影响另一通道的先前刺激之时,而三种单模态后测的神经心理学模型可以改编用于多感官情形。
跨模态后测:作为修正主义历史的有意识知觉 †
这篇综述描述了跨模态后测现象,包括跨通道似动和幻觉视听兔子错觉,并提出将单模态后测模型改编用于多感官加工。
感觉噪声特质预测错觉易感性与多感官失匹配负波
研究考察了感觉噪声特质与错觉易感性及多感官失匹配负波的关系,并涉及跨模态后测和多感官整合的预测性方面。
