人们做出的配对通过亮度和情绪起作用
这些研究中最一致的模式是,人们根据情感基调来匹配感官特质,而不是依据任何固定的感官规则。当听众听到乐器演奏音阶并选择颜色来匹配时,他们对音色在“明亮”“暗淡”“温暖”等词语上的评分,能够预测所选颜色的明度和饱和度[3]。在一项规模大得多的研究中,278名参与者听取了将快乐、悲伤和怀旧与五种音乐流派交叉组合的片段;他们将明亮的颜色与快乐对应,将更暗、更饱和的颜色与悲伤对应,其中明度起了主要作用,色调则更多取决于音乐流派[4]。
声音和气味以类似的间接方式联系起来。在三项实验中,参与者将声音和嗅觉成分分入情感类别,然后将声音组直接与气味组匹配;刺激和放松等情绪似乎预测了其中一些匹配,而冷漠和快乐等其他情绪则仍然模糊不清[2]。研究人员将情绪描述为声音和气味之间可能的间接联系,而非已证实的因果关系——这些匹配是由情感类别预测的,但并未被证明是由情感类别产生的。
为什么是意义而非单纯的感官在驱动匹配
一项颜色-声音研究给出了关于机制的最清晰图景。参与者需要在颜色或声音同时呈现时对其做出反应,某些配对——蓝色与“滴落”声、黄色与“闪亮”声——在两个方向上加快或减慢了反应速度[1]。关键的是,即使人们看到的是颜色词语而非实际颜色,这种效应也会出现,这表明联系是通过头脑中的颜色类别起作用的,而不是通过光的原始外观[1]。
一项后续实验进一步明确了这一点。当参与者需要在听到声音的同时对介于两种色调之间的模糊颜色进行标注时,只有当他们将那种颜色归类为与声音相关的类别时,干扰才会出现[1]。换句话说,当一个人将刺激归入一个有意义的标签下时,配对才会起作用。这对文化是一个强有力的暗示:标签和类别是习得的,因此一个文化如何划定颜色边界,可能会改变配对何时生效。
文化会在哪里介入——以及为什么证据薄弱
这些研究都没有打算比较不同文化。颜色-声音研究在单一环境中测试了参与者,没有进行跨文化比较[1];声音-气味实验同样没有报告文化比较[2];乐器音色研究指出音色-颜色匹配是多样的,其趋势可能只适用于某些乐器,且没有测试来自不同背景的听众[3];音乐-颜色研究明确表示其结果描述的是所采样的特定片段,而非更广泛的类别[4]。一项关于食品和饮料中声音与香气关联的系统综述编录了许多实验及其方法,但也没有涉及文化差异[5]。
这一空白很重要,因为这些研究指向的机制是语义和情感的。如果配对是由共享的类别和共享的感受承载的,那么它们在这些类别和感受共享的地方就应该稳定,在不共享的地方就应该漂移。音乐-颜色的结果符合这一点:明度始终与情绪对应,而色调——与命名和惯例最相关的维度——则取决于流派[4]。流派是一种文化类别,因此色调是最可能出现文化学习效应的维度,尽管这些研究并未直接测试这一点。
可以合理得出的结论
将跨模态对应关系视为真实但有条件的。在所研究的群体中,人们稳定地将明亮的声音与明亮的颜色和积极的情绪联系起来,一些声音-气味匹配也遵循情感类别[2][3][4]。颜色-声音干扰效应取决于一个人如何对自己看到或听到的东西进行分类,这使得配对既是感知的产物,也是解读的产物[1]。
因此,跨文化问题不是这些关联是否在其他地方存在,而是哪一层会迁移。情感亮度似乎是最具可迁移性的一层,因为它在许多音乐流派和乐器中都出现了[3][4]。类别边界和色调关联是最可能不同的层面,因为它们依赖于习得的标签[1][4]。在不同文化的参与者身上运行相同的匹配任务之前,关于这些对应关系是普遍的——或者它们存在差异——的说法都超出了证据的支持范围。
本文引用的文献
颜色-声音跨模态对应的一致性根据颜色类别与颜色和声音辨别的交互作用
颜色-声音配对(蓝色-滴落声、黄色-闪亮声)产生了双向的反应增强和干扰,且效应取决于参与者所归属的颜色类别,而非原始颜色外观。
气味的声音:声音与气味之间的跨模态对应关系
刺激和放松等情感类别似乎预测了一些直接的声音-气味匹配,支持情绪作为声音和气味之间可能的间接联系。
颜色与音色:乐器音色的视听跨模态对应关系
听众对乐器音色的语义评分预测了他们所选颜色的明度和饱和度,即使在控制了音高音区的情况下,这种关系仍然成立。
“从声音到色调”:情绪和音乐流派如何引导跨模态颜色选择
在278名参与者中,明亮的颜色与快乐匹配,更暗、更饱和的颜色与悲伤匹配,明度是主要线索,色调则更多取决于音乐流派。
探索声音与化学感官之间的跨模态关联:一项包含交互式可视化的系统综述
一项系统综述编录了食品和饮料背景下声音-香气关联的实验及其方法,但未涉及文化差异。
