在我们的日常生活中,我们会接触到许多我们需要识别的对象。例如,如果黄昏时有东西飞过窗户,我们可能想知道这是鸟、蝙蝠还是无人机。视觉对象识别很少基于我们的眼睛单独感知的内容,而是受到上下文和我们先前经验的影响。此外,一项新的实验研究表明,我们所看到的也可以被我们同时听到的声音所改变,这意味着声音可以改变我们感知视觉线索的方式。
这项发表在《心理科学》杂志上的研究 表明,相关的音频提示可以帮助我们更快、更准确地识别物体,但也可以改变我们的视觉感知。如果我们看到一只鸟并听到鸟鸣声,我们很快就能识别出这只鸟。但是,如果一只鸟的存在与一只松鼠的叫声有关,我们就会不太确定我们在看什么。因此,大脑利用音频输入来帮助我们决定我们所看到的到底是什么。
来自加州大学圣地亚哥分校的研究主要作者 Jamal R. Williams 说:“你的大脑花费了大量的能量来处理世界上的感官信息,并给你一种完整而无缝的感知的感觉。” “它做到这一点的一种方法是推断应该预期什么样的信息。”
在自然界中,声音是引起它们的物体的可靠预测因素——狗叫声和猫叫声。通过这种方式,声音提供了关于视觉世界的独立且信息丰富的线索。然而,当我们在识别视觉对象的早期阶段使用这些可信的音频提示时,它们可以引导我们选择性地仅处理视觉特征的某些方面。
威廉姆斯解释说,基于音频输入的“知情猜测”可以帮助我们更快地处理信息,但当我们听到的与我们期望看到的不符时,它们也会让我们误入歧途。
研究人员进行了三项实验,向参与者展示了物体变形为其他物体的模棱两可的图像。例如,一架飞机变成了一只鸟,向参与者展示的图像可能来自这个过程中的任何地方,并且同时具有飞机和鸟的特征。
在第一个实验中,向 40 名参与者展示了模糊的图形,在他们试图辨别物体性质的同时,研究人员播放了与图像相关的声音(鸟鸣声或飞机的嗡嗡声),或不相关的声音(例如锤子敲钉子)。接触图像后,参与者被要求回忆他们所看到的物体形态的哪个阶段。
为了确定他们回忆起的阶段,参与者使用了一个可以向任一方向移动的滑动标尺,更多地朝向可识别的鸟类或更多地朝向可识别的平面。结果显示,当参与者听到相关(相对于不相关)的声音时,他们会更快地选择对象变形,并且他们会改变对象变形选择以更接近地匹配他们听到的相关声音。研究结果表明,当视觉输入不明确时,相关声音的作用可能会调节我们的视觉感知。
“当声音与相关的视觉特征相关时,与声音与视觉特征无关时相比,这些视觉特征会被优先考虑和处理得更快。所以,如果你听到鸟鸣声,任何类似鸟类的东西都会优先获得视觉感知,”威廉姆斯解释道。“我们发现这种优先排序并不是纯粹的促进,你对视觉对象的感知实际上比你听到飞机从头顶飞过的声音更像鸟。”
研究人员想知道音频输入在视觉识别的哪个阶段产生影响——这是在视觉辨别阶段还是在参与者对物体的身份做出决定的时候。第二个实验向 105 名参与者展示了类似的模糊图像,但音频刺激与对象识别阶段(当图像出现在屏幕上时)或决策阶段(图像被移除后,参与者必须选择其身份)相吻合).
再一次,当参与者在观看对象变形时播放声音时,发现音频输入会影响参与者的速度和准确性,但当他们报告他们看到的对象变形时播放声音时,它没有影响。研究人员得出结论,现实世界的声音主要影响感知过程,而不是决策过程。
在第三个也是最后一个实验中,研究人员在对象变形显示在屏幕上之前向 40 名参与者播放了声音。这样做的目的是测试先前的音频输入是否通过影响人们的期望并引导他们更多地关注物体的某些特征来影响视觉感知。这也被发现对参与者的对象变形选择没有影响。
专家们得出结论,综合来看,这些发现表明只有当音频和视觉输入同时发生时,声音才会改变视觉感知。
“我们的结果表明,自然听觉信息会改变我们看到的物体的表征。具体来说,我们发现对象表示的视觉特征转向与并发听觉刺激一致的特征:相同的模糊对象(例如,50% 的密封和 50% 的锤子变形)在与与海豹吠叫声配对时,锤击声更像海豹,”研究作者写道。
“这个识别世界上物体的过程感觉起来毫不费力且快速,但实际上这是一个计算量非常大的过程,”威廉姆斯说。“为了减轻这种负担,你的大脑将评估来自其他感官的信息。”
研究人员希望在这些发现的基础上探索声音如何影响我们定位物体的能力、视觉输入如何影响我们对声音的感知以及视听整合是先天的还是后天习得的过程。
乐咕健康 | 关注你所关心的身心健康