聲音是什麼顏色、什麼味道?談聯覺與跨感官反應

—–廣告,請繼續往下閱讀—–

文/陳品均|雅文基金會聽語科學研究中心 助理研究員

星期一,聽起來是什麼顏色?

先別急著回答藍色,對某些人來說,這個答案可不是受到情緒經驗的影響,而是真實的色彩反應。

星期怎麼可能聽起來有顏色?事實上,根據研究大約有 4% 左右的人[1],在某個認知或感官接收資訊刺激後,另一種感覺或認知會同步自發的出現,並且具有特定規律,此反應與刺激本身並不一定相關,這些人被稱為聯覺者,擁有像是聽到聲音時,除了聲音的反應外,同時認知到了形狀或顏色等的特徵。

舉例而言,若一位聯覺者聽見 A,除了聲音 A 以外還自動產生了它是紅色的聯覺認知,則不論是在 Apple 或 Angel 中,A 對他而言都是紅色的,不會因為 Angel 比較常以白色的型態出現,便轉換成白色的 A。在學界,聯覺的發展和原因尚在探索中,有些研究指出可能與小時候接觸抽象觀念時的發展、遺傳以及大腦神經機制有關 [2、3] 。

聽覺及視覺的聯覺者在聽到詞彙時,除了聲音外,同時自動產生了色彩的認知反應。(圖片來源:作者自行繪製)

隨著聯合反應的感官組成不同,聯覺者的異能經驗也五花八門

你能想像當單一感官接收某一訊息時,同時產生另一感官的不同認知是怎樣的經驗嗎?BBC 的科普節目《Horizon》其中一集< Derek Tastes of Earwax >記錄了數名聯覺者的跨感官連結經驗。其中,一名酒吧老闆兼有聽覺和味覺的聯覺,當他聽見各式各樣的詞彙時,宛如品嚐綜合風味豆,讓他飽嘗各種滋味[4]。

—–廣告,請繼續往下閱讀—–


<!–

googletag.cmd.push(function() { googletag.display(‘div-gpt-ad-1636362736559-0’); });

–>

聽覺和味覺的聯覺者,聽見各種名詞之際,嘴巴就像是咀嚼著各種滋味。(圖片來源:pexels

另一名受訪者是聽覺及視覺的聯覺者,經實驗後科學家發現,若聽到數字或是月份日期時,這名受訪者的腦部除了聽覺區域外,視覺區域也會產生反應。特別的是,他本身是一名視覺障礙者。

聽覺及視覺的視障聯覺者聽到日期時,腦部視覺及聽覺區域都有反應。(圖片來源:作者自行繪製)

感官認知上特別的連結,讓聯覺者所經驗的世界像是搭載了酷炫的特效般,使他們在藝術創作及記憶上屢有出色的表現,代表人物有:知名文學《蘿莉塔》作者 Nabokov[5]、以引起聽眾共鳴聞名的音樂家 Olivier Messiaen、表現主義的經典畫家 Wassily Kandinsky 等。若想檢視自身是否為天選之人的聯覺者,除了自我覺察是否有異於常人的跨感官連結反應外,目前也有相關的測驗[6]可以參考。

你我的類聯覺」跨感官反應

若說聯覺是天生具有特別音感的人,那麼跨感官反應肯定就是音樂家們透過經驗累積產生的直覺判斷,兩者不盡相同、卻又有其類似之處。那麼,不具有聯覺的異能,我們難道只能認命當麻瓜了嗎?

別急,縱使不是聯覺者,普通人也多少會有類似聯覺的經驗,這樣的類聯覺稱作跨感官反應,往往在我們渾然不覺時,悄悄地舉辦同樂會,並影響人們的喜好、感知和行為等。

—–廣告,請繼續往下閱讀—–

先來看看研究者們發現的有趣現象,請看這兩個形狀:

圖片來源:作者自行繪製

過去曾有研究者以 bouba 及 kiki 兩個虛構詞進行實驗,九成受訪者傾向認為雲朵狀的形狀是 bouba,尖銳的形狀則被認為是 kiki,即使這些受訪者其實並不認識兩個假詞,但基於聲音和形狀的特徵,卻讓多數人做出這樣的選擇[7]。

後續研究者也繼續投入各式各樣以不同語言文化環境為背景、不同年齡階層為對象的研究,有趣的是,結果顯示此現象幾乎是跨語言、跨文化、跨地域存在的,甚至在少與外界互動的部落居民,或是尚未識字的幼兒身上,也有這類從聲音特徵影響其視覺形狀感知歸類的效應 [8、9、10]。除了虛構的詞彙以外,有些研究者使用真實存在的詞彙(如:Bob 及 Kirk),來對應圓潤及尖銳的剪影或人臉,最後也有相似的結果[11、12]。

一般人的經驗和認知,往往加速催化感官間的互相影響

除了語言與形狀外,我們生活中還有許多感官互相影響的例子,來試試看下面這張圖,你聽見聲音了嗎?

—–廣告,請繼續往下閱讀—–

(圖片來源:GIPHY

瑞克搖(Rickrolled)的影片在 2019 年突破了 10 億次的 youtube 觀看次數[13、14],迷因化後大量的連結及有聲影片傳播,使得曾經的觀眾在看見這張圖時根據經驗,腦海中自然出現了<Never Gonna Give You Up>的旋律。

然而,不同於聯覺,若沒有經驗累積,跨感官的反應便無法被觸發,以上圖為例,即便觀看次數如此驚人,對於未曾接觸過此影片的人而言,由於缺乏經驗和認知的累積,在看見該張圖片時,理所當然也無法產生相對的聲音反應。

將跨感官反應置入在行銷中的策略,現正流行中!

在大量接收資訊的生活中,我們不自覺地累積了許多感官經驗,成為由單一感官啟動與其他感官同步作用的引線。行銷高手們從中嗅出了商機,精明的將消費者們不由自主產生的跨感官反應也算進了商業行銷的一環。如:某知名咖啡品牌在過去曾進行一項實驗,將兩杯一樣的咖啡配以不同的音效提供給不知情的消費者。前一杯搭配液體沖入便宜咖啡杯、攪拌,模仿沖泡即溶咖啡的聲音,另一杯則在播放磨豆聲、蒸氣聲以及倒進陶瓷杯的聲響後,再次提供給消費者,結果發現在不同的聲音所營造的環境氛圍下,同樣的兩杯咖啡,人們覺得後一杯更加濃醇香,並願意為之付出更高的金額[15]。

近年熱門的 ASMR 亦是味覺和聽覺的跨感官應用,若想了解更多,別錯過之前的專欄文章﹤加點「聲音調味料」,享受聽覺與味覺的極致饗宴吧!﹥。

—–廣告,請繼續往下閱讀—–

下次若覺得某張圖片有聲音、光看某部電影的宣傳海報就起雞皮疙瘩,或是外帶的咖啡沒有內用的美味,也許就是跨感官反應悄悄影響了你的感覺。最後,讓我們回到一開始的問題,星期一聽起來是什麼顏色的?不論是不是藍色的,何不試試透過 GIF 圖和親朋好友無聲地分享你震耳欲聾的情感吧! 

參考資料

Simner, J., Mulvenna, C., Sagiv, N., Tsakanikos, E., Witherby, S. A., Fraser, C., Scott, K., & Ward, J. (2006). Synaesthesia: The prevalence of atypical cross-modal experiences. Perception, 35(8), 1024–1033. https://doi.org/10.1068/p5469 

Bankieris, K., & Simner, J. (2015). What is the link between synaesthesia and sound symbolism? Cognition, 136, 186–195. https://doi.org/10.1016/j.cognition.2014.11.013

Freeman, E. D. (2020). Hearing what you see: Distinct excitatory and disinhibitory mechanisms contribute to visually-evoked auditory sensations. Cortex, 131, 66–78. https://doi.org/10.1016/j.cortex.2020.06.014

BBC. (2014, September 17). Science & Nature – Horizon. BBC.

Eagleman, D. (2023, September 6). Wednesday is Indigo Blue. David Eagleman. https://eagleman.com/books/wednesday-is-indigo-blue/

Eagleman, D. M., Kagan, A. D., Nelson, S. S., Sagaram, D., & Sarma, A. K. (2007). A standardized test battery for the study of Synesthesia. Journal of Neuroscience Methods, 159(1), 139–145. https://doi.org/10.1016/j.jneumeth.2006.07.012

Ramachandran, V. S., & Hubbard, E. M. (2001). Synaesthesia–a window into perception, thought and language. Journal of consciousness studies, 8(12), 3-34.

Ozturk, O., Krehm, M., & Vouloumanos, A. (2013). Sound symbolism in infancy: Evidence for sound–shape cross-modal correspondences in 4-month-olds. Journal of Experimental Child Psychology, 114(2), 173–186. https://doi.org/10.1016/j.jecp.2012.05.004

Styles, S. J., & Gawne, L. (2017). When does Maluma/takete fail? Two key failures and a meta-analysis suggest that phonology and phonotactics matter. I-Perception, 8(4), 204166951772480. https://doi.org/10.1177/2041669517724807

Ćwiek, A., Fuchs, S., Draxler, C., Asu, E. L., Dediu, D., Hiovain, K., Kawahara, S., Koutalidis, S., Krifka, M., Lippus, P., Lupyan, G., Oh, G. E., Paul, J., Petrone, C., Ridouane, R., Reiter, S., Schümchen, N., Szalontai, Á., Ünal-Logacev, Ö., Winter, B. (2021). The bouba/kiki effect is robust across cultures and writing systems. Philosophical Transactions of the Royal Society B: Biological Sciences, 377(1841). https://doi.org/10.1098/rstb.2020.0390

Barton, D. N., & Halberstadt, J. (2017). A Social Bouba/Kiki Effect: A bias for people whose names match their faces. Psychonomic Bulletin &amp; Review, 25(3), 1013–1020. https://doi.org/10.3758/s13423-017-1304-x 

Sidhu, D. M., Pexman, P. M., & Saint-Aubin, J. (2016). From the bob/kirk effect to the Benoit/éric effect: Testing the mechanism of name sound symbolism in two languages. Acta Psychologica, 169, 88–99. https://doi.org/10.1016/j.actpsy.2016.05.011

BBC. (2021, July 29). Rick Astley rolls into a billion YouTube views. BBC News. https://www.bbc.com/news/technology-58011677

BBC. (2018, September 10). Rick Astley on the Rickroll meme that made him an online legend. BBC Scotland. https://www.bbc.co.uk/programmes/articles/5D3ZmWf1hJmCxCc5Vn0sS64/rick-astley-on-the-rickroll-meme-that-made-him-an-online-legend

Jones, R. (2021)。跨感官心理學:解鎖行為背後的知覺密碼,改變他人、提升表現的生活處方箋 (陳松筠譯)。商周出版。

Read More 

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *