強聯覺的認知加工模型及其腦機制聯覺人類與外部世界的接觸是從各種感知覺開始的，不同感官為個體所帶來的感覺體驗是不同的，而這些不同的體驗是大腦不同的認知加工方式造成的，因此探討各種感知覺現象及其相應體驗并揭示其內在本質是非常重要的。聯覺(synesthesia)是指當個體受到來自一種感覺通道的刺激時會同時自動體驗到另外一種感覺的現象(Salzinger，2010；WardCytowic，2006)，如看到某種顏色的同時會聽到某種聲音，品嘗食物或聽音樂時會看到明顯的色彩，感覺疼痛時會看到某種顏色，等等。聯覺分為強聯覺和弱聯覺兩種(Salzinger，2010；MartinoMarks，2007)。強的聯覺體驗只有少數人才有，其幾率僅為0.05％，且女性多于男性(MulvennaWalsh，2005)。聯覺者的聯覺能力通常是終身的，且有遺傳性(Pearce，2007)。研究者們把引起強聯覺的刺激叫做“誘因”(inducer，)，把同時體驗到的知覺叫做“同存”(concurrent)，最常見的同存是顏色(color)(Ward，Simner，＆Auyeung，2005)。研究發現聯覺所持續的時間是有差異的(WardMattingley，2006)，有些只出現在知覺層面，而有些則保持到了概念層面；因此如果持續時間較短的話，會發生同存和誘因早期一致而后期不一致的情況，而在不一致的情況下同存會阻礙誘因刺激的加工。

聯覺現象的普遍程度在一開始是被低估的(Baron-Cohen，Burt，Smith-Laittan，Harrison，Bolton，1996)，后來人們發現23人中就可能有1人擁有至少一種類型的聯覺能力(Simneretal.，2006)，由此人們對聯覺的關注和研究才日益重視起來。但這種普遍性還只是針對強聯覺而言，對于弱聯覺來說，其普遍程度要更高。弱聯覺主要出現在各類文體的寫作、日常用語以及對跨通道聯覺現象描述的欣賞中(Martino＆Mark，2007)。弱聯覺在語言中的具體表現是用語言文字描述多個通道的感覺，客觀上造成一種感覺向另一種感覺移動的情況，如“甜蜜的聲音”，“冰冷的臉色”，“刺鼻的氣味”等普通常見短語；而更為生動和有創意的弱聯覺描述則出現在諸多文學作品中，如：

(1)像知了坐在森林中的一棵樹上，傾斜下百合花也似的聲音。

——荷馬史詩《伊利亞特》

(2)自行車的鈴聲懸浮在空間

——舒婷《路遇》

(3)他的笑聲……，跳在空中蹦回到他臉上，抽打他的面頰

——張愛玲《第二爐香》

在句子(1)中，作者在聽覺(知了的叫聲)和視覺(白色的百合、百合的形狀)、嗅覺(百合的花香)、觸覺(傾斜導致的重感)之間創造了多感覺通道間的聯覺；在句子(2)中作者在聽覺(鈴聲)和觸覺(懸浮產生的較輕的壓迫感)之間創造了聯覺；而在句子(3)中，作者在聽覺(笑聲)和觸覺(抽打產生的痛覺)、空間知覺(跳在空中蹦回來)等多個感覺間創造了聯覺。而人們對這種不同類型及不同復雜程度的聯覺形式所產生的相應的抽象體驗有可能是不同的，可能還會表現出不同的偏好程度、不同的情緒體驗、不同的記憶效果等。

由于弱聯覺的體驗只在人們閱讀到新穎的語言描述時才會比較明顯，而對于習慣化了的聯覺短語(如：甜蜜的笑聲)人們一般很難意識到有這樣的體驗，這可能是導致研究者對聯覺的研究主要集中在強聯覺類型以及相應腦機制問題上的主要原因。但隨著高科技技術的發展以及研究者對大腦皮層激活狀況觀察手段的成熟，未來對弱聯覺現象的探討必將逐步從純粹的修辭分析法過渡到深層的認知加工及腦機制的探討上。而這種可以預見的趨勢將不僅可以完善對聯覺現象及相關理論模型的探討，更可以促進語言研究的發展。

由于人們更早關注的是強聯覺現象，因此與強聯覺有關的研究成果比弱聯覺的研究成果要豐碩得多。本文首先回顧有關強聯覺的類型、相關理論模型及其與其它認知能力的關系，然后分析和討論弱聯覺的相關研究，并探討其未來研究發展趨勢。本文的主要目的在于總結前人對強聯覺的研究成果，分析和討論弱聯覺研究發展的空間，期望喚起更多研究者對弱聯覺現象的興趣和關注。

2強聯覺研究

2.1強聯覺類型

強聯覺的類型有很多種，迄今為止所發現的有63種，其中比較常見的有19種(WardCytowic，2006)。而在常見的強聯覺中，最常見的是字形一顏色聯覺(68.8％)；其次是時間一顏色聯覺(23.3％)及各種聲音，顏色聯覺(音樂聲音19.2％；一般聲音14％；音樂音符10.6％，語音10.6％)。除此之外，還有顏色－味覺聯覺(Bayarri，Calvo，Costell，＆Duran，2001)，；顏色－嗅覺聯覺(ZellnerWhitten，1999)；顏色－溫度聯覺(MichaelRolhion，2008；Michael，Galich，Relland，Prud“hon，2010)；嗅覺－觸覺或嗅覺－顏色聯覺(Stevenson，Tomiczek，Oaten，2007)；顏色－觸覺聯覺和視覺－觸覺聯覺(Ward，Banissy，Jonas，2008)；視覺－聽覺聯覺(Hubbard，2008)；時間－空間聯覺(Brang，Teuscher，Ramachandran，Coulson，2010)；序列－空間聯覺(Simner，2009；Ward，Sagiv，Butterworth，2009)；味覺－形狀聯覺(SpenceGallace2011)；味覺－聲音聯覺(Spence＆Gallace，2011)；字詞－味覺聯覺：誘導出包括味道、嗅覺和體覺成分的感覺，如“jail”誘發出“冷硬的培根肉”的感覺(SimnerHaywood，2009；WardSimner，2003)；語音－味覺聯覺(Ward＆Cytowic，2006)；輔音／元音－色彩聯覺(Ward，Simner，Auyeung，2005)等等。字形－顏色聯覺還有性別和人格方面信息(Simner＆Holenstein，2007)，如A是藍色的聰明女人，3是綠色的頑皮的男孩，而且似乎數字越大顏色越深(CohenKadosh，Henik，Walsh，2007)。從所發現的這些強聯覺類型中我們可以看出，與顏色有關的聯覺類型是最多的，可以說視覺，特別是顏色，與其它所有感覺類型都有聯覺的可能，而其它感覺如嗅覺、味覺、觸覺、聽覺則似乎不是這樣。這是一個值得人們深入探討的現象，我們要弄清楚為什么視覺與其它感覺通道的聯覺最普遍，而不是其它感覺類型。另外，強聯覺中最普遍的聯覺類型在弱聯覺中是否也是最普遍的呢?如果是的話，似乎可以推測出兩者之間有相似的神經加工機制；如果不是的話，似乎表明弱聯覺加工有其獨特的地方。關于這些疑問，我們最終需要研究者們提供確切的證據來進行論證。

2.2強聯覺神經機制

人類大腦在認知上具有模塊化特征，這個在認知科學界已基本達成共識，即大腦無論從解剖學的角度還是功能的角度都已分化出特別的區域來加工特別的刺激，以求達到最大的效率。但是模塊和模塊之間在某些情況下會出現共同激活的情況，這是因為有些刺激包含有多種不同特征，分別由不同模塊來加工。但聯覺的情況是在只有一種類型刺激的情況下，無關聯的模塊也會同時得到激活，這是引起研究者濃厚興趣的地方。

關于明顯的強聯覺現象人們想知道的是聯覺者的聯覺體驗是真實的還是虛假的。當前的各種腦成像技術和手段為這個疑問提供了有力證據，如人們用fMRI技術發現聯覺者在知覺到所誘發的感覺時，相應的腦區也有激活(SpectorMaurer，2009；Osterbaueretal.，2005)，而且研究也發現調節聯覺過程中的大腦聯結和調節正常知覺過程的大腦聯結是相似的，兩者共享相似的神經機制(SpectorMaurer，2009；Laeng，Hugdahl，＆Specht，2011)。但是兩者在聯結強度上有所區別，如有研究采用彌散張量成像(diffusiontensorimaging，DTI)方法發現導致聯覺的是一種超聯結(hyperconnectivity)，相對于非聯覺者來說，這種聯結更強(RouwScholte，2007)。這些腦成像證據有力地證實了聯覺的真實存在。

前人在使用了不同腦成像方法對強聯覺的腦神經機制作了初步探討后發現，和強聯覺有關的腦區主要在梭狀回(fusiformgyrus)(V4)(尤其在左V4)和頂葉(程大志，隋光遠，陳春萍，2009；Esterman，Verstynen，Ivry，Robertson，2006；Spector＆Maurer，2009；WeissFink，2009；Noesseltet，al.，2007)；但也有研究發現大腦的上顳溝(superiortemporalsulcus)也有參與(Noesseltetal.，2007)。但強聯覺腦區激活定位的研究成果似乎與研究者所研究的強聯覺類型有密切關系，如梭狀回(v4)區的發現就是因為大多數強聯覺與顏色有關，由此得到研究者最多的關注。但實際上還有很多其它類型的聯覺現象，雖然出現的頻率不高，但如果能夠對其腦區激活進行探討，相信會有更多不同腦區的發現。

而在少量用ERP來探測聯覺現象的研究中，研究者利用一些公認的、標記正常認知功能的ERP成分來探討聯覺體驗和真實體驗之問的差異。如有研究者利用N1，P3b，及pSW(positiveSlowWave)三個成分來觀察誘發空間感的時間線索(一年當中的不同月份誘發不同的空間位置感覺)是否能夠有效地轉移時間－空間聯覺者的注意力以及產生相應的知覺后效(Teuscher，Brang，Ramachandran，Coulson，2010)，這是因為在前人的研究中早已發現N1的晚成分和空間注意有關，P3b和誘發刺激的出現頻率、刺激的顯著性有關，pSW是隨P3b產生的小于2Hz的低空頻波。這些成分可以幫助確定聯覺所導致的腦激活與真實刺激所導致的激活是否相似。還有研究者利用N400成分在Stroop任務中對反應沖突情況敏感的特性來探測意識對面孔－顏色聯覺者的聯覺體驗重要性(Terhune，Cardena，Lindgren，2010)。事實證明，利用現有已知的ERP成分探測聯覺體驗的產生是可行的，但也可能還存在一些關于聯覺的特異ERP成分，這有待于將來在實驗設計和方法上作出突破。

2.3基于強聯覺的理論建構

國內外已有相當多的研究試圖解釋強聯覺產生的原因，并建構了相關的腦機制模型和假說。但這些模型和假說都還處于建構階段，未能在業界形成廣泛統一的認可，均需要更多的證據加以支持和補充說明。但總的來說，這些理論模型都圍繞著一個主題在討論，那就是聯覺者的大腦結構具有特異性嗎?如果有的話，是哪些?如果沒有，那是什么原因導致聯覺現象的?分析現有的理論模型，可以把當前的理論模型分成兩派，一派認為聯覺者和非聯覺者的大腦結構是有差異的，而另一派則認為沒有，聯覺是由加工的特異性所導致的。

2.3.1主張結構差異的理論模型：

關于大腦結構性差異的假設目前有兩種，一種是神經通路變異假說，偏向于認為這種差異是天生的、自然發育導致的；第二種是相鄰交叉激活模型，認為腦區的相鄰導致了后天長期特異性的加工，從而對大腦產生了結構性的改變。

神經通路變異假說認為強烈跨通道調節效應是神經生物通路改變的結果，即正常的模塊化加工遭到破壞或者在神經通路上受到重新組合，形成新的通路和聯結(Bargary＆Mitchell，2008；Michael，etal.，2010)。持該觀點的還認為所有新生兒在出生伊始有可能只有一種感覺，都是某種形式的聯覺者。但聯覺者在新生兒階段其大腦的分化(pruning)過程可能受到抑制，導致他們到后來還保留了這個能力(Machler，2009)。這個觀點得到一些研究結果的支持，如發現字形－顏色聯覺者的大腦灰質體積在某些部位更大些(Weiss＆Fink，2008)，而且其不同腦區的神經聯結更強(Machler，2009)。還有一類證據來自于大腦偏側化的機理，如有研究發現，由于大腦功能偏側化的緣故，右側大腦對熱的感覺更敏感，而左側大腦對冷的感覺更敏感，當顏色－溫度聯覺者用右鼻孔去嗅某種顏色時，才能夠感覺到一種冷涼的感覺；而用左鼻孔去嗅另一種顏色時，才能夠感受到溫熱的感覺(Michaeletal.，2010)。

還有研究者提出“相鄰理論”(AdjacencyTheory)(RamachandranHubbard，2001)，認為聯覺的產生是因為負責跨通道信息加工的腦區是相鄰的。如在字形一顏色聯覺現象中，字形的再認區位于左梭狀回，與V4顏色區相鄰。但是另有研究在探討字形－味覺聯覺時發現，味覺皮層分布在大腦兩側的前額葉、頂蓋(parietalopercula)及腦島(insula)。這幾個區域明顯和左梭狀回的字形再認區不相鄰，也離Wernicke音素區很遠。盡管所有的感覺通道和內臟環境(visceralmilieu)在腦島得到表征，而且腦島參與言語知覺和產生的過程，但僅僅相鄰是不足以充分解釋聯覺的機制的(Cytowic，2003)。后來提出的交叉激活模型(Cross-ActivationModel)在相鄰理論的基礎上作出了進一步的假設，認為腦區的相鄰導致了不同腦區間的超聯接(hyperconnectivity)，改變了大腦的神經加工通路，并引起大腦結構的變化。研究者以字形－顏色聯覺者為例，認為字形－顏色聯覺的產生是由于涉及字形加工的后顳字形區(posteriortemporalgraphemeareas，PTGA)和鄰近的位于梭狀回和舌溝(lingualsulcus)的顏色加工區(V4)之間有超聯結(Brang，Hubbard，etal.，2010)。這個模型強調了這個超聯結的作用，認為正是這種超聯結導致了跨通道的激活。有好幾個研究結果證實了這個觀點，如發現字形一顏色聯覺者的下顳皮層(inferiortemporallobe)和非聯覺者明顯不一樣(RouwScholte，2007)，，而且聯覺者不僅灰質體積要大一些(Jancke，Beeli，Eulig，＆Hanggi，2009；WeissFink，2008，)，顏色選擇區域(包括V4)也要大些(Hubbard，Arman，Ramachandran，Boynton，2005；Rouw＆Scholte，2007；Speding，Prvulovic，Linden，Singer，＆Stirn，2006)。也有用時間和空間分辨率均較好的MEG技術來探測字形和顏色激活時間和激活區域，發現兩者不僅區域相鄰，而且更重要的是時間幾乎是同時的(Brang，Hubbard，etal.，2010)，進一步支持了字形區和顏色激活區的超聯結方式。

2.3.2主張加工特異性的理論模型

主張加工特異性的理論模型比較繁多，并各持一方觀點，沒有哪種觀點得到廣泛認可。這可能是源于人們至今還未徹底揭示各種聯覺現象的加工過程及其本質，各理論模型間的交叉點和獨特性還未得到圓滿的解釋，由此也可知這方面的研究工作還有待進一步加強。主張加工特異性的理論模型大致有四種，具體內容如下：

習得論認為強烈跨通道調節效應是學習的結果，是個體對不同感覺間的對應關系進行長期學習和體驗后形成的跨通道間的對應(Michaeletal.，2010)。聯覺習得的觀點得到所有語言聯覺以及食物味覺方面的支持，因為語言和食物味道的體驗是通過后天經驗習得的，所有和語言及食物味道一一對應的關系也都應該是后天逐步形成的。如語言的音素、字形、語素、字詞、詞匯重音和詞匯語義等均能觸發聯覺體驗，某些詞匯也能誘發某種特別食物的味道(如“slope”可以誘發熟透瓜果的味道)。因此可以說后天的學習在聯覺形成過程中起到不可忽略的作用(Sininer，2007)。

然而CohenKadoshWalsh(2008)認為結構性差異的觀點并不成熟，那只表明了一種相關的關系，不能表明導致聯覺產生的原因。一個可行的觀點是聯覺者與非聯覺者并沒有皮層結構上的差異，而是由于腦區皮層抑制的解脫(CorticalDisinhibitionHypothesis)造成的。基于這個理論，研究者還進一步提出了兩個假設：腦區間的抑制解脫和腦區內的抑制解脫。發育早期不同腦區間的抑制解脫可能最終導致了不同皮層的聯結方式，這就好比Hebb規則(Hebb“srule)所說的很多個細胞同時激活最終導致突觸力量的顯著增強。抑制解脫假設得到一些研究的支持(Brosch，Selezneva，Scheich，2005；Fitzgibbon，Giummarra，Georgiou－Karistianis，Enticott，Bradshaw，2010)。也有研究者把這種模型叫做皮層抑制解脫反饋模型(corticaldisinhibitedfeedbackmodel)，是基于對字形一顏色聯覺的研究提出的，認為這種聯覺是由于先前的反饋聯結抑制得到解除造成的。在這個研究中，作者采用MEG來探測V4區和PTGA區激活的機會是否是同時的(如交叉激活理論所說的那樣)，或者說V4的激活僅僅只在最初的字形加工階段完成后才發生(如反饋抑制解除理論所預測的那樣)。結果發現，聯覺者在PTGA區的激活水平和控制組被試的沒有顯著差異(表明他們有相似的字形加工機制)，而聯覺者V4區的激活顯著大于控制組被試(Brang，Hubbard，etal.，2010)，支持了皮層抑制解脫假說。

和皮層抑制解脫假設有些不一樣的是基于字形一顏色聯覺類型提出的重復加工模型(Re-EntrantProcessing)(Hubbard，2007；Smilek，Dixon，Cudahy，Merikle，2001；Myles，Dixon，Smilek，Merikle，2003)。該模型認為由于受到認知加工環境中自上而下信息的影響，形狀信息在從正常的V1區傳導到V4區，然后從后下顳葉區(posteriorinferiortemporalregion)傳入前下顳葉區時，神經傳輸發生了異常，導致信息從前下顳葉區重新進入后下顳葉區和V4區，得到二次加工，由此導致顏色的聯覺。

還有研究者從信息整合的角度解釋強聯覺現象，提出超捆綁式(Hyper-Binding)理論假說(Estermanetal.，2006；Hubbard，2007；Robertson，2003)。該理論認為由于大腦的頂葉負責整合各種信息的不同特征，但在過度激活的情況下頂葉的這種整合機制會把一些不“應該”捆綁的特征整合在一起了。這個理論從某種角度看與前文所述的交叉激活模型有相似之處，認為聯覺產生的根本原因是發生了過度激活，但不同的是超捆綁式理論假說并不認為由此導致了大腦結構的變化。

最近還有人提出層疊交叉調節式(cascadedcross-tuning，CCT)聯覺者模型來解釋字形一顏色聯覺現象(Brang，Hubbard，etal.，2010)，認為在聯覺者中字形區和V4顏色區之間的聯結處于一種競爭狀態，而聯覺到的顏色在字形還未被整合時勝出。該模型預測那些共享某些特征(如線條、曲線等)的字形應該激活相似的聯覺色彩，而相關的研究結果證實了這個假設，表明在形狀上更相似的字形，其相應的聯覺色彩也更相似，支持了CCT的聯覺模型，表明誘發聯覺色彩的過程發生在知覺加工的早期。

2.4強聯覺與其它認知能力的關系

除了關注聯覺現象的腦機制，研究者們還想知道聯覺的加工到底出現在認知加工的哪個階段，有哪些后效的影響或影響因素(WardMattingley，2006)等。盡管到目前為止對這幾個問題還沒有十分明確的答案，但是研究者已從聯覺與注意力、記憶力、創造力及認知加工方式的關系上獲得了某些啟示，如發現注意力是調節聯覺的一個重要因素(RichMattingley，2010；Smilek，Callejas，Dixon，Merikle，2007；Smilek，Dixon，Merikle，2003；Palmeri，Blake，Marois，Flanery，Whetsell，2002；Sagiv，Heer，＆Robertson，2006)；某些類型的強聯覺者表現出記憶的優勢(Smileketal.，2001)，盡管這種優勢不是很普遍(RothenMeier，2010)；還發現與高創造力有一定聯系(Ward，Thompson-Lake，Ely，Kaminski，2008)；另外，認知加工情境也會直接影響聯覺者的聯覺體驗(BarnettNewell，2008；Dixon，Smilek，Duffy，Zanna，Merikle，2006；Jansari，Spiller，＆Redfern，2006)。所有這些證據表明，雖然聯覺的加工階段還不是很明朗，但至少我們知道聯覺的產生可能是無意識的，而且聯覺的類型對聯覺者在其它認知能力(如創造力)上的表現起到不可忽略的作用。對于聯覺的認知加工與其它認知能力間的關系還有待進一步研究。

3弱聯覺研究

弱聯覺最主要的表現形式為聯覺隱喻。聯覺隱喻是隱喻的一種，屬于概念性隱喻。它以語言文字為依托，關注的是聯覺體驗在文字上的建構而不是多種感知覺的建構(Tsur，1992)，反映的是思維的方式和內容。隱喻的認知理論認為隱喻在人們的生活中是無處不在的，它是人們理解抽象事物并形成相關概念的一種方法和手段(e.g.：Lakoff，1986；1987，1993；LakoffJohnson，1980，1999；LakoffTurner，1989；Turner，1991)。早先認知語言學家就隱喻的認知加工機制提出的理想化認知模型(idealizedcognitivemodels，ICMs)(Lakoff，1987)將語言加工分為四種類型：命題(propositional)、意象圖式(image-schematic)、隱喻(metaphoric)、轉喻(metonymic)和象征(symbolic)。其中意象圖式被認為是最基本的一種認知模式，人類在形成各種概念之前均在這個層面形成最基本的感知覺體驗，這些體驗在后期人類與外界更為頻繁與復雜地交互過程中，通過格式塔知覺、肌肉運動及相應豐富的心理表象，形成更為復雜的體驗和概念(Lakoff，1987)。

研究者認為聯覺隱喻的認知模式主要由意象圖式(image-schema)和隱喻兩部分組成，即某一感官范疇的認知域對另一感官范疇的認知域的映射，抑或源域(sourcedomain)對目標域(targetdomain)的映射(王志紅，2005)。人類的感知覺通道分為五種，由低到高依次為：觸覺、味覺、嗅覺、聽覺和視覺(Yu，2003)。而文學創作上的聯覺在不同感知覺域間的投射并不是隨意的，而是有選擇性的，表現在它們跨通道轉移的方向上。如Ullmann(1959，轉引自Yu，2003)在研究了英文、法文和匈牙利文的詩歌后提出文學上的聯覺，不論種族、年齡、國籍或性格，存在著共同的理解基礎，表現在三種相似的聯覺傾向上：a)層次分布：不同感知覺通道間的轉換通常是由低到高的，即觸覺味覺嗅覺聽覺視覺；b)處于最低感覺層次的觸覺是建構聯覺轉換的主要來源；c)聽覺，而不是視覺，是聯覺轉換的主要目的通道。Yu(2003)在研究了漢語聯覺隱喻詞匯之后發現，漢語聯覺隱喻也大致遵循Ullmann所提出的幾個聯覺建構規律，同時發現漢語還有一些特別的地方，就是表示維度方向的詞匯不僅被轉化成色彩和聲音，還轉化成味覺和嗅覺。

總的來說，聯覺隱喻的認知研究還處于嘗試階段，研究成果相對比較零散。大部分關于聯覺隱喻的研究是從修辭或語言應用的角度去描述的，而這并不能從本質上揭示人類