1、精選優質文檔-傾情為你奉上多模態的理論基礎作者：付蘭來源：報刊薈萃（下）2017年第09期摘 要：自1990年以來，多模態僅用于語言學理論分析，對于其他的學科應用甚少，但是，近些年來，隨著多模態研究的深入，多模態逐漸從簡單地圖像，手勢等非語言的符號的語言學分析轉向有多模態領導的跨學科的分析及實證研究。2014年6月11-13日第七屆國際多模態會議的召開，表明多模態的研究有著研究主題多樣化，研究內容深入化，跨學科化，多模態研究方法更新進步的趨勢。本文總結多模態的理論基礎以供初學者進行參考。關鍵詞：多模態；單模態；理論基礎1 引言2014年6月11日至13日，第七屆國際多模態會議（7th Inte

2、rnational Conference on Multimodality， 7ICOM）在香港理工大學召開。這次會議邀請了國外多個著名學者進行發言，并吸引了來自三十多個國家的學者來觀摩。香港理工大學教授馮德正與Francis Low 對第七屆國際多模態會議的主要內容進行了評述。對多模態話題的研究一直在繼續，并且有著研究主題多樣化，內容深入化，跨學科化，多模態研究方法更新進步的趨勢。近些年來，隨著多模態研究的深入，多模態逐漸從簡單地圖像，手勢等非語言符號的語言學分析轉向由多模態領導的跨學科分析及實證研究。2 多模態2.1 多模態的定義模態是一個非常復雜的概念，廣義上說，一個模態即一個符號系統，

3、借助一個特定的感知過程而被識解。這個定義把模態和人的五官聯系在一起，大致分為視覺，聽覺，嗅覺，味覺和觸覺模態。由于人類可以感知多種隸屬不同模態的符號系統，而我們很難給模態全部進行分類，所以為了便于研究，模態可以細分為：圖像符號，書寫符號，口語符號，手勢，聲音，音樂，氣味，味道，觸覺。 Forceville簡要定義模態為“利用具體的感知過程可闡釋的符號系統”。而國內的著名學者朱永生認為模態指交流的渠道和媒介，包括語言，技術，圖像，顏色，音樂等符號系統。2.2 多模態的種類模態有單模態和多模態之分。朱永生指出生物學家認為人有五種感官，應而有五種模態：視覺，聽覺，觸覺，味覺，嗅覺。單模態話語是指只使

4、用一種模態傳播的話語，而多模態話語是指使用兩種或者兩種以上模態的話語。2.3 多模態的判斷標準朱永生指出判斷單模態還是多模態的標準：一涉及模態種類的多少，例如說，使用視覺模態閱讀小說，使用聽覺模態收聽新聞聯播等。二涉及符號系統的多少，如，連環畫雖然只涉及到視覺模態，但是既有文字又有圖片，廣播小說雖然只涉及到聽覺模態，但是既有文字內容又有背景音樂。2.4 多模態的國內外研究動態R.Barthes是國外最早研究多模態話語分析的研究者之一，他探討了圖像在表達意義上與語言的相互作用：Kress，G&Van Leeuwen，T研究了模態和媒體關系，解釋了視覺圖像，顏色語法，報紙的板面設計和不同媒介的相互

5、作用及意義：Royce，T研究了不同符號在多模態話語中互補性及在第二語言課堂教學中多模態的協同性：OHalloran，K，L不僅研究了多模態理論構建，而且研究了數學語篇中多模態現象。國內多模態研究起步比國外研究要晚，現如今，對于多模態研究雖然還未形成著作，但是較之前卻大有提高，不少國內學者紛紛發表學術論文探討多模態的研究分析。國內最早研究多模態的學者李戰子在多模態話語的社會符號學分析一文中首次將多模態符號理論引入國內，他在論文中介紹了K&V所構建的視覺語言和圖像分析方法，探討了這種分析方法對于加深認識語言學的符號學特點。3 多模態的理論框架多模態的研究大致可以分為兩個方向：一是以系統功能語言學

6、理論為基礎的話語分析：二是基于認知語言學理論為基礎的話語分析。兩個不同方向的理論并不互相矛盾，相反兩者在一定程度上具有互補性：也就是說，以系統功能語言學理論為基礎的多模態話語分析和以認知語言學理論為基礎多模態話語分析其實是多模態話語分析的兩個層面，前者從功能層面進行分析，注重話語分析社會性；后者是從認知層面進行分析，注重隱、轉喻這兩種人類認知現象的研究和闡釋。3.1 系統功能語言學Kress 和Van Leeuwen認為，圖像中的視覺符號不僅可以反映客觀世界和主觀世界，還可以表現各種各樣的人際關系：與此同時，視覺符號內部也是一個有機的連貫的整體，因此可以借用Halliday的語言三大功能假說，

7、分別從概念功能、人際功能和語篇功能三個不同層面分析圖像等視覺符號的語義關系。3.2 認知語言學在認知語言學中，多模態主要研究隱喻。以Forceville等為代表認為既然隱喻不僅是一種修辭方法，而且還是一種思維方式，那么隱喻就不僅可以用語言符號表達，還可以用其他符號模式來表達，表現在繪畫，音樂，雕塑，建筑等人類的認知活動中。在認知隱喻理論，概念整合理論和關聯理論基礎上，Forceville提出圖像隱喻和多模態隱喻。在單模態的圖像隱喻中，源域和目標域都以圖像的形式（即視覺模態）呈現。在多模態隱喻中，源域和目標域分別由不同符號模式呈現。在多模態語境下，通過兩種或多種模態或符號協同作用，相互補充，構成概念隱喻。 例如，漫畫，海報，廣告，電影，演講等，這些語篇通過圖像，文字，聲音，音樂，動作等符號和模態的組合，構成多模態隱喻。4 結語現如今，隨著多模態國際會議的推廣，學術界越來越重視多模態的研究，而它的使用范圍也越來越廣泛，出現了多種跨學科的趨勢，而多模態研究的理論主要來源于以Halliday 為基礎的系統功能語言學和以Forceville為代表的認知語言學的隱喻研究。參考文獻：1 束定芳.隱喻