傳播學(xué) | 多模態(tài)話語(yǔ)分析（Multimodal Discourse）

（1）概念

話語(yǔ)分析理論（Discourse Analysis）最初由美國(guó)學(xué)者Harris 在20 世紀(jì)50 年代提出，其核心旨趣在于從語(yǔ)言符號(hào)系統(tǒng)的角度探討話語(yǔ)的內(nèi)涵與意義。這一理論為后續(xù)多模態(tài)話語(yǔ)（Multimodal Discourse）概念的提出奠定了堅(jiān)實(shí)的基礎(chǔ)。

作為話語(yǔ)分析理論的前沿延伸，多模態(tài)話語(yǔ)研究突破了傳統(tǒng)語(yǔ)言學(xué)的界限，Kress 和 van Leeuwe 最早從社會(huì)符號(hào)學(xué)的角度對(duì)其進(jìn)行定義，首次提出多模態(tài)話語(yǔ)的具體理論內(nèi)涵，即多模態(tài)話語(yǔ)是指運(yùn)用語(yǔ)言、圖像、聲音、顏色和音樂(lè)等在內(nèi)的多種模態(tài)進(jìn)行交際，語(yǔ)言與非語(yǔ)言資源在其中共同建構(gòu)話語(yǔ)的意義。

2009 年，中國(guó)海洋大學(xué)教授張德祿也對(duì)多模態(tài)話語(yǔ)的概念進(jìn)行了闡釋，認(rèn)為多模態(tài)話語(yǔ)是指運(yùn)用聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)等多種感覺(jué)，通過(guò)語(yǔ)言、圖像、聲音、動(dòng)作等多種手段和符號(hào)資源進(jìn)行交際的現(xiàn)象。

（2）多模態(tài)話語(yǔ)分析理論框架

①在多模態(tài)話語(yǔ)分析的發(fā)展進(jìn)程中，Halliday 是系統(tǒng)功能語(yǔ)言學(xué)框架的代表人物，他把語(yǔ)篇作為一個(gè)語(yǔ)義單位，將語(yǔ)義分為概念功能、人際功能、語(yǔ)篇功能這三大功能。但系統(tǒng)功能語(yǔ)言學(xué)的分析還較局限于對(duì)語(yǔ)篇的分析，缺少了對(duì)聲音、圖像、色彩等方面的關(guān)注。

②Kress 和 van Leeuwen 在 Halliday 系統(tǒng)功能語(yǔ)言學(xué)的基礎(chǔ)上，將對(duì)語(yǔ)言學(xué)領(lǐng)域的分析延伸到視覺(jué)模態(tài)中，提出了視覺(jué)圖像三層含義：再現(xiàn)意義、互動(dòng)意義和構(gòu)圖意義。

再現(xiàn)意義涉及圖像如何代表或復(fù)現(xiàn)現(xiàn)實(shí)世界，這種意義的構(gòu)建依賴于圖像對(duì)現(xiàn)實(shí)世界的再現(xiàn)方式，包括現(xiàn)實(shí)主義、抽象化、象征主義等不同的表現(xiàn)形式；

互動(dòng)意義關(guān)注圖像與觀眾之間的互動(dòng)關(guān)系，包括圖像中的人物如何與觀眾建立眼神接觸、表情、姿態(tài)以及圖像中包含的任何指示性符號(hào)；

構(gòu)圖意義包括圖像中的視覺(jué)元素如何排列布局，如何通過(guò)視覺(jué)流程和視覺(jué)層次來(lái)引導(dǎo)觀眾的視線。該理論為研究視覺(jué)圖像的意義表達(dá)提供了有效途徑，這也是本文主要依托的理論概念之一。

③學(xué)者張德祿則對(duì)多模態(tài)話語(yǔ)分析框架進(jìn)行了開(kāi)創(chuàng)性的拓展延伸，該框架主要由四個(gè)核心層面的概念范疇組成：一是文化層面；二是語(yǔ)境層面；三是內(nèi)容層面；四是表達(dá)層面，其中內(nèi)容層面又可劃分為意義和形式兩個(gè)維度。這一綜合理論框架在視覺(jué)語(yǔ)法的基礎(chǔ)上，增加了對(duì)于話語(yǔ)文化和語(yǔ)境背景的分析，使多模態(tài)話語(yǔ)分析框架更加全面，尤其在模態(tài)關(guān)系方面，具備一定的創(chuàng)新性，因而被國(guó)內(nèi)研究者們廣泛地采用。

新聞傳播學(xué)專業(yè)公眾號(hào)

微信號(hào) : media-power

▇ 新傳考研智庫(kù) 洞察社會(huì)脈動(dòng)