多模态话语分析研究综述
许晓翠
（新疆大学外国语学院，新疆乌鲁木齐 830000）
摘要 ：多模态话语分析是话语分析的新领域。国内对多模态话语分析的研究已经有10多年。在韩礼德提出的系统功能语言学理论和认知语言学的研究方法的基础上，中外学者对多模态话语中意义是如何建构，各种模态间的相互协作进行了理论讨论，并对各种语类语篇的多模态话语分析及其运用进行了钻研。但是，因为起步较晚，而且对多模态话语分析研究的历史比较短暂，导致其在研究方法，研究路径等方面存在些不足，随着科学技术的发展和研究的深入，国内多模态话语研究肯定会稳定的发展，从而能够推动多模态话语分析研究乃至整个语言学领域的发展。
关键词 ：多模态话语；分析；综述
话语分析这一个研究方向最早是由美国语言学家Harris在20世纪50年代初提出来的，随后来自全国各地的话语分析家纷纷开始探索这一领域，同时也提出了各种各样的话语分析理论和研究方法。话语分析理论始终都是聚焦在语法规律和话语篇章结构上，包括语句之间的关系和话语中的存在社会价值取向，并对语言教育教学过程中的课程方案设计，课程规划提供了重要的理论基础和构建框架。通过大量的实证分析，分析了话语活动内在的规律性、话语活动与意识形态和认知模式之间的关系（朱永生2003）。但是，提出的研究方法和研究的理论，大部分都是以语言系统本身为研究对象，也就是仅仅注意到了语言系统和语义结构及其与社会文化和个体认知之间的关系，忽略了图像、声音、颜色等其他的一些形式也可以体现意义，这些都无法满足对话语意义的构建的分析，为了能够弥补这一缺陷，多模态话语分析理论应运而生。
1 多模态话语分析的理论基础
Kress&Van Leeuwen (1996)共同指出多模态指的是参与交际过程中的所有渠道和媒介，除了生活中所接触到的基本语言符号外，它还包括了颜色、图像、音乐、色彩饱和度等资源符号系统。多模态话语分析的主要理论背景是韩礼德提出的系统功能语言学，因此，前期基本上是系统功能语言学占领这一研究领域。同时，认知语言学也开始在这个领域有所涉猎。后来，在2013年，两者几乎并驾齐驱，同时也出现了利用其他理论来探讨多模态话语的使用情况。出现这种现象的原因是系统功能语言学的中心理论是关于意义的，包括人际意义、概念意和语篇意义。体现意义的不仅仅是语言符号资源，还有其他符号系统。在此语言背景下，Kress&Van Leeuwen在20世纪90年代中期第一次系统的提出了视觉语法概念。Kress&Van Leeuwen将图像看成是社会符号，把系统功能语法中的元功能扩展到了视觉模式中，确立了“再现意义”“互动意义”和“构图意义”的视觉图像分析理论，分别对应于韩礼德的概念意义，人际意义，语篇意义。视觉语法理论从图像，构图情态，颜色饱和度，亮度等视觉交流的各个方面来研究多模态活动，从而对图像进行比较全面而又系统的分析。
2 多模态话语研究成果综述
中国多模态话语分析于2003年开始（李战子，2003开始）。迄今为止，该研究已经历经十几年，发展之势如火如荼。2009年，第一部关于多模态话语分析研究的专著 《视觉环境下的多模态化与多模态话语研究》（韦秦红，2009）在中国出版。随后，多部多模态话语分析理论研究方面的专著也开始涌现，包括以理论研究为主的专著成果，例如高佑梅（2014）从认知语言学角度对多模态话语的研究，张德禄（2015）从系统功能语言学角度对多模态话语的研究；同时也包括以应用研究为主的专著成果，如张立新（2012）对幽默话语的研究，代树兰（2015）对电视访谈的研究分析。
2.1 调查数据
截止目前，在中国知网中以“多模态话语分析”为主题词搜索，可以找到关于该方向的研究论文是1 381篇。
表1 以“多模态话语分析”为主题的论文的统计数量表格
根据在中国知网上搜索到的文章篇数来看，在不同年份间呈现出不均衡分布状态。2009年仅仅只有18篇，核心期刊上有2篇，到了2014年达到211篇，迎来中国多模态话语分析成果的小爆发期。之后多模态话语分析文章总篇数虽增长缓慢甚至有所下降，但是在核心期刊上的文章却越来越多，说明多模态话语分析逐渐引起学者的重视，研究的也更加深入。此外，根据数据调查研究结果显示，这些发表的论文中包含对理论的探索和理论的应用。
2.2 理论研究
李战子开创了我国多模态话语分析理论研究的先河，他在《多模态话语的社会符号学分析》（2003）中介绍了Kress&Leeuwen所建构的视觉语法理论和图像的研究方法，这促进了我国对多模态话语分析的研。2009年，韦秦红出版了第一部多模态话语分析方向的专著《视觉环境下的多模态化与多模态话语研究》。其后，涌现出多部多模态话语分析理论研究方面的专著，例如以理论研究为主的成果，如高佑梅（2014）从认知语言学角度对多模态话语的研究。
2.3 应用研究
2.3.3 教材的研究
2.3.1 PPT和计算机网络语篇的图文关系多模态研究
第一节护壁完成后，及时安设桩孔外围防护，孔口三方围护，留一方出渣、架设动力照明线路、上下软梯等，围护立杆采用脚手架钢管。孔内不施工时，孔口用钢筋网片（φ20@200×200）覆盖，并设置警示标志，防止人员坠落。在孔口施工的人员穿防滑鞋、戴好安全帽、佩戴安全带并拴于立杆上。
Rhodamine-123经过与细胞共孵育，快速透过细胞膜，使具有正常线粒体膜电势的细胞在共聚焦显微镜激发下呈现红色荧光。光动力处理后的细胞荧光强度减弱，表明线粒体膜电位降低，膜通透性发生改变。图5为rhodamine-123染色标记了光动力处理之后线粒体膜通透性的改变。Rodamine-123的平均荧光强度由55.13降低到22.47，F=4.372,P=0.009。
该研究方向是指对民居单体内植物文化的研究，包括民居建筑内的植物、建筑装饰中的植物元素以及相应植物背后的文化研究。它本应是我国民居植物文化研究的重点领域，但由于我国的民居植物文化研究起步时间比较晚，研究呈现碎片化的现象，我国的民居植物文化研究的发表文献数量有限，发表的期刊文献与博硕论文仅有11篇，约占文献总数的重要地位，为回族民居的植物文化设计提供了理论依据。
红外测试：样品在傅里叶变换红外光谱仪上进行全反射红外测试。波数扫描范围为4 000～400 cm-1，分辨率是4.0 cm-1，扫描次数为16次。对于不同深度的反射红外扫描，是先将样板表面削去相应厚度的表层，然后进行表面反射红外测试。
在教育语境中介入意义的形势下，秦小怡（2008）对多模态话语语篇中的出现的图像和文字之间的表现形式进行了研究分析。朱永生（2008）分析了多模态话语对我国目前的教育教学改革的启发，多模态可以发挥它的优势。胡雯（2011）探讨了多模态话语分析在英语教学中的应用。
虽然我国从引进多模态话语分析理论到现在也不过是十多年时间，但发展趋势不容小觑，学者们也对多模态话语分析的研究意义和价值给予了很大的肯定和期望。李战子（2012）认为，我国对多模态话语的研究偏重的是在应用方面的研究，比如将“视觉语法”理论应用在特定语篇的分析，从而展示在多模态中是意义是怎样构建的。“视觉语法”是由Kress&Leeuwen提出的，这套理论可以帮助研究宣传海报，广告语篇等静态文本中的图文关系是如何共同作用参与意义的建构。
胡壮麟，董佳（2007）以教学中的23个PPT作品为样本，进行了在计算机辅助作用下，并与多模态话语相融合的语篇分析，得出了课堂中的PPT既是一种教学辅助工具又是话语分析的语篇。韦琴红（2008）从系统功能语言学中的元功能角度来研究期刊中的一个多模态媒体话语语篇。
2.3.2 多模态教学的研究
在学校教学中，可以通过选择和编写教材来体现出多模态话语的作用。在张德禄和张淑杰（2010）的文章中，提出了在编写带有多模态性质的外语教学课本中应该注意的基本原则和规范。陈瑜敏等学者（2008）针对不同时间阶段出现的多模态教材中的语篇结构进行研究，发现书本中的图文关系在不同的时期表现也有所不同。
3 研究存在的不足和发展趋势
3.1 以理论研究为主，实证研究不够多
仔细研究已经发表的关于多模态话语分析方向的论文可以发现，国内的很多研究者是在介绍相关理论或是一些研究的方法，还停留在初级阶段，能够自主创新的提出完整的多模态话语分析理论的文章很少见，而且实证研究也不多。另外对多模态话语的应用分析会因为主观感情色彩，知识储存背景，理解能力等的差异，出现仁者见仁，智者见智的情况，因而产生不同的分析结果。
3.2 多模态话语分析主要是静态文本为主，动态多模态话语为辅
在知网上搜索关于多模态话语分析的研究论文，我们可以发现对其的应用分析很多都是集中在由文字，图像，表格等构成的静态文本上，例如我们常见的宣传手册，影视作品海报等等。与之相比，对PPT，公益视频广告，外宣网站等动态多模态话语分析的研究却是少之又少，而且很少能够见到针对不同语篇进行批评性多模态语篇分析。
4 结语
现如今，我们所处的社会已经从过去的单一的模态形式到如今的多模态，我们过去所忽视的非语言符号资源如声音、图像、颜色和语言资源一起，共同作用来构建意义。虽然我国对于多模态话语分析的研究历史比较短暂，但却是一个值得我们研究的新领域，发展前景势必非常宽广。我国科技发展速度较快，这将为我们在多模态话语分析的研究思路、方法和研究路径上提供帮助，从而能够让话语分析以及语言学的研究步入新阶段。
他们喝酒时，颜晓晨忙着招呼其他客人，并没太关注他们，Apple却借着送水，去找程致远打听颜晓晨究竟在哪里请他吃饭，也不知道他们说了什么，反正程致远没拆她的台，从那之后，Apple她们再没用此事挤对她。程致远和朋友坐了一个多小时，喝了小半瓶酒。
参考文献
[1]Halliday,M.A.K.Language as Social Semiotic:The Social Interpretation of Language and Meaning[M].Baltimore:University Park Press,London:Edward Arnold,1978.
[2]Halliday,M.A.K.&R.Hasan.Language,Context and text:Aspects of Language in a Social-semiotic Perspective[M].Oxford;Oxford University Press,1989.
[3]Kress,G.&van Leeuwen,t.Reading Images:the Grammar of Visual Design[M].London:Routledge,1996/2006.
[4]李战子.多模态话语的社会符号学分析研究[J].2003（5）：1-8.
[5]代树兰.多模态话语研究：电视访谈的多模态话语特征[M].上海：上海外语教育出版社，2015.
[6]高佑梅.语言符号“非任意性”研究：认知语言学框架下的多模态语言分析[M].天津：南开大学出版社，2014.
[7]姜毓峰.基于多模态话语理论的外语教学式构建[M].北京:北京理工大学出版社，2015.
[8]韦秦红.视觉环境下的多模态化与多模态话语研究[M].北京：科学出版社，2009.
[9]张德禄.多模态话语分析理论与外语教学[M].北京：高等教育出版社，2015.
[10]张佐成.多模态即席话语研究[M].北京：世界图书出版社，2014.
中图分类号 ：H319
文献标识码： A
文章编号： 2096-4110（2019）10（b）-0084-02
作者简介 ：许晓翠（1994-），女，湖北荆门人，硕士研究生在读，研究方向：外国语言学及应用语言学。
标签：多模态话语论文; 分析论文; 综述论文; 新疆大学外国语学院论文;