【语言学研究】
系统功能视角下多模态隐喻意义的认知构建
刘凤贤①
(辽东学院 外国语学院，辽宁 丹东 118003 )
摘 要 ：多媒体和数据技术的推广将多模态化引入了语言学领域。在异质感官符号的冲击下，语言文字作为表意符号，其垄断地位正逐渐削弱，以多种符号资源为表征的多模态隐喻则日益成为认知语言学研究的焦点。本文从系统功能语言学的角度探讨多模态隐喻意义的认知构建。
关键词 ：系统功能理论；多模态；多模态隐喻；认知构建
引言
Lakoff 和Johnson合著的《我们赖以生存的隐喻》一书将隐喻研究纳入了认知思维的研究轨道，隐喻的思维性和概念性本质已被语言学界广泛接受，并且得到了充分的语言事实的验证。然而，主流语言学家对隐喻认知功能的构建与理解却只停留在语言文字的表征层面，至于异质感官符号及多模态互动所产生的隐喻现象没有给予应有的重视。同时，经典的语言隐喻研究过分强调了A IS B的隐喻构成模型，无形中忽略了隐喻的动态构建本质。
多模体及异质载体时代的到来引发了学界对多模态研究的转向。在认知语言学界，越来越多的学者开始意识到单纯依赖语言文字表征去构建隐喻存在着偏颇，因为在人类交际过程中，其他非语言符号及多种模态的互动在隐喻意义的构建中同样起着不可忽略的作用。因此，多模态隐喻的构建与解读是人文学术界中认知思维研究的新型范式。但目前有关多模态隐喻的研究尚未对其隐喻意义的构建做出具有普遍意义的阐读。本文试图以系统功能理论为依据，探索多模态隐喻意义的认知构建。
一、模态与多模态理论
多模态隐喻的研究要以“模态”和“多模态”的界定为前提。Forceville[1] 把模态(modality)定义为“利用具体的感知过程可阐释的符号系统”。换言之，模态是指所有生命体借助于某种媒介与外界事物交织在一起，通过互动传递信息、认知世界的一种感知模式。Forceville所给的定义将模态和人类的五大感觉器官——视觉、听觉、触觉、嗅觉和味觉联系起来，从而形成了视觉、听觉、触觉、嗅觉和味觉五种模态。但在实际交际中，人们往往将各种模态与其他交际形式混杂使用，结果是模态的概念变得复杂起来，例如，视觉模态又含有图画形式、口头语言、书面语、音乐和手势语等，所以很难给模态一个穷尽性的分类。
随着计算机、多媒体设备和多种科技信息技术的开发与利用，人类交际活动不再依赖于单一模态的文字表征，而是逐渐与其他的物质手段和相关的意义资源结合起来，形成多种感知世界的方式和信息传递的渠道，这种交流现象被称为“多模态(multimodality)”。我国学者胡壮麟[2] 曾指出，在多模态交互和数据发展时代，单一模态的交际模式已经不能满足人类现代交流的要求，而不断增强的多模态性已成为现代交际的基本特征。
20 世纪90 年代，西方学术界兴起了以社会符号观为基本认知的话语分析理论 (discourse analysis)，而多模态理论就是在此基础上发展起来的一种认知理论。就其性质而言，多模态话语分析理论是人类感知通道在交际过程中综合使用的结果。它的研究与应用大大超越了语言学的研究领域，成为一种跨学科的理论，其研究对象也从语言文字符号延伸到图片、音乐、影像、网页设计和建筑风格等诸多社会符号系统。随着信息技术的迅猛发展，多模态日益成为主流交际模式，其现实性和普遍性赋予视觉感知一种超乎文字至上的感性特权。1977 年，R. Barthes在其论文《图像的修辞》(Rhetoric of the Image)中探讨了图像与语言的相互作用，开启了多模态理论的研究。而多媒体技术、语言工程研究和语料库的发展为多模态研究(multi- modal approach)提供了便利条件[3] 。
本文通过深入分析入侵检测技术数据挖掘技术，同时阐述了该技术的特点，提出基于该技术由关联规则和决策树实现基于混合模型的入侵检测模型，并从系统设计，功能设计实现方面分别阐述，有助于提高网络入侵的检测的准确性，降低误报率，为之后网络进行入侵检测系统优化提供参考。
多模态理论将语言研究延伸到一切用来构建意义的符号资源中，并将语言文字符号与其他多重符号资源进行整合，验证了语言以外的声音、色彩、图像、线条等非语言符号都能实现相同的意义系统。由此，人类能够更加全面地、准确地解读话语意义，推动隐喻研究的发展进程[4] 。
二、隐喻研究的多模态转向
随着新媒体技术和语料库的迅速发展，跨学科研究态势成为推动隐喻多模态转向的宏观语境。在人文科学研究领域，认知语言学和社会学、文学与认知科学、认知科学与语言学等不断融会贯通，隐喻研究得到了跨学科的关注，开启了隐喻研究的多模态转向。
1. 多模态映射与漫画中多模态隐喻的构建
生：我觉得“（ ）”里的文字，写的是人物说话的语气和神态，而“ ［”后的文字，我觉得好像是人物的活动。
三、系统功能语言学视角下多模态隐喻意义的构建
纯语言层面的隐喻构建在很大程度上取决于相似性的认知。这种存在于概念系统中的相似性不仅可以通过语言文字来表征，而且也可以通过有声话语、静态或动态图像、音乐或其他非语言符号模态来实现。人类就是借助于某种符号模态或若干符号模态的综合运用来认知世界的。多模态隐喻构建的前提是：(1 )提供符号系统和感知呈现的背景条件；(2 )符号系统与感知所呈现的背景要对隐喻的感知起到提示的作用；(3 )要具有一定的层次变化，使听者或读者根据自己的理解找出不同的源域和目标域。目前对多模态隐喻的研究主要有两大方向，认知语言学视角和系统功能语言学视角。认知语言学视角下的多模态隐喻研究关注的是隐喻、转喻自身的特点和意义构建的动态机制，而系统功能语言学视角下的隐喻研究关注的则是各种隐喻资源潜势的系统性，二者之间互为补充，相得益彰。
(一)认知语言学对多模态隐喻构建的解读
多模态隐喻的形成以语言符号体系的多层级性为基础。在系统功能理论的框架下，视觉图像具有再现意义、互动意义和构图意义等三种意义资源。系统功能语法的再现意义框架是考察语义替换的有效方法，而语法结构中某一元素的聚合选择与替代是隐喻意义实现的重要途径[9] 。当语法结构中的任一常规要素被非常规要素替代时就产生了隐喻。换言之，隐喻可以被视为语言中“固定句法结构中的语义替代”，这就验证了隐喻和转喻的实现形式分别对应于聚合关系和组合关系的事实。隐喻意义可以与语言过程、心理过程和反应过程一起构成叙事过程，所以动作过程也具有图像隐喻的潜势。正是因为多模态隐喻具有叙述性，所以多模态隐喻的构建主要通过图片、文字和声音等一系列组合来完成。由此可以得出结论：在映射过程中无论是源域还是目标域，只要其中一个具有两种或两种以上的符号资源，就可称之为多模态隐喻[10] 。通过文字和图片所实现的隐喻具有三种映射形式：跨模态映射(cross- modal mapping)、单模态映射(mono- modal mapping)和多模态映射(multimodal mapping)，它们构成一个选择系统。
图像→文字型(a1 b2 )多模态隐喻就是大多数学者所分析的类型。在其构建过程中，人们首先赋予图像某一特定属性或身份，再通过文字的提示来解读。Halliday[12] 认为图像是隐喻意义构建的一个标识(token)、文字则赋予该标识以价值(value)，由此实现了通过文字去识别图像价值的认知过程。由于多模态隐喻具有一定的叙述性，这类隐喻在政治漫画中颇为常见。作为一种特殊的语类，政治漫画利用了图像和文字的协同作用，所传递的语言信息和图符意义更具有表意性和目的性。在漫画的构成中，图像通常占主导地位，文字则依附于图像；但文字对图像意义的表达又具有强化和引导作用。如果没有文字，对漫画的解读就会产生歧义。(如图1 所示)
(二)系统功能视角下图像- 文本关系与多模态隐喻的构建
系统语言学研究的主要内容包括语言的性质、语言的共同特点、语言过程以及语言学的应用问题。我国学者赵秀凤[7] 曾从系统功能学的角度对多模态隐喻的构建进行了批判性和系统性的研究，指出了Forceville有关多模态隐喻研究的局限性，提出从“超语言环境”视角探索多模态隐喻意义的构建和解读。以系统功能语言学理论为框架的多模态隐喻研究的目的就是把语言符号的单模态隐喻理论运用到其他交际符号资源中，即在语言文字符号以外的更高层面上构建隐喻意义。
随着中国的经济发展和改革开放，中外有越来越多的短期或者长期的学术交流或者合作办学等活动，学校和教师应该鼓励大学生积极参与。因为参与此类活动有助于大学生加深了解西方文化，并发展出对中西文化多维、客观和理性的视角。如高一虹（2011）通过调查发现，一名有过多次出国经历的大学辩论队成员说自己作为中国人的身份并没有减弱，而且随着自己对西方文化的了解加深，得到了加强。另外一名出国学习的学生说他会在国外网站上看外国的新闻，并会特别关注外国对中国的事情的报道，并思考这些报道的视角有什么不同，因而看问题会更全面[13]。
借助于大量的平面广告语料，Forceville对图像隐喻进行了分类：(1 )替代式(源域——目标域，MP1 )；(2 )一体式(源域——目标域，MP2 )；(3 )并置式(源域——目标或图像明喻)。虽然Forceville对多模态隐喻的分类并不能涵盖所有的图像隐喻和图像- 文本隐喻类型，但这种分类方式具有一定的逻辑性，那就是源域和目标域有可能存在于同一个空间。从系统功能角度看，当两个实体存在于同一个空间时，会出现两种结果：“结合状态”或“分离状态”。对于处于“结合状态”的两个实体来说，源域与目标域各自会有一部分交融在一起并构成一个整体，或目标域完全代替源域，使两个实体融为一体(fused)；而在分离状态时，两个实体则形成近距离的并置(juxtaposed)，以此保证映射关系的存在。
早在20 世纪70 年代， Goodman和Barthes等人就发现了图像中存在着故意违背视觉常规的修辞表达，并称之为视觉隐喻。90 年代后期，以Charles Forceville为代表的欧美学者开始尝试从多模态角度研究隐喻。1996 年，Forceville[5] 在《广告中的图片隐喻》(Pictorial Metaphor in Advertising)中，率先提出了图像隐喻(pictorial metaphor)，(也叫视觉隐喻visual metaphor)。基于认知语言学和传媒学相关理论及研究成果，Forceville运用平面广告和漫画实例，从静态视觉角度探讨了图像与文字的互动所产生的多模态隐喻，首次将图像隐喻提升到概念层面。同时，他将认知隐喻理论和广告设计相结合，提出了图像隐喻分析的理论框架。在他看来，图像也是隐喻思维的有效表达方式、隐喻构建离不开图像与文字的互动、隐喻意义需要通过视角感知来实现。至此，Forceville的研究领域包括语言文字与声音、音乐、音响、镜头剪辑、景深等诸多因素的互动，所关注的语类也从平面广告拓展到漫画、电视广告及电影等。由此，多模态隐喻从视觉图像的静态层面延伸到多模态隐喻的动态研究。同时，他还提出了“非语言和多模态隐喻”这一术语。在他看来，人类对通过自身感官所获取的信息更容易形成认知，因此，能够通过具体的概念对抽象的事物进行理解并形成系统的概念。
然而，虽然我们看到的只是一个简单的空间关系，但实际上它是一个相当复杂的元功能结构体，而Forceville有关图像隐喻的分类恰恰忽略了这一事实。根据系统功能理论，语言表征总是以物质、心理和关系等三个抽象过程存在于人类社会的交际活动中。Kress & Van Leeuwen[8] 则将这一观点应用在视觉图像中，并将这一视觉过程框架称为再现意义。
甲洛洛准备走了，登子拿着煤油灯送，刚才进门的过道上，密密麻麻地布满了打屁虫，少说也有几百只，甲洛洛心里有些发毛，连个下脚的地方都找不到。登子笑着：我们家借宿的太多了。甲洛洛也呵呵地笑：是啊，你也够辛苦的，养这么大一家子。
隐喻学在当代形成了跨学科多元研究的态势,隐喻的运用极大地促进了人类逻辑思维的深化和发展。在“超语言”环境中，多模态隐喻的哲学基础仍然是体验哲学。根据概念隐喻的“映射理论”，“隐喻的实质是通过另一类事物来理解和体验某一事物”[6] 。其过程就是源领域的经验向目标领域的“映射”。这种存在于概念系统中的跨域映射既可以借助语言符号来完成，也可以通过非语言形式来实现。Forceville对多模态隐喻的阐释主要运用的是“双域映射理论”，即源域向目标域的映射需要通过两种或两种以上的模态来完成。在阐述和解读由不同符号模式构成的图像隐喻时，Forceville特别强调图像语境与语言文字相结合的重要性。他认为如果只有图像，没有文字，其隐喻内涵往往不够明确，甚至会产生歧义。在多模态语境下，隐喻意义的构建就是通过语言文字与图像、音乐或颜色等其他相关的语境信息进行互动，将源域信息映射到目标域，从而实现不同符号系统对多模态隐喻的构建。人类正是运用某种或若干符号模态来感悟和认知世界的。
注：1Torr是指“将细直管内的水银顶高一毫米之压力”，而标准大气压力可以将水银升高760 mm，故此将1Torr定为标准大气压力的1/760倍。
静脉溶栓治疗能够克服经皮冠状动脉腔内成形术治疗过程中存在的医疗条件问题，同时该治疗方法对患者的创伤较小，对患者身体耐受力的要求较低，适于进行广泛的推广和应用。且静脉溶栓治疗能够取得较高的血管再通率，从而在较短时间内有效地改善患者的血液供应情况，促使患者的心肌缺血缺氧症状得到有效改善和控制，不仅如此，临床研究还表明，静脉溶栓治疗能够减少患者治疗过程中室颤、休克、心力衰竭、右束支阻滞的发生，这对于提高患者的救治效果，降低患者的死亡率具有重要的意义[9-10]。本次研究也证实了这一点。
多模态隐喻研究的兴起主要源于纯语言文字隐喻研究存在的不足和多模态交际手段的跨学科发展。在纯语言隐喻研究中，语言和文字符号是隐喻的映射规律、思维本质和认知机制的唯一表达形式。然而，在自然状态下所发生的话语活动往往具有多模态性。作为一种思维和行为方式，隐喻意义的体现是通过源域事物特征向目标域事物进行映射来实现的。多模态理论证明，这种存在于概念系统中的跨域映射不仅仅以语言文字为唯一的手段，图像、声音、色彩、线条、动作、空间布局或一切艺术形式都是实现映射的有效方式。事实证明，在体验隐喻意义的构建过程中，语言之外的其他符号、艺术形式以及语言符号均具有同等的作用，都是隐喻的外化形式。因此，只从语言符号的层面去考察隐喻意义的构建存在一定的偏见。
多模态隐喻的构建往往以转喻为前提，每个从源域投射到目标域的特征或属性必须首先与源域建立转喻性连接[11] 。通过转喻表征来映射相应的概念域或语义场，由此进入输入空间，共同构建一个理想的意象场景或认知模型。
多模态隐喻意义的构建具有动态性、互动性和共生性的特点，其隐喻意义的表征方式比纯粹的文字隐喻更丰富、所传递的信息更直观、给人的印象更深刻。另外，基于不同的体裁与模式，多模态隐喻在构建过程中两域之间存在可逆性。
上面这幅漫画向人们展示的是一个三维立体空间图，图像在整幅漫画中占据中心位置，文字作为一个基本的背景信息处于图片的下方。在解读整幅漫画过程中，首先映入眼帘的是印有BIG GOVERNMENT标志并装着满满集装箱的一艘大轮船；其次是从船头甩下并将两个标有美国下一代纳税人牢牢套住的四条铁索；接着我们可以看到在高不可攀的船头上站着一个人，他正在向那两个被铁索套住的人发号施令，要求他们拉着这条极不成比例的大船全速前行。这里很显然大船作为源域来映射目标域——美国政府；两个被铁索牢牢套住的人映射美国下一代的纳税人。整个漫画以一个极不和谐的画面映射出美国纳税人肩负着难以应付的税收负担。这幅漫画所传递的隐喻意义就是不仅现在的美国人、下一代乃至下下一代的美国人，都将背负着沉重的税负包袱、拖着帝国的大船艰难前行。下面是另一幅著名的美国漫画。(如图2 所示)
1754 年5 月9 日，美国宾夕法尼亚公报刊登了一副由建国时期政治家和科学家本杰明·富兰克林所创作的漫画，这也是美国公认的最早的政治漫画。画面上是一条被斩成八段的蛇，每一段旁边都标注一个英文字母，是美国各个殖民地的简称，画的下方写着“JOIN，or DIE”(联合或死亡)。漫画在隐喻的构建过程中，将“蛇”描述为美国的十三个殖民地，但其符号化过程为先画出蛇，再用文字赋予“蛇”以价值。这样，“蛇”就被赋予了特定的隐喻意义，点明了作品的主题。在我们的认知过程中，首先认知的是“蛇”这个动物，然后再通过文字“JOIN，or DIE”赋予图像以价值。多模态隐喻构建中的语类和话题告诉读者该漫画与北美独立有关，我们从背景知识中能够找到北美殖民地与“蛇”之间的相似性。因此，“蛇”可以作为理解北美殖民地的某种属性的渠道，即源域，北美殖民地则是目标域。此漫画的构思基于当时的一个传说，蛇在被腰斩之后不会立即死亡，如果能在日落之前重新结在一起就能起死回生。这幅画充满了政治色彩，作者富兰克林希望借这个传说激励美国各州联合起来，抵御共同的敌人。
2. 多模态映射与广告中多模态隐喻的构建
多模态映射是指映射同时存在于文字和图像中，一个域是图像，另一个域为文字。其映射路线可用a1 b1 a2 b2 所组成的矩形图案来表示(见图3 )。a1 b1 和a2 b2 分别为两条映射线，传递的是图像隐喻与文字隐喻之间的关系。在文字图像隐喻中，二者缺一不可。这种隐喻多出现在广告中。例如图3 是一则Mercedes Benz的汽车广告，广告上方写着“ENGINEERED TO MOVE HUMAN SPIRIT—— Mercedes Benz”人类精神的动力——梅赛德斯奔驰)。在图像中，目标域是由带有“Mercedes Benz”字样的汽车标志，源域则是整个图像。该隐喻中文字部分通过汽车动力与人类精神的相似性构建了隐喻意义，这种多模态映射在创作过程中具有一定的难度，但能最大限度地保证读者对隐喻的解读。这则广告所传递的是“A CAR IS POWER”和 “A CAR IS SPIRIT” 的隐喻意义。(如图3 所示)
情窦初开的少男少女，当遇到异性递来的“求爱信”时，最要紧的是自己要保持理智，要明白这个阶段的好感并不是真正的“丘比特之箭”，对方还不具有成熟的爱情所具有的那份责任感，而只是本能的异性吸引的暂时表现，因为这个年纪还不会懂得爱的真正含义，更没有能力去承担爱的义务。
ENGINEERED TO MOVE HUMAN SPIRIT——Mercedes Benz
结束语
多模态隐喻研究超越了语言文字的表征符号，拓展了概念隐喻的思维方式。作为一种动态的认知模式，多模态隐喻更具审美价值和情感效应。通过分析在非语言和多模态条件下隐喻表征方式和构建机制，多模态隐喻的研究进一步发展和完善了概念隐喻的理论体系，它用跨域语类的具体事例为概念隐喻的构建提供了更为详尽的佐证，同时也彰显了隐喻意义构建的动态性。当然，多模态隐喻研究尚处在起步阶段，要建立一套完整的理论体系还需要进一步的探索和研究。
参考文献 ：
[1 ]FORCEVILLE C , FORCEVILLE C J , URIOSAPARISI E . Non- verbal and multimodal metaphor in a cognitivist framework: agendas for research[J]. Cognitive Linguistics Current Applications & Future Perspectives, 2009 ,22 :1.
[2 ]胡壮麟. 社会符号学研究中的多模态化[J]. 语言教学与研究,2007 (1 ):1-10.
[3 ]刘凤贤. 转型时期商务英语多模态实践教学模式创新研究[J]. 辽宁经济职业技术学院学报,2017 (4 ):135-138.
[4 ]朱永生. 多模态话语分析理论基础与研究方法[J]. 外语学刊,2007 (5 ):82-86.
[5 ]FORCEVILLE C. Pictorial metaphor in advertising [M]. London / New York: Routledge.1996.
[6 ]LAKOFF G, JOHNSON M. Metaphor we live by[M]. Chicago: University of Chicago Press,1980 :153.
[7 ]赵秀凤. 概念隐喻研究的新发展——多模态隐喻研究——兼评Forceville & Uparisi 多模态隐喻[J]. 外语研究，2011 (1 ):1-9 .
[8 ]KRESS G, VAN LEEUWEN T. Reading images：The grammar of visual designing[M]. London：Routledge.1996 :197.
[9 ]孙小倩. 系统功能视角下的多模态隐喻研究[J]. 佳木斯职业学院学报,2017 (4 ):340.
[10 ]FORCEVILLE C, URISO- APASISI T. Multimodal metaphor[M]. Berlin: Mouton De Gruyter. 2009 :24.
[11 ]冯德正. 多模态隐喻的构建与分类——系统功能视角[J]. 外语研究,2011 (1 ):24-29.
[12 ]HALLIDAY M A K. An introduction to functional grammar [M]. 2 nd ed. London: Edward Arnold. 1994 :124.
Cognitive Construction of Multi-modal Metaphorical Meaning from Perspective of System Function
LIU Feng- xian
(College of Foreign Languages ,Eastern Liaoning University ,Dandong 118003 ,China )
Abstract : The popularization of multimedia and data technology has introduced multimodality into the field of linguistics. Under the impact of heterogeneous sensory symbols, language, as ideogram, is losing its monopoly position. Instead, the multi- modal metaphor, characterized by multiple symbol resources, is becoming the focus of cognitive linguistics research. This paper aims to discuss the cognitive meaning construction of multimodal metaphor from the perspective of system- functional linguistics.
Key words :system- functional theory; multimodality; multimodal metaphor; cognitive construction
中图分类号 ：H04
文献标志码： A
文章编号： 1672-8572(2019)03-0100-06
DOI :10.14168 /j.issn.1672-8572.2019.03.17
①收稿日期： 2019-03-20
作者简介 ：刘凤贤(1964 —)，女，河北乐亭人，副教授，研究方向：英语语言学、英语教学。
(责任编辑 ：王 芳)
标签：系统功能理论论文; 多模态论文; 多模态隐喻论文; 认知构建论文; 辽东学院外国语学院论文;