言语情绪韵律加工的时间进程，本文主要内容关键词为：韵律论文,进程论文,言语论文,情绪论文,加工论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
分类号B842.5
1 引言
口语交流是人类情绪重要的传达方式之一。人们不仅可以通过口语的音段成分传递的语义信息来理解说话人所表达的情绪，还可以通过口语声音中音高、时长、强度等声学线索的变化，感知说话人不同的情绪状态(Besson，Magne，& Sch
n，2002)。这些声学线索的变化，构成了情绪韵律。
表达情绪的声学线索一般包括音高、音强、时间等相关声学参数以及语调曲线的变化等。研究者认为，不同的声学线索能够反映情绪的不同维度如激活度和愉悦度(Banziger & Scherer，2005；Juslin & Scherer，2008)。例如，Banziger和Scherer(2005)发现语调曲线的音域也随着情绪激活程度的变化而逐渐变化。研究还表明：有着高激活度的情绪声音(如生气、害怕、高兴等)，其音高平均值也较高；低激活情绪(如悲伤、厌倦等)的音高平均值也较低(Paeschke，Kienast，& Sendlmeier，1999；Juslin et al.，2008)。
通过感知情绪语音中的声学线索，人们从中提取出所携载的情绪意义(Bostanov & Kotchoubey，2004)。一般情况下，声学线索表达的情绪与语义表达的情绪一致。但当一个人用生气的语调说“我很高兴”时，听话者还需要恰当地权衡来自语义的高兴情绪和来自韵律的生气的情绪，从而正确理解说话人所表达的真正情绪含义。这说明听话人从声学线索中提取出情绪意义后，还要对之进行评价，并将之与语义权衡、整合(Kotz & Paulmann，2007)。在相关研究的基础上，Schirmer和Kotz(2006)提出，可以将情绪韵律的加工过程分为3个阶段：(1)声学线索的识别分析：(2)从声学线索中提取情绪意义；(3)整合韵律情绪到更高水平，主要指的是韵律的情绪性评价以及与语义进行的整合。由此可见，情绪韵律的加工就是从感知韵律声学线索到识别理解口语信息的过程，其加工通路始于听觉器官，通过神经传导，并列或序列进入大脑各个区域，进行相应的加工整合(Schirmer，et al.，2006)。以往的研究大多探索的是情绪韵律加工的大脑区域，现在研究者开始关注情绪韵律加工的时间进程。一些研究采用简单的行为实验方法如情绪启动范式等，发现韵律情绪可以引导注意资源(Brosch，Grandjean，Sander，&Scherer，2008)，可以加快与启动刺激情绪价一致的目标刺激的加工速度等(Wurm，Vakoch，Strasser，Calin-Jageman，& Ross，2001)。大多数研究者采用的是具有精细时间分辨率的事件相关电位技术(ERP)，在词汇和句子等层面对情绪韵律加工的时间进程进行详细探讨。本文主要介绍了情绪韵律加工ERP研究中的热点问题：情绪声音加工中韵律情绪信息识别的时间点以及影响因素，传递情绪信息的韵律通道和语义通道加工的自动性以及两个通道的交互作用等。
2 韵律情绪信息的识别及影响因素
2.1 韵律情绪的识别
Bostanov和Kotchoubey(2004)的ERP实验探讨了从声学线索中识别情绪的时间点，发现了一个反映韵律情绪识别的ERP成分——N300。实验采用oddball范式，使用没有语义信息的情绪感叹词：Yeah，Heey，Wow，Oooh作为刺激材料。实验者请发音人用高兴的情绪语调朗读这4个感叹词，作为大概率标准情绪刺激；用悲哀的情绪语调读出Oooh，作为小概率的偏差刺激。5类刺激材料随机听觉呈现给被试，用ERP记录被试在听刺激材料时的脑电反映，比较被试在听到偏差刺激时的脑电波与标准刺激时的差异。
图1 情绪偏差刺激诱发N300
(Bostanov & Kotchoubey,2004)
实验结果(图1)表明情绪偏差刺激诱发了N300。悲哀情绪语调的感叹词Oooh与其他4种高兴感叹词相比较，或者悲哀Oooh仅与高兴Oooh相比，诱发的效应是类似的。这说明被试在情绪偏差刺激呈现后300ms之内就提取出声音携载的情绪信息，意识到了偏差刺激与标准刺激在情绪意义上的区别。但这个实验也有一定的局限性，比如说研究的情绪种类太少，且高兴、悲哀情绪的激活水平也没有得到很好的控制。
Bostanov和Kotchoubey(2004)进一步使用启动范式，在验证第一个实验结果的基础上，从刺激材料的情绪种类等方面对情绪韵律加工的时间进程进行了拓展研究。实验采用更多的情绪种类，诱发被试进行的是情绪识别而非简单的声学特征的区分。实验程序如下：首先视觉呈现不同的情绪名称作为启动词，而后听觉呈现情绪感叹词作为目标词，如“joy”-wow[grief]，启动词携载的语义情绪和目标词携载的韵律情绪两者的效价或者一致，或者不一致。用视觉情绪名称作为启动词，避免了听觉呈现时启动词和目标词之间物理声学特征的干扰。实验结果与oddball范式结果类似。相比启动词和目标词情绪效价一致的刺激对，不一致情绪刺激对诱发了N300，说明被试在情绪偏差刺激呈现后300ms之内确实可以提取出声音携载的情绪信息，并与先前期待情绪相比较；而且正性和负性情绪启动刺激都会诱发N300，说明情绪识别效应与情绪价无关。N300反映了语境中情绪信息与当前韵律情绪信息整合加工的难易程度。在功能上，它类似于反映语义加工的N400；但是它的潜伏期和持续时间更短，这说明情绪识别是一个快速的加工过程。这可能与其在进化过程中的重要意义有关。
2.2 性别、注意等因素对韵律情绪识别的影响
女性比男性在情绪的理解上更敏锐，有研究者对70个研究报告进行了元分析，发现了女性在非语义情绪识别上的显著优势(引自Schirmer & Kotz，2003)。那么，在情绪韵律加工中，性别的不同对情绪信息的识别有何影响呢？Schirmer，Kotz和Friederici(2002)采用了启动范式，通过变化SOA——从启动刺激开始呈现到靶刺激开始呈现的时间间隔，考察不同性别被试在利用韵律线索识别情绪信息上的时间差异。实验程序如下：首先听觉呈现语义中性、具有情绪语调的句子，间隔一定的时间(200ms或者750ms)后，视觉呈现一个语义情绪目标词。目标词的语义情绪效价与听觉句子的韵律情绪或者匹配，或者不匹配。实验采用的是真假词判断任务，要求被试判断视觉目标词的真伪。结果发现不匹配情绪目标词诱发一个类似于N400的负波，说明尽管在韵律非注意条件下，被试还是意识到了目标词的语义情绪与启动句韵律情绪之间的不同。但是，不同性别被试N400效应出现时需要的SOA不同。SOA为200ms时，也即在启动刺激呈现200ms之后呈现目标刺激时，女性被试就可以利用韵律线索识别其中的情绪信息，并与目标词语义情绪相整合。而男性被试只有在SOA为750ms时，才能够利用韵律线索识别其中情绪信息。也就是说，女性早在情绪声音呈现后200ms之内就可以利用声学线索识别情绪信息；而男性对韵律情绪的加工需要750ms。此实验以及后续几个研究(Schirmer，et al.，2003；Schirmer，Zysset，Kotz，& Cramon，2004)均表明女性对韵律线索的加工更早，对情绪韵律线索的加工上更为敏感。
Schirmer等(2002)采用的实验任务是真假词判断，此时被试的注意资源被分配到韵律无关的刺激上。那么，当实验任务使得被试的注意资源分配到韵律上时会怎样呢？Schirmer，Kotz和Friederici(2005)进一步探讨了注意资源的分配对情绪韵律加工的调节。实验使用的材料同2002年的一样，并将听觉呈现语句与视觉词之间的时间间隔固定为200ms。实验的任务是，要求被试在判断真假词的同时，判断语句韵律情绪和视觉词的语义情绪是否一致。这样使得被试关注语句的韵律情绪，分配给韵律更多的注意。实验结果发现，在韵律关注的任务下，性别差异消失，男性和女性在不一致的情绪词呈现后都产生了一个的ERP负波。研究者认为，这个负波反映了韵律情绪与视觉词语义情绪之间的整合。实验中，对韵律的关注使得男性被试可以更早地利用声学线索从而识别其中携载的情绪信息，这个实验表明了注意可以改变听话者利用声学线索识别情绪信息的速度。
3 韵律情绪和语义情绪的整合与交互作用
3.1 韵律情绪和语义情绪的自动加工
韵律和语义都是口语声音中情绪信息重要的传递通道。情绪的进化重要性使得情绪信息的加工具有自动、不可忽略等特性(Vuilleumier，2005)。其中，情绪加工的Stroop效应反映了情绪语义加工的自动性(Williams，MacLeod，& Mathews，1996)。情绪韵律也会引起不随意的加工偏向(Grandjean，et al.，2005)。那么，当口语声音中韵律和语义同时传递情绪信息，而听话者仅关注一种信息时，另一种信息能被自动加工吗？或者说两者都不可以忽略？对于这个问题，研究者使用词—韵律干扰范式进行解决。词—韵律干扰范式中，同一个词的语义传递的情绪信息与韵律传递的情绪信息不一致，要求被试关注韵律，观察不一致的语义情绪对韵律加工的影响；或者要求被试关注语义，观察不一致的韵律情绪对语义加工的影响。
Grimshaw(1998)的实验在词水平上考察语义和韵律的交互作用。实验听觉呈现给被试“mad”，“sad”，“glad”等语义情绪词，分别用3种不同的情绪语调朗读，这样使得词汇语义情绪和韵律情绪或者一致，或者不一致。实验采用两种情绪判断任务，一是根据语义判断情绪种类，二是根据韵律判断情绪种类。结果发现，当被试关注韵律时，不一致词的反应更慢，错误率更高；而关注语义时，两者没有差异。这也就是说，在韵律关注的条件下，不一致的语义情绪信息得到了自动加工，从而干扰韵律任务；而语义任务时，情绪韵律却可以忽略，不会干扰听话者进行语义情绪分类任务。
图2 语义任务下，女性被试诱发不一致效应
(Schirmer & Kotz,2003)
Schirmer等(2003)进一步用ERP技术考察情绪韵律和情绪语义自动加工以及性别差异。实验中，听觉呈现给被试韵律情绪和语义情绪一致或者不一致的词汇。实验任务也是两种：一种是要求被试忽略韵律，判断语义情绪是正性、负性还是中性；二是要求被试忽略语义，判断律情绪的极性。ERP实验结果发现，一致的刺激诱发更小的N400波幅，但是这种效应只发生在语义判断任务且女性被试中(图2)。这说明女性更容易受到情绪韵律的影响，对于女性而言，韵律信息的加工更为自动化；而男性对韵律信息不很敏感。而韵律任务时，两类刺激没有差异，这说明语义并没有起到干扰作用。女性在情绪韵律加工上的优势进一步得到验证。但是关于情绪声音中韵律和语义加工的自动性上，此实验结果与Grimshaw(1998)的结果并不一致。作者解释为在此实验中，韵律任务相对简单，语义任务相对困难。这个实验所使用的词汇材料并非直接的情绪语义词如“高兴”等，而是“安全”、“贫穷”等具有正负性的抽象语义词，而且增加了中性情绪，正性、负性和中性3种语义情绪的区分更加困难。作者推论，情绪信息提取相对困难的加工通道，在非注意条件下，更不容易自动加工，不能干扰另一通道情绪信息的加工；而情绪信息提取较为容易的加工通道，在非注意条件下，则可能得以迅速加工，干扰另一通道情绪信息的加工。但这需要进一步验证。
3.2 韵律和语义加工的交互作用
词—韵律干扰范式有关研究考察了情绪韵律和情绪语义加工的自动性，实验结果并不统一。研究者进一步在句子水平上用新的方法——cross-splicing，对这两个通道信息的加工是如何交互作用的以及交互作用的时间点等问题进行了考察。句子水平上对这个问题考察的最大挑战在于韵律和语义语法等不同步(Eckstein & Friederici，2006)，因为韵律语调跨越了整个句子，而语义语法发生在句子中的局部位置。而采用cross-splicing方法则能够通过拼接使得一个句子前后两部分的韵律情绪信息和语义情绪信息不同，使得韵律期待违反和语义期待违反同步发生。
Kotz和Paulmann(2007)通过cross-splicing 方法构造了韵律期待违反句子和韵律\语义混合期待违反两种句子(图3)。在韵律期待违反条件下，句子的前半部分的语义和韵律均中性，而拼接的句子的后半部分的语义中性、韵律是情绪的。这样，使得句子的前后两部分的语义情绪一致，但韵律情绪相反。在韵律\语义混合期待违反条件下，句子前半部分的语义和韵律还是中性的，但是拼接的后半部分句子的语义和韵律均是情绪的，比如说韵律情绪是高兴，语义情绪为生气，抑或反之。这样，句子的前半部分的情绪信息诱导听话者形成对句子后半部分情绪的期待。听话者在听到句子后半部分时，因为句子后半部分的韵律和语义情绪均与期待的情绪不一致，这样会诱发期待的违反效应，通过ERP波表现出来。通过韵律期待违反诱发的ERP效应，研究者可以考察句子水平韵律期待违反的不一致效应诱发的ERP成分；通过比较韵律期待违反与韵律\语义混合期待违反诱发的ERP效应的异同，可以考察在韵律\语义混合违反条件下韵律加工和语义加工的交互作用。
图3 实验材料举例(Kotz & Paulmann，2007)
实验一采用探测词任务，在听觉呈现给被试实验语句后，再视觉呈现一个探测词，要求被试又快又准确地按键判断视觉探测词是否在听觉语句中出现过。实验二则采用了情绪韵律分类任务，使得被试关注情绪韵律，考察注意资源对情绪韵律加工的影响。
图4 韵律期待违反诱发正波(实验一和实验二)
(Kotz & Paulmann,2007)
实验结果如图4和图5(图中，实线表示匹配条件，虚线表示不匹配条件)。两个实验中都发现，韵律期待违反会诱发一个右侧化正波(句子开始呈现后600～950ms)。考虑到Astésano，Besson和Alter(2004)观察到语调违反诱发的P800，因为语调不匹配与F0曲线违反相关，似乎有理由认为，韵律曲线不匹配可以诱发一个正的ERP成分。然而，P800只有在被试注意力集中在韵律加工时才会出现，而Kotz等(2007)的实验一中使用的是内隐探测任务。另外，这两个波的潜伏期也不同。这些均表明这两个正波成分可能相关但并非反映了相同加工过程。并且，情绪韵律不仅仅通过音高曲线表达，还包括更精细的声学线索。因此，研究者提出期待违反诱发的这个正波可能仅是反映了从中性到情绪刺激的一个实时转换。
图5 韵律\语义混合期待违反诱发负波(实验一、二)和正波(实验二)(Kotz & Paulmann，2007)
而在混合韵律\语义违背条件下，两个实验中均仅在句子呈现后350～550ms出现了一个负波。因为N400反映了词汇通达和语义的整合，这个负波可能属于N400族，但是它在形态上偏离N400，尽管时长类似(200ms)，但是潜伏期和分布不同。这个负波的潜伏期很短，研究者认为有可能是情绪韵律的违反早在语义期待违反出现之前就提示被试即将出现的词是不匹配的，所以这个负波既包含语义期待违反也包含韵律期待违反，是一个新的ERP成分。实验二采用韵律关注任务，此时会在负波之后出现了一个小的正波，研究者解释认为这个正波反映了混合韵律\语义违背条件下不一致韵律情绪诱发的效应。
研究者认为实验结果支持了情绪语义和韵律的交互作用的观点，因为在探测词任务下，混合韵律\语义违反没有能够诱发反映韵律期待违反的正波。即使在韵律相关任务下，混合韵律/语义违反首先还是诱发负波成分，然后才出现一个可能反映了韵律期待违反的小正波成分。研究者提出这是由于情绪语义通道的加工能够“制约”韵律情绪通道的加工。在情绪信息传递的通路中，语义加工的重要性更大一些，更是不可忽略的。
Paulmann和Kotz(2008)进一步拓展了对于情绪韵律加工时间进程的认识。实验中，在韵律违反条件下，使用假句作为实验材料，考察语义是否对韵律违反效应有影响；并且采用6种基本情绪，同时还以发音人性别(男、女)作为自变量，考察情绪类型和发音人性别的作用。实验结果与Kotz等(2007)的实验结果一致，韵律期待违反诱发右侧化正波(句子开始呈现后600～950ms)，这说明此效应与语义无关；混合违反条件诱发了一个分布于整个头皮的负波(句子开始呈现后350～550ms)，进一步验证了情绪语义通道的加工“制约”韵律情绪通道的加工的观点；并且，这些效应与发音人性别、情绪类型均无关。
Kotz等(2007)和Paulmann等(2008)均发现韵律期待违反条件会诱发一个右侧化的正波(句子呈现后600～950ms)。但是这个正波到底反映了加工的哪个过程，它的本质是什么，它会在何种条件下出现等问题还不是很清楚。它与语调韵律违反诱发的正波P800是否是同一家族？它是由韵律模式失匹配或者说音高模式失匹配诱发的正波，还是情绪信息不一致诱发的波呢？对于这些问题，进一步研究可以同时考察语调期待违反和情绪韵律期待违反诱发的ERP成分，观察两者的异同；或者系统地变化情绪韵律违反的类型(如，从韵律情绪转换为韵律中性)或声学参数(如，变化音高，保持其余不变)，从而考察这个问题。
4 研究展望
近些年来，由于研究者广泛采用ERP等能够揭示信息加工时间进程的新技术，使得情绪韵律的认知加工研究取得了新进展。研究者将情绪韵律加工过程划分为3个阶段，研究各个加工阶段的时间进程(Schirmer，et al.，2006)。目前研究发现，在词汇水平，韵律情绪词呈现后300ms之内听话者可以识别出韵律情绪信息，性别和注意资源均可以改变韵律情绪信息识别速度；韵律情绪信息和语义情绪信息都有可能在非注意条件下得到自动加工，这取决于不同通道情绪信息提取的难度；句子水平，韵律期待违反会诱发正波，而且实验发现情绪语义通道的加工能够“制约”韵律情绪通道的加工，在情绪信息传递的通路中，语义加工的重要性更大一些，更是不可忽略的。但是这些结论并不确定，需要进一步实验验证；并且还有若干问题有待进一步研究。例如，情绪韵律与其他通道信息是如何相互作用、如何整合加工，加工时间点以及神经机制等是一个值得探索的领域。Belin，Fecteau和Bedard(2004)提到，情绪声音加工涉及3种功能水平的加工：语义加工、情绪韵律加工和说话人身份识别。那么，在情绪语句加工中，听话者是先识别语义，用情绪补充和精细化意义；还是先认定情绪框架，在这个框架下确定意义；或者是情绪和语义交互作用，同时加工。另外，情绪韵律加工与说话人身份的确定的关系如何等问题，Spreckelmeyer等(in press)已做过一些探索，但需要进一步探索。又如，情绪韵律加工的跨文化比较也是值得研究的领域。研究已经表明，情绪的声学表征具有跨文化特性，但也具有文化差异。同非声调语言英语相比，普通话、台湾话、泰国语等声调语言的情绪表达更少地使用基频变化和基频坡度表征，情绪韵律的语调曲线和中性韵律的差异更小(Ross，Edmondson，& Seibert，1986)。那么，以汉语为研究对象，考察声调语言加工的时间进程与非声调语言是否一致，对情绪韵律加工神经机制进行不同语言的异同点的比较，将拓展并深化情绪韵律加工的神经机制研究。