非言语情绪声音中的情绪信息识别
蒋重清1，2， 李 亮1， 张喜娥1， 李 东1
(1.辽宁师范大学 心理学院，辽宁 大连 116029；2.辽宁省儿童青少年健康人格评定与培养协同创新中心，辽宁 大连 116029)
摘 要： 非言语情绪声音是指非言语性的、突然的情绪性发声，如笑声、哭泣声等，其在情绪表达和情绪传递中发挥着重要的作用。能够准确识别非言语情绪声音中的情绪信息有着重要的理论和现实意义。当前针对非言语情绪声音的研究涉及材料的录制形式、识别率、识别的影响因素和加工的脑机制等相关内容。主要有模仿(扮演)情绪发声、自发情绪发声和诱发情绪发声三种形式的声音材料。声音自身特征和听者因素均会对非言语情绪声音的识别产生影响。参与非言语情绪声音加工的脑区主要有杏仁核、边缘系统(包括海马、扣带回和脑岛等)、听觉皮层和额叶区等。今后的研究需要在声音材料的选取、声学参数的分析及机器识别等方面加以突破。
关键词： 非言语情绪声音；识别率；影响因素；脑机制；声学参数
一、引 言
在当下通信手段繁多的科技化时代，人与人的交谈经常是未见其人只闻其声，但我们依然可以准确地感知对方的情绪。因此在面孔情绪信息缺失的情况下，声音依然可以准确传递情绪信息并且能被接收者所识别。在日常人际交流过程中，通过对表情的判断可以有效地识别出他人的情绪。表情作为情绪的外部表现，一般分为面孔表情、姿态表情和言语表情等。通常，言语情绪既包括内容方面的信息(即语义)，也包括与内容无关的语音方面的信息。其中语音情绪信息中又包括情绪韵律和非言语情绪声音。情绪韵律是指不考虑词汇和语法结构，通过重音和语调的变化来传达不同形式的情绪，或是独立于语言内容而传递的情感信息；而非言语情绪声音是指非言语性的、突然的情绪性发声[注] HAWK S T, VAN K G A, FISCHER A H, et al. “Worth a thousand words”: absolute and relative decoding of nonlinguistic affect vocalizations[J]. Emotion, 2009, 9(3):293-305. ，如笑声、叹息声、哭泣声等。非言语情绪声音作为表达情绪最为直接、简洁的方式，在情绪表达和情绪传递中发挥着重要的作用。比如，人们通常通过笑声来表达高兴，通过哭声来表达悲伤，通过尖叫声来表达惊讶，等等，特别是对还不会说话的婴儿来说，他们往往通过笑声、哭声等非言语情绪声音来向外界传递情绪和情感。所以，能够准确识别非言语情绪声音有着重要的现实意义。
声音可以传递重要的信息，比如说话者的性别、年龄和情绪等信息[注] JIANG X, PAULMANN S, ROBIN J, et al. More than accuracy: nonverbal dialects modulate the time course of vocal emotion recognition across cultures[J].Journal of experimental psychology:human perception and performance, 2015, 41(3):597-612. [注] VASCONCELOS M, DIAS M, SOARES A P, et al. What is the melody of that voice? probing unbiased recognition accuracy with the montreal affective voices[J]. Journal of nonverbal behavior, 2017, 41(3):1-29. 。对非言语情绪声音的识别通常包括对声音情绪的识别，也包括对发音者的性别、年龄和身份等信息的识别，声音情绪的识别中又包括对情绪类型的识别和维度(效价、唤醒度等)极性的识别。当前关于非言语情绪声音识别的研究热点多集中在对声音情绪信息的识别上。本研究中对非言语情绪声音的识别就是指对声音情绪信息的识别。
目前关于非言语情绪声音识别的研究，既有声音库制作相关的研究(多采用扮演范式让发音者发声，随后要求被试对声音的情绪类型进行判断，并对其情绪效价、唤醒度、强度等进行等级评分)[注] ANIKIN A, PERSSON T. Nonlinguistic vocalizations from online amateur videos for emotion research: a validated corpus[J]. Behavior research methods, 2016, 49(2):1-14. [注] LIMA C F, CASTRO S L, SCOTT S K. When voices get emotional: a corpus of nonverbal vocalizations for research on emotion processing[J]. Behavior research methods, 2013, 45(4):1234-1245. [注] PARSONS C E, YOUNG K S, CRASKE M G, et al. Introducing the oxford vocal (OxVoc) sounds database: a validated set of non-acted affective sounds from human infants, adults, and domestic animals[J]. Front psychol, 2014, 5(7):562. ，也有针对非言语情绪声音的跨文化和脑机制研究[注] CORDARO D T, KELTNER D, TSHERING S, et al. The voice conveys emotion in ten globalized cultures and one remote village in Bhutan[J]. Emotion, 2016, 16(1):117-128. [注] FECTEAU S, BELIN P, JOANETTE Y, et al. Amygdala responses to nonlinguistic emotional vocalizations[J]. Neuroimage, 2007, 36(2):480-487. [注] SALVIA E, BESTELMEYER P E G, KOTZ S A, et al. Single-subject analyses of magnetoencephalographic evoked responses to the acoustic properties of affective non-verbal vocalizations[J]. Front neurosci, 2014, 8(8):422. 。还有的研究将非言语情绪声音与面孔相结合进行了跨通道知觉的探索[注] 蒋重清，郭姗姗，张喜娥，等.声音情绪对面孔性别信息加工的影响[J].辽宁师范大学学报(社会科学版)，2017，40(5)：1-6. 。本文主要介绍非言语情绪声音材料的录制形式、非言语情绪声音的识别率、非言语情绪声音识别的影响因素和非言语情绪声音加工的脑机制等方面内容。
二、非言语情绪声音材料
目前有关非言语情绪声音材料库的制作，主要采取模仿(扮演)情绪发声的方式。此外，还有自发的情绪发声和诱发的情绪发声方式。
所谓的生本教育理念就是指，教师在开展教育教学的过程中，将学生放置在主体地位上，充分的发挥出其的主体性，促使教学目标的达成。针对于生本理念而言，其是一种创新的理念与模式，对传统的教学形式起到一个革新的作用，并在逐渐的发展中趋于完善，是教师在教学中必须要渗透的重要因素。
模仿(扮演)情绪发声是获取声音样本的首选方法，通常要求专业或非专业的扮演者依据情绪标签或典型的脚本发出各类情绪声音。Belin等人的研究中要求发音者用法语元音ah(/a/)发出短的情绪感叹词：在录制声音前，首先播放相应情绪类型的示范音，发音者模仿示范音发出各类情绪声音。最终筛选出了5男、5女共10个发音者的9类情绪声音(生气、厌恶、恐惧、疼痛、悲伤、惊讶、高兴、愉悦和中性情绪)，共计90个声音[注] BELIN P, FILLIONBILODEAU S, GOSSELIN F. The montreal affective voices: a validated set of nonverbal affect bursts for research on auditory affective processing[J]. Behavior research methods, 2008, 40(2):531-539. 。之后，Sauter 等人的研究中，要求4名(2男、2女)未经过训练的发音者采用扮演方式发音，共录制10类非言语情绪声音(成就/欢欣、开心、生气、满足、厌恶、恐惧、性愉悦、轻松、悲伤和惊讶)。在录制声音时，要求发音者根据每类情绪下相应的情景介绍发出各类情绪声音，并最终在每类情绪中筛选出10个录制效果最好的声音，共计100个声音[注] SAUTERD A, EISNER F, CALDERA J, et al. Perceptual cues in nonverbal vocal expressions of emotion[J]. Quarterly journal of experimental psychology, 2010, 63(11):2251-2272. 。Lima等人认为Belin等人的研究中所有情绪类型的声音均统一用元音ah(/a/)发音，使得部分情绪类型发音与现实生活中的真实发音存在差异。因此, Lima等人对声音录制方法进行了完善，要求发音者依据情绪标签或脚本发出各类情绪声音，共录制4种积极和4种消极共计121个非言语情绪声音[注] LIMA C F, CASTRO S L, SCOTT S K. When voices get emotional: a corpus of nonverbal vocalizations for research on emotion processing[J]. Behavior research methods, 2013, 45(4):1234-1245. 。相比自发和诱发的情绪声音，模仿(扮演)的情绪声音通常强度更高，可控性更好，更具变化性。但是发音者在模仿发声过程中会受到声音情绪刻板印象的影响，而且生态效度不高。
对非言语情绪声音所传递的情绪信息的识别研究表明，非言语情绪声音能够较好地被识别，有较高的情绪类型识别率。其中，Schröder的研究中，10种情绪类型情绪爆发声的平均情绪类型识别率为81%，表明非言语情绪声音能够较好地表达情绪[注] SCHRÖDER M. Experimental study of affect bursts[J]. Speech communication, 2003, 40(1):99-116. 。Belin等人的研究中，9种情绪类型的非言语情绪声音平均情绪类型识别率为68%，同样说明非言语情绪声音是一种有效的表达情绪的手段[注] BELIN P, FILLIONBILODEAU S, GOSSELIN F. The montreal affective voices: a validated set of nonverbal affect bursts for research on auditory affective processing[J]. Behavior research methods, 2008, 40(2):531-539. 。Sauter 等人的研究中，以10种情绪类型的非言语情绪声音作为实验材料，情绪类型分类任务结果显示，被试能大于随机概率准确识别相应的情绪类型[注] SAUTER D A, EISNER F, CALDER A J, et al. Perceptual cues in nonverbal vocal expressions of emotion[J]. Quarterly journal of experimental psychology, 2010, 63(11):2251-2272. 。Lima等人的研究中，要求葡萄牙被试识别本国发音者录制的非言语情绪声音，情绪类型判断的平均识别率高达86%[注] LIMA C F, CASTRO S L, SCOTT S K. When voices get emotional: a corpus of nonverbal vocalizations for research on emotion processing[J]. Behavior research methods, 2013, 45(4):1234-1245. 。以上研究均为本国被试识别本国录音者发出的声音。Scherer等人在对非言语情绪声音的跨文化研究中，要求9个不同国家的被试对德国发音者录制的5种情绪类型的非言语情绪声音进行识别，结果发现，被试能大于随机概率识别出声音的情绪类型，平均识别率为66%[注] SCHERER K R, BANSE R, WALLBOTT H G. Emotion inferences from vocal expression correlate across languages and cultures[J]. Journal of cross-cultural psychology, 2001, 32(1):76-92. 。Cordaro等人的研究中，来自10个不同国家的被试识别16种非言语情绪声音的平均识别率同样很高，约为80%[注] CORDARO D T, KELTNER D, TSHERING S, et al. The voice conveys emotion in ten globalized cultures and one remote village in Bhutan[J]. Emotion, 2016, 16(1):117-128. 。与多国被试识别同一种文化背景下的非言语情绪声音不同，Laukka 等人以不同文化背景下的发音者录制的非言语情绪声音作为实验材料，让本国被试识别声音的情绪类型，结果发现听者能大于随机概率准确识别出各类积极和消极的情绪声音[注] LAUKKA P, ELFENBEIN H A, SÖDER N, et al. Cross-cultural decoding of positive and negative non-linguistic emotion vocalizations[J]. Frontiers in psychology, 2013, 4(2):353. 。此外，姚温青的研究中，在实验三中以完全脱离语言元素的非言语情绪发声作为实验材料，结果发现，与实验一(正常语序的情绪韵律发声识别)和实验二(非正常语序的情绪韵律发声识别)相比，实验三的情绪类型识别率更高，表明与非言语情绪发声相比，韵律发声更易被识别[注] 姚温青.声音情绪的跨文化识别研究[D].兰州:西北师范大学, 2014. 。综合以上研究发现，无论是一国或多国被试识别一种文化背景下的非言语情绪声音，还是一国或多国被试识别多种文化背景下的非言语情绪声音，在对非言语情绪声音的情绪类型进行识别时，都有较高的识别率。
2. 听者所处的文化环境
那么，对不同情绪类型的非言语声音的识别是否存在差异呢？Scherer等人的跨文化研究发现，生气、悲伤、恐惧和中性情绪声音的情绪类型识别率相对较高(74%～88%)，欢喜的识别率最低(48%)[注] SCHERER K R, BANSE R, WALLBOTT H G. Emotion inferences from vocal expression correlate across languages and cultures[J]. Journal of cross-cultural psychology, 2001, 32(1):76-92. 。Belin 等人的研究发现，消极情绪的情绪类型识别率相对更高：生气为78%，厌恶为81%，悲伤为86%，疼痛识别率最低(51%)[注] BELIN P, FILLIONBILODEAU S, GOSSELIN F. The montreal affective voices: a validated set of nonverbal affect bursts for research on auditory affective processing[J]. Behavior research methods, 2008, 40(2):531-539. 。Sauter 等人的研究中，厌恶的情绪类型识别率最高(93.5%)，轻松为86%，开心为79.5%，满足最低(46%)[注] SAUTER D A, EISNER F, CALDER A J, et al. Perceptual cues in nonverbal vocal expressions of emotion[J]. Quarterly journal of experimental psychology, 2010, 63(11):2251-2272. 。Laukka 等人关于非言语情绪声音的跨文化研究发现：在积极情绪中，轻松、性欲、兴趣和安静的情绪类型识别率较高，喜爱和自豪的识别率最低；在消极情绪中，生气、厌恶、恐惧和悲伤的情绪类型识别率较高，内疚和羞愧的识别率最低。结果证实了基本情绪较易被识别，而内疚、自豪和羞愧等这些反映自我意识情绪的声音较难被识别[注] LAUKKA P, ELFENBEIN H A, SÖDER N, et al. Cross-cultural decoding of positive and negative non-linguistic emotion vocalizations[J]. Frontiers in psychology, 2013, 4(2):353. 。综合以上研究，虽然各研究所选取的声音情绪类型存在一定差异，但是不难发现，大部分研究中对生气、厌恶和恐惧等情绪类型声音的识别都有较高的准确率。Banse和Scherer认为，一些情绪(例如，厌恶和惊恐)通过典型的非言语声音来表达，而另一些情绪(例如，得意、厌倦和轻蔑)则不是，并且在他们的研究中，言语中厌恶的情绪类型识别率很低，只有15%，这可能是由于厌恶情绪不适合在言语中表达，而更适合在非言语声音中表达的缘故造成的[注] BANSE R, SCHERER K R. Acoustic profiles in vocal emotion expression[J]. Journal of personality & social psychology, 1996, 70(3):614-636. 。
三、非言语情绪声音的识别率
自发的情绪发声是指在自然状态下发出的各类情绪声音。例如，坐过山车时人们发出的叫喊声，运动员胜利时发出的喜悦声，等等。Parsons等人收集了成人和婴儿发出的哭声、笑声和中性声音材料。其中，婴儿的声音材料截取自玩耍和吃饭时记录的录像资料，而成人的声音截取自本人日记、博客中记录的视频资料[注] PARSONS C E, YOUNG K S, CRASKE M G, et al. Introducing the oxford vocal (OxVoc) sounds database: a validated set of non-acted affective sounds from human infants, adults, and domestic animals[J]. Front psychol, 2014, 5(7):562. 。Anikin 和 Persson 从视频网站上截取包含9种情绪类型共260个自然发声样本，不同情绪类型的声音来自不同情境下录制的视频。例如，悲伤声音截取自友情破裂或因某人死亡而哭泣的视频，生气声音截取自因某事发脾气的视频，等等[注] ANIKIN A, PERSSON T. Nonlinguistic vocalizations from online amateur videos for emotion research: a validated corpus[J]. Behavior research methods, 2016, 49(2):1-14. 。自发的情绪声音有较高的生态效度，但是声音样本的获取较为困难，而且声音的持续时长通常很短，声音的记录质量也比较差。
四、非言语情绪声音识别的影响因素
(一) 声音自身因素
1.声音性别
（2）喘振控制调节阀。线性或者等百分比调节阀通常用作喘振控制调节阀。但是由于等百分比调节阀在低CV值时比线性调节阀有更好的稳定性，所以在选择喘振控制调节阀时，推荐使用等百分比调节阀［2］。
Belin等人的研究发现，被试对女性声音的情绪类型识别率要高于对男性发声者的识别率，且在唤醒度和强度维度上，被试对女性发音者的声音评分更高，在效价维度上对女性发音者的声音评分更低[注] BELIN P, FILLIONBILODEAU S, GOSSELIN F. The montreal affective voices: a validated set of nonverbal affect bursts for research on auditory affective processing[J]. Behavior research methods, 2008, 40(2):531-539. 。与男性相比，女性被认为更容易情绪化，特别是在表达悲伤、恐惧和内疚等消极情绪方面[注] FISCHER A H. Sex differences in emotionality: fact or stereotype?[J]. Feminism & psychology, 1993, 3(3):303-318. 。也有研究表明，无论是积极还是消极情绪，被试对女性声音的情绪识别率都显著高于对男性声音的情绪识别率[注] SIMONTHOMAS E R, KELTNER D J, SAUTER D, et al. The voice conveys specific emotions: evidence from vocal burst displays[J]. Emotion, 2009, 9(6):838-846. 。
2. 声音情绪类型
诱发的情绪发声是指通过实验手段诱发被试发出特定情绪的声音。精神药物的使用是产生情绪唤醒的一种直接的方式，但大部分的研究通过呈现情绪性的电影或幻灯片等方式来诱发被试发出各类情绪声音。这种方法可控程度较高，并且可将不同被试的声音样本直接拿来进行比较。但缺点是该方法诱发的情绪通常很弱，而且，虽然所有被试使用的是相同的录音程序，但由于对诱发刺激的评估存在个体差异，因此很难保证在不同被试间产生相同类型的情绪。
（1）不论哪类公众号运营都要以吸引粉丝、提高粉丝的黏性、忠诚度为目的，有了粉丝的支持，公众号才能更好地运营。因此在微信公众号运营的时候应当着重注意对粉丝的吸引。
3. 声音的效价、唤醒度
此外，Koeda等人以蒙特利尔声音库声音作为实验材料，让日本被试进行识别，并将实验结果与Belin 等人的研究中加拿大被试的实验结果进行了比较，发现针对生气、厌恶、恐惧和愉悦这几类声音，首先在情绪类型识别率上日本被试显著低于加拿大被试，而且日本被试对声音的强度评分更低，对生气、厌恶、恐惧声音的效价消极程度评分更低，对愉悦声音的效价积极程度评分更低，在唤醒度上对悲伤声音的评分更高。以上结果反映出不同文化背景下的被试对非言语情绪声音识别的差异，可能是加拿大的被试在现实生活中更经常表达生气、厌恶、恐惧和愉悦这几类情绪，因此对这些类型的声音更加敏感，而日本的被试在现实生活中更经常表达悲伤情绪，因此对悲伤声音更敏感[注] KOEDA M, BELIN P, HAMA T, et al. Cross-cultural differences in the processing of non-verbal affective vocalizations by Japanese and Canadian listeners[J]. Frontiers in psychology, 2013, 4(1):105. 。
有研究发现，对非言语情绪声音的情绪类型进行识别时，女性识别者的识别率要高于男性识别者[注] BELIN P, FILLIONBILODEAU S, GOSSELIN F. The montreal affective voices: a validated set of nonverbal affect bursts for research on auditory affective processing[J]. Behavior research methods, 2008, 40(2):531-539. [注] SCHERER K R, BANSE R, WALLBOTT H G. Emotion inferences from vocal expression correlate across languages and cultures[J]. Journal of cross-cultural psychology, 2001, 32(1):76-92. ，反映出女性对情绪声音有更高的敏感性。此外，对发音者性别和听者性别的综合分析中，Belin等人发现，女性被试识别女性声音的准确率最高，男性被试识别男性声音的准确率最低，女性被试识别男性声音和男性被试识别女性声音的准确率相当，此结果更符合女性声音更易被识别和女性在声音识别上更有优势的观点[注] BELIN P, FILLIONBILODEAU S, GOSSELIN F. The montreal affective voices: a validated set of nonverbal affect bursts for research on auditory affective processing[J]. Behavior research methods, 2008, 40(2):531-539. 。但也有研究未发现男女在非言语声音识别上的差异[注] HAWK S T, VAN K G A, FISCHER A H, et al. “Worth a thousand words”: absolute and relative decoding of nonlinguistic affect vocalizations[J]. Emotion, 2009, 9(3):293-305. [注] LIMA C F, CASTRO S L, SCOTT S K. When voices get emotional: a corpus of nonverbal vocalizations for research on emotion processing[J]. Behavior research methods, 2013, 45(4):1234-1245. ，可能是由于实验材料和实验设计的差异产生了不同的实验结果造成的。所以与男性相比，女性是否以及在何种条件下能够在非言语情绪声音识别中展现出更大的优势，相关问题有待进一步探索。有关听者年龄因素，Chronaki等人的研究以4～11岁的儿童和成年人作为被试，让其识别高兴、生气和悲伤三种类型的非言语声音。结果发现，儿童被试的识别率低于成人被试，且在儿童中随着年龄的增长识别率变高。实验结果证明，在此年龄段的儿童对非言语情绪声音识别能力是伴随年龄增长而不断提高的[注] CHRONAKI G, HADWIN J A, GARNER M, et al. The development of emotion recognition from facial expressions and non-linguistic vocalizations during childhood[J]. British journal of developmental psychology, 2015, 33(2):218-236. 。目前多数研究只以成年人作为实验被试，且并未把被试年龄作为研究分析的因素，因此相关研究需进一步考察不同年龄段的听者对非言语情绪声音的识别状况。
(二)听者角度
1. 听者性别和年龄
在情绪的二维理论中，情绪通常被分成效价和唤醒度两个维度，效价是指消极或积极的程度，唤醒度是指平静或激动的程度。Scherer等人的研究发现，消极情绪声音的情绪类型识别率高于积极情绪[注] SCHERER K R, BANSE R, WALLBOTT H G. Emotion inferences from vocal expression correlate across languages and cultures[J]. Journal of cross-cultural psychology, 2001, 32(1):76-92. 。随后Belin 等人和Sauter等人的研究也得到了同样的结论[注] BELIN P, FILLIONBILODEAU S, GOSSELIN F. The montreal affective voices: a validated set of nonverbal affect bursts for research on auditory affective processing[J]. Behavior research methods, 2008, 40(2):531-539. [注] SAUTER D A, EISNER F, CALDER A J, et al. Perceptual cues in nonverbal vocal expressions of emotion[J]. Quarterly journal of experimental psychology, 2010, 63(11):2251-2272. 。此外，效价和唤醒度的联合作用同样会对声音的识别产生影响。在对声音做情绪类型判断时，一些研究发现，部分情绪类型在识别时容易与其他情绪类型发生混淆。例如，恐吓与愤怒[注] SCHRÖDER M. Experimental study of affect bursts[J]. Speech communication, 2003, 40(1):99-116. 、高兴与愉悦[注] BELIN P, FILLIONBILODEAU S, GOSSELIN F. The montreal affective voices: a validated set of nonverbal affect bursts for research on auditory affective processing[J]. Behavior research methods, 2008, 40(2):531-539. 、生气与厌恶，以及满足与愉悦[注] SAUTER D A, EISNER F, CALDER A J, et al. Perceptual cues in nonverbal vocal expressions of emotion[J]. Quarterly journal of experimental psychology, 2010, 63(11):2251-2272. 之间易发生情绪类型识别的混淆，且这些易混淆声音在效价—唤醒度维度上很相似，这可能是由于声音的相似性造成的。
因此，在太太乐“鲜味之旅”中，消费者们可以在形象展示厅里，通过多媒体技术来形象地了解太太乐从国家扶贫项目，到建成世界级规模产业的创业过程。而在由太太乐原创的、世界领先的鸡精生产流水线上，消费者会惊讶地发现，他们不仅能透过观光走廊的玻璃窗来亲眼目睹一只只香气四溢的鲜鸡被绞碎后加入到生产工序中，甚至高温干燥、金属检测、自动称量、自动包装等整个生产过程也会在自己面前一一展现。
那么，来自不同国家和文化的听者在非言语情绪声音的识别上有何区别和联系呢？针对此问题，Scherer等人对非言语情绪声音的跨文化研究中，要求来自欧洲、亚洲和美洲共9个国家的被试对多种情绪类型的非言语情绪声音进行情绪类型识别判断，声音材料由德国本土的发音者录制完成。结果发现，不同国家的被试识别率存在差异，其中德国本土的被试识别率最高(74%)，印度尼西亚的被试识别率最低(52%)，即随着语言差异性的增加，识别率下降，体现了识别的群内优势效应。虽然不同国家的被试识别率存在差异，但情绪类型间的混淆模式有一定的相似性，即不同国家的被试在对声音进行类型判断时使用了相似的推理规则，同时也表明对非言语情绪声音的识别模式存在跨文化的相似性[注] SCHERER K R, BANSE R, WALLBOTT H G. Emotion inferences from vocal expression correlate across languages and cultures[J]. Journal of cross-cultural psychology, 2001, 32(1):76-92. 。Sauter等人找来英国和生活在非洲纳米比亚原始部落辛巴族(Himba)的被试，让其对本国和对方国家发音者录制的非言语情绪声音进行情绪类型判断。研究发现：在识别基本情绪特别是大部分原始消极情绪上，两国被试都能较好地识别，体现了识别的跨文化一致性；而在识别大部分积极情绪时，仅本土的被试能较好地识别，体现了识别的种族内部优势效应[注] SAUTER D A, EISNER F, EKMAN P, et al. Cross-cultural recognition of basic emotions through nonverbal emotional vocalizations: correction[J]. Proceedings of the national academy of sciences of the United States of America, 2010, 107(5):2408-2412. 。姚温青在对声音情绪的跨文化研究中，在实验三中以完全脱离语言元素的非言语情绪声音作为实验材料，情绪声音由以汉语、藏语和维吾尔语为母语的发音者录制，要求讲这三种语言的被试分别对这三种语言的声音材料进行情绪类型判断，结果同样发现声音识别的跨文化一致性[注] 姚温青.声音情绪的跨文化识别研究[D].兰州:西北师范大学, 2014. 。因此，目前针对文化因素对非言语情绪声音识别影响的问题，研究重点主要集中在识别的跨文化一致性和群内优势效应两个方面。
本研究发现周平均气压与ILI呈正相关关系，最大滞后期为4周。目前尚无研究阐明气压与ILI的关系。在无其他理论支持的情况下，可以怀疑是否因为气压与季节的关联使得气压与流感样症状的风险出现了统计学上的相关，是否确实存在相应关系及相关机制尚待进一步研究。
“相对于通常食品生产工况，冷库行业的作业环境更为苛刻，对在低温环境下运行的物料搬运设备有更为严格的要求。要保障叉车的作业质量不因低温环境而改变，就需要针对低温环境的特点进行独特设计和改装。”林德始终坚持以市场客户需求为出发点，为食品行业提供合适的搬运设备，尤其注重冷链作业的安全与保鲜。
五、非言语情绪声音加工的脑机制
总体来说，参与非言语情绪声音加工的脑区主要有杏仁核、边缘系统(包括海马、扣带回和脑岛等)、听觉皮层和额叶区等，同时呈现出左右脑相关区域活动的不对称性。以往研究多以笑声和哭声作为实验材料，其中Sander和Scheich的研究发现，成人的笑声和哭声能够引起杏仁核、听觉皮层和脑岛区域的活动，并呈现出大脑活动的左右不对称性[注] SANDER K, SCHEICH H. Left auditory cortex and amygdala, but right insula dominance for human laughing and crying[J]. Journal of congnitive neuroscience, 2005,17(10):1519-1531. 。随后，Sander等人在之前研究的基础上对实验材料进行了一定的改动，加入了婴儿的哭笑声，结果发现声音刺激也可以引起扣带回皮层的活动[注] SANDER K, FROME Y, SCHEICH H. FMRI activations of amygdala, cingulate cortex, and auditory cortex by infant laughing and crying[J]. Human brain mapping, 2010, 28(10):1007-1022. 。Seifritz等人的研究同样发现婴儿的哭声和笑声能够引起杏仁核、脑岛和扣带回皮层的活动，此外在额叶皮层和颞顶交界处也发现了激活[注] SEIFRITZ E, ESPOSITO F, NEUHOFF J G, et al. Differential sex-independent amygdala response to infant crying and laughing in parents versus nonparents[J]. Biological psychiatry, 2003, 54(12):1367-1375. 。之后，Chun等人的研究发现哭声和笑声能够引起海马回、后扣带回、额中回和颞下回的活动[注] CHUN J W, PARK H J, PARK I H, et al. Common and differential brain responses in men and women to nonverbal emotional vocalizations by the same and opposite sex[J]. Neuroscience letters, 2012, 515(2):157-161. 。Fecteau 等人增加了实验材料类型，选择了积极(包括高兴和性愉悦)、消极(包括悲伤和恐惧)和中性情绪三类声音刺激，功能性磁共振成像结果显示，与中性刺激相比，情绪性刺激能够引起强烈的双边杏仁核的活动，并呈现出大脑左右两半球活动的不对称性。事后比较分析发现，在右半球杏仁核上积极刺激比消极刺激能引起更大的激活，而在左半球杏仁核上两者差异不显著[注] FECTEAU S, BELIN P, JOANETTE Y, et al. Amygdala responses to nonlinguistic emotional vocalizations[J]. Neuroimage, 2007, 36(2):480-487. 。
六、小结和展望
非言语情绪声音作为人类表达和传递情绪最为原始的基本方式，当前的相关研究还有待在以下方面进行改进和提高。
首先，在声音材料方面：以往研究以模仿(扮演)发声为主，也有自主发声和诱发发声，三种发声方式各有利弊。在保证声音材料录制质量的同时提高其真实性是今后研究需要解决的问题。此外，在录制声音时，部分研究忽视了情绪家族中各类声音唤醒的差异。比如，对于愤怒情绪，存在爆炸式的暴怒情绪和受压制、控制的生气情绪，其声学模型是不同的，唤醒度之间也存在差异，而在录制声音时，一些研究者并未明确要表达哪一类生气情绪[注] SCHERER K R. Vocal affect expression: a review and a model for future research[J]. Psychological bulletin, 1986, 99(2):143-165. ，从而导致录制声音材料的不一致性，进而影响到之后的实验结果。因此，在录制声音前，要对声音材料的情绪类型进行明确定义。
其次，在声音的声学参数方面：声学特征是声音情绪得以传递的主要基础，其声学参数主要有基频、响度和时长等。目前在非言语情绪声音的研究中仅有少数研究关注其声学参数的分析。其中Belin等人的研究中，通过对非言语情绪声音中的基频、音强和呈现时间参数进行分析，发现不同情绪类型声音间存在差异：惊讶和恐惧声音有较高的基频，生气声音的响度更大；在呈现时间上，恐惧声音的时长最短，悲伤声音的时长最长[注] BELIN P, FILLIONBILODEAU S, GOSSELIN F. The montreal affective voices: a validated set of nonverbal affect bursts for research on auditory affective processing[J]. Behavior research methods, 2008, 40(2):531-539. 。在情绪声音领域，有研究发现高兴和愤怒声音有更高的音高和更大的响度，表明两者在声学特征上存在很多相似之处，而悲伤声音的音高较低、响度较小、音长较长[注] JUSLIN P, SCHERER K. Speech emotion analysis[J]. Scholarpedia, 2008, 3(10):4240. [注] SAUTER D A, EISNER F, CALDER A J, et al. Perceptual cues in nonverbal vocal expressions of emotion[J]. Quarterly journal of experimental psychology, 2010, 63(11):2251-2272. 。也有研究发现声学特征与唤醒度之间存在一定的联系，通常音高越高的声音，其唤醒度也越高。例如，恐惧声音有较高的唤醒水平[注] BANSE R, SCHERER K R. Acoustic profiles in vocal emotion expression[J]. Journal of personality & social psychology, 1996, 70(3):614-636. 和音高[注] JUSLIN P N, LAUKKA P. Impact of intended emotion intensity on cue utilization and decoding accuracy in vocal expression of emotion[J]. Emotion, 2001, 1(4):381. 。由此可见，声音的声学参数与情绪类型和唤醒度之间有着密切的关联，所以在今后的研究中，需要对不同声音刺激的声学参数做出更具体的分析，以便进一步探究不同声学参数的组合对非言语情绪声音识别的影响。
目前，国家对于区域创新的体制较为成熟，建立了较为健全的机制，但是在区域创新能力比较优势的研究上较为薄弱，尚未有辽宁地区独特的指标体系。朱玉春、付辉辉利用专利授权量描述区域创新能力，以我国八区域划分理论为基础，通过1996年-2005年的相关数据分析认为我国区域创新能力差异呈扩大趋势。甄峰曾在2000年提出以知识创新能力和技术创新能力为基础和核心的评价体系，具体指标如表：
此外，随着人工智能技术的不断发展，通过机器识别情绪的技术也在不断地提高和完善，并且在通信、医疗和服务行业等领域得到越来越广泛的应用。图像和声音是识别情绪的两个主要途径，在声音识别领域，目前有基于声学特征的语音情绪自动识别系统[注] 蒋丹宁, 蔡莲红. 基于语音声学特征的情感信息识别[J]. 清华大学学报(自然科学版), 2006, 46(01):88-91. [注] 王薇, 杨丽萍, 魏丽,等. 语音情感特征的提取与分析[J]. 实验室研究与探索, 2013, 32(7):91-94. ，其步骤通常为先提取声学参数并确定算法，随后建立相应的语音信号情绪识别模型，最后进行声音情绪识别测试。但该识别系统仅限于语句中情绪韵律的识别，而非言语情绪声音不同于情绪韵律，发音方式更加简短、直接，且不受语言差异的影响。所以通过机器识别非言语情绪声音中的情绪信息同样具有重要的理论价值和现实意义，未来研究需进一步加强对相关领域的探索。
The recognition of emotional information in non -verbal affective vocalizations
Jiang Zhongqing1,2 , Li Liang1 , Zhang Xi’e1 , Li Dong1
(1.School of Psychological Science ,Liaoning Normal University ,Dalian 116029,China ; 2. Liaoning Collaborative Innovation Center of Children and Adolescents Healthy Personality Assessment and Cultivation ,Dalian 116029,China )
Abstract :Non-verbal affective vocalizations are non-verbal, abrupt emotional vocalizations such as laughter, crying and so on. It plays an important role in emotional expression and transmission, so it’s of great theoretical and practical significance to be able to accurately recognize the emotional information in the non-verbal affective vocalizations. Previous researches about non-verbal affective vocalizations mainly focus on the ways of vocal materials recording, accuracy of recognition and its affecting factors, and the brain mechanism of the non-verbal affective vocalizations recognition. There are mainly three forms of sound materials: simulated (portrayed) emotional vocalization, natural emotional vocalization and induced emotional vocalization. Both the characteristics of the voice and the listener factors affect the recognition of non-verbal affective vocalizations. The brain regions involved in the processing of non-verbal affective vocalizations mainly include amygdala, limbic system (including hippocampus, cingulate cortex and insula), auditory cortex and frontal regions. In the future study, it should be taken into account and improved in the sound material selection, the analysis of acoustic parameters, and the technique of vocalizations recognition through machine.
Key words :non-verbal affective vocalizations; recognition accuracy; affecting factors; brain mechanism; acoustic parameters
中图分类号： B842.1
文献标识码： A
文章编号： 1000- 1751( 2019) 03- 0084- 08
DOI： 10.16216/j.cnki.lsxbwk.201903084
收稿日期： 2018- 11- 14
基金项目： 辽宁省自然科学基金项目“情绪信息与性别信息集成加工的特点与机制研究”(201602454)；辽宁省教育厅项目“集成加工情绪信息与性别信息时交互效应成因研究”(L201683658)
作者简介： 蒋重清(1973- )，男，湖南新宁人，辽宁师范大学教授，博士，博士生导师，主要从事认知科学研究。
〔责任编辑：张秀红〕
标签：非言语情绪声音论文; 识别率论文; 影响因素论文; 脑机制论文; 声学参数论文; 辽宁师范大学心理学院论文; 辽宁省儿童青少年健康人格评定与培养协同创新中心论文;