句子理解过程中句法与语义加工的EEG时频分析，本文主要内容关键词为：句法论文,语义论文,句子论文,过程中论文,加工论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
分类号 B842 1 引言 脑电(electroencephalograph，以下简称EEG)信号分析是认知神经科学的一种重要研究手段。EEG信号不仅包括事件相关的信号，即由刺激或反应等所诱发的信号(evoked signals)，还包括非事件相关的信号，即与刺激或反应无关的自发信号(spontaneous signals)。在考察与各种认知过程相关联的EEG活动时，无论是对事件相关电位(event-related brain potential，以下简称ERP)，还是对EEG频谱(spectra)进行分析，所关注的都是事件相关的EEG信号。通过将多个试次事件相关EEG信号叠加平均而得到的ERP，反映了直接由刺激所驱动的、锁时(time-locked)和锁相(phase-locked)到刺激或反应的活动，因而一般称作诱发活动(evoked activity)。需要注意的是，ERP仅仅反映了事件相关EEG信号中的非振荡(即非节律性)活动(non-oscillatory activity)或锁相到刺激或反应的振荡活动(oscillatory activity)，它忽视了非严格锁相的振荡活动。因此，ERP活动仅仅反映了事件相关EEG信号的某些方面(Buzsáki,2006)。 与ERP活动不同，EEG节律或频谱变化反映了节律性的或振荡性的、锁时但未必锁相的活动。它受实验事件(刺激或反应)调节，而并非由实验事件所诱发，因而一般称作感应活动(induced activity；关于诱发活动和感应活动之间区别的讨论，参见Bastiaansen,Van Berkum,& Hagoort,2002)。EEG信号不仅包括相位信息，还包括能量信息。分析EEG频谱特征时，既可以分析局部(local)EEG能量变化，也可以分析整体(global)EEG能量变化。这些能量变化包括事件相关同步化(event-related synchronization,ERS)或事件相关去同步化(event-related desynchronization,ERD)。研究者既可以分析特定条件下，相对于事件(刺激或反应)出现之前，事件出现之后的能量变化，也可以分析不同条件之间EEG能量变化的差异。此外，既可以分析同一频段内部能量的变化或不同频段之间能量的相互关系，还可以分析同一频段内部的相位变化或不同频段之间相位的相互关系，以及一个频段的能量和另一频段的相位之间的关系(有关综述参见，Le Van Quyen & Bragin,2007；王琳，张清芳，杨玉芳，2007)。本文主要侧重讨论句子理解领域，局部信号(单个电极上记录到的EEG信号)在同一频段内部的能量变化与句法和语义加工之间的关系。 在语言的神经生物学领域，自Kutas和Hillyard(1980)首次报道与句子理解过程中语义异常相关联的ERP效应以来，大量研究采用ERP技术，探讨了句子加工过程中语义和句法过程的认知神经机制。一方面，这些研究揭示了与语义和句法过程相关联的ERP效应，如与语义过程相关联的N400，以及与句法过程相关联的早期前部负波和P600(最近的综述，参见Friederici,2011; Kutas & Federmeier,2011)。另一方面，这些研究还为句子加工领域的一个核心争论——句法和语义过程之间的关系，提供了重要的证据。例如，Friederici和同事在德语和法语中进行的一系列研究发现，短语结构与语义双重违反引发早期前部负波和P600，但没有引发N400效应(Friederici,Steinhauer,& Frisch,1999; Friederici,Gunter,Hahne,& Mauth,2004; Hahne & Friederici,2002，实验1；Hahne & Jescheniak,2001; Isel,Hahne,Maess,& Friederici,2007)。Friederici和同事认为，上述发现表明短语结构违反阻断了语义整合过程，因而支持句法优先理论(如Friederici,2002。对缺乏N400效应的不同的解释，见Steinhauer & Drury,2012)。相比之下，采用ERP技术，最近在汉语中进行的一系列研究发现，短语结构与语义双重违反引发N400效应，表明汉语句子加工过程中，短语结构建构在功能上并不优先于语义加工(Yu & Zhang,2008; Zhang,Yu,& Boland,2010; Zhang et al.,2013；有关综述，参见张亚旭，朴秋虹，喻婧，杨燕萍，2011)。 总的来看，ERP技术的使用，使得过去几十年来，研究者对句子加工性质的理解有了长足的进步。不过，正像我们在上面已经指出的那样，ERP活动仅仅反映了事件相关EEG信号的某些方面，未必一定揭示事件相关振荡活动。因此，有关EEG振荡活动与句子加工之间关系的研究，对于更全面地揭示句子加工的认知神经机制，显得非常必要。这正是本文的出发点。 我们注意到，近年来，研究者开始将EEG时频分析(time-frequency analysis)技术(详见下一节)应用于多个不同研究领域，分析与各种认知过程相关联的EEG振荡活动，产生了非常有趣的研究发现。这些领域包括视知觉(Braunitzer,2008)、注意(Jensen,Bonnefond,& VanRullen,2012)、记忆(Fuentemilla,Barnes,Düzel,& Levine,2014; Hanslmayr & Staudigl,2014; Hsieh & Ranganath,2014; Klimesch,2012; Zanto,Chadick,& Gazzaley,2014)、认知控制(Anguera et al.,2013; Liu,Woltering,& Lewis,2014)以及语言加工(Bastiaansen,Mazaheri,& Jensen,2012)。 本文旨在讨论EEG时频分析技术在句子加工(特别是句法和语义加工)领域的应用。句子加工是一个复杂的认知过程，无论是句法结构建构(包括句法依存关系建立)，还是语义整合过程，都与注意、工作记忆以及执行控制等一般的认知过程有非常密切的关系(有关综述参见，张亚旭，蒋晓明，黄永静，2007；Ye & Zhou,2009)。这意味着非常有必要考察句子加工过程所伴随的各个不同频段的EEG振荡活动(其中部分振荡活动可能与注意、记忆或执行控制等一般的认知过程有关)。下面，我们首先简要介绍EEG时频分析基本原理与数据统计分析。然后，我们讨论EEG时频分析在句子理解领域句法和语义加工研究中的应用。本文最后展望该领域今后进一步的研究方向。 2 EEG时频分析基本原理与数据的统计分析 2.1 EEG时频分析基本原理 人脑本身存在着不同频段的自发节律性振荡活动，这些频段包括δ(2～4 Hz)、θ(4～7 Hz)、α(8～12 Hz)、β(13～30 Hz)以及γ(大于30 Hz)。这些振荡活动的生理基础是大量神经元局部同步性振荡放电，即神经元集群突触后电位的空间总和，表现为EEG记录位置场电位波幅的增加(Bastiaansen et al.,2012)。像前文所提到的那样，这种信号对于实验事件(刺激或反应)具有锁时的特点，但是并不锁相，因此不能采用传统的ERP分析方法，通过多个试次事件相关EEG信号叠加平均得到，而需要进行时频分析。这种分析的目的是通过傅里叶变换或者小波变换等信号转换方法，将EEG信号从时域转换到频域。具体转换方法主要有汉宁窗(Hanning window，如Wang,Zhu,& Bastiaansen,2012)、多锥形分析(multitaper analysis，如Mitra & Pesaran,1999)和单个试次小波分析(single-trial wavelet analysis，如Davidson & Indefrey,2007; Tallon-Baudry,Bertrand,Peronnet,& Pernier,1998)等。下面简要介绍这3种转换方法的基本原理及其优缺点。 所谓汉宁窗又称升余弦窗，可以看作是3个矩形时间窗的频谱之和，或者3个sine(t)型函数之和。用汉宁窗计算时频表征(time-frequency representations)有两种方式。一种是汉宁窗时间窗口固定，对应的频率分辨率也随之固定(因为频率分辨率等于汉宁窗时间窗口的倒数)。另一种是汉宁窗时间窗口随着频率的增高而变短。第一种计算方式的频率分辨率相对较低。例如，如果汉宁窗时间窗口为0.5 s，那么，频率分辨率就是2 Hz。也就是只能计算频率为2的整数倍(如2、4、6 Hz等)的频谱能量。相比之下，第二种计算方式的主要优势在于在时间窗口随着频段的增高而变短之后，这种计算的时间平滑(temporal smoothing)更好，而频率分辨率更差。一般来说，时间分辨率与所定义的汉宁窗使用的时间步长(step size)有关，与所选择的变换窗口大小无关。需要注意，采用变化时间窗口难于直接对比不同频段的能量差异。此外，这种方式对于低频频段要求要有比较大的时间窗口，否则就会出现边界效应(boundary effect)，亦即没有足够的时间点计算对应的能量值。 多锥形分析是指对于特定的时间窗，所用的锥体(汉宁窗)越多，频率就会越平滑。这一方法能够达到更好地控制频率平滑，尤其在分析大于30Hz的脑电信号时有突出优势。所以在分析低于30Hz的脑电信号，最好使用一个汉宁窗，而不要使用多锥形分析。 小波分析是把连续的时间信号与Morlet小波进行卷积，从而获得随时间变化的时频能量分布。这种方法在分析低频信号时，其时间窗口增大，而当分析高频信号时，其时间窗口减小。这恰恰符合实际情形中高频信号持续时间短，低频信号持续时间长的特点。此外，在小波变换中，其时间和频率的平滑和分辨率与变化的汉宁窗分析具有相似的特点，它们之间的区别仅在于变换窗口的类型不同(有关小波分析的更详细的讨论，参见赵晶晶，牟书，舒华，王春茂，2006)。 2.2 EEG时频数据的统计分析：大规模单变量分析 对于神经振荡活动而言，EEG数据具有空间(电极通道)、时间以及频段三个不同维度。因此，研究者在进行事件相关能量变化分析，比较不同实验条件之间的差异时，需要进行大量统计比较——每个频段(频率)，每个电极通道的每个时间点采样都要进行一次比较。这会导致多重比较问题，因而无法控制参数统计检验中的一类错误。此外，在进行EEG时频分析时，研究者往往事先并不知道实验效应具体的空间、时间以及频段分布的情况。上述情况下，大规模单变量分析(mass univariate analysis)这种非参数检验方法特别适用。这是因为，大规模单变量分析可以通过计算大量的单变量分析(例如，t检验)来避免多重比较问题中增加的一类错误的概率。根据校正多重比较问题的方法的不同，这种非参数检验方法又具体包括四种方法，即置换检验(permutation test)、基于聚类的置换检验(cluster-based permutation test)、错误发现率(false discovery rate)、族错误率(familywise error rate)(有关各种方法的详细的介绍和讨论，参见Groppe,Urbach,& Kutas,2011)。 一些工具软件，如EEGLAB工具箱(http://sccn.ucsd.edu/eeglab/)、ERPLAB工具箱(http://erpinfo.org/erplab)或FieldTrip工具箱(http://fieldtrip.fcdonders.nl/; Oostenveld,Fries,Maris,& Schoffelen,2011)，可以用来完成大规模单变量分析。 3 句子理解过程中句法与语义加工的EEG振荡活动 句子理解是人类语言加工系统为了理解句子的意义，利用词类(指名词、动词等)、形态句法(指性、数、格、时态、人称等形态标记)、功能词和词序等句法信息以及词汇语义、话语语境等非句法信息，所完成的一种高水平认知操作。近年来，EEG时频分析技术已经越来越多地用于句法和语义加工的电生理学研究。 3.1 句法加工的EEG振荡活动 在句子加工领域，一些EEG时频分析研究发现，数、性、人称等形态句法违反可导致θ频段(3～7Hz)能量增加(Bastiaansen,Van Berkum,& Hagoort,2002; Pérez,Molinaro,Mancini,Barraza,& Carreiras,2012)。其中，Bastiaansen等(2002)首次考察了句子理解过程中句法加工的EEG振荡活动。他们通过分析感应频段能量(induced band power,IBP)，测量了句子理解过程中，形态句法加工引发的特定EEG频段的事件相关能量变化。实验采用句法违反范式，向被试视觉呈现正确句(如1a)，以及包含名词语法性(grammatical gender)违反(如1b)或名词数违反(如1c)的荷兰语句子。在1a～1c中，“wolk”(“cloud”)为时频分析的关键词。
Bastiaansen等(2002)发现，尽管名词语法性或数违反均引发θ频段能量增加，但是，与数违反相联系的θ效应显示左半球优势，而与性违反相联系的θ效应显示右半球优势。Bastiaansen等(2002)将θ能量变化解释为可能与情节记忆编码或句法错误察觉有关。 然而，与Bastiaansen等(2002)的发现不同，Davidson和Indefrey(2007)发现，数违反与α频段(8～13 Hz)能量减少相联系，而并未导致θ频段能量变化。在Davidson和Indefrey(2007)的实验中，被试阅读四种荷兰语句子，即正确句以及包含主谓数一致性违反、短语结构违反和语义违反的句子。Davidson和Indefrey(2007)对EEG数据进行基于小波变换的时频分析，结果发现，主谓数一致性违反与短语结构违反均引发了头皮广泛分布的α频段和β频段(13～30 Hz)能量减少。此外，其它一些研究(包括MEG研究)也发现了β频段能量变化与句法加工之间的联系。例如，句子水平的句法捆绑引发β频段神经同步化(如Bastiaansen,Magyari,& Hagoort,2010; Haarmann,Cameron,& Ruchkin,2002; Weiss,Mueller,& Schack,2005)。 Davidson和Indefrey(2007)推测，他们的实验与Bastiaansen等(2002)的实验在数违反EEG能量变化效应上的不同发现，可能与刺激呈现速度、EEG能量计算方法，如感应频段能量与未调整的小波估计等因素有关。 最近，为了探讨参与句法特征(如人称)一致性计算的神经认知过程，Pérez等(2012)以西班牙语为背景，考察了句子主谓之间人称是否一致(不影响句子是否合乎语法)以及是否匹配(影响句子是否合乎语法)，如何影响EEG振荡活动(包括频谱能量和相位同步)。他们设计了三种条件的句子。其中，标准一致(standard agreement)条件的句子中，主语和谓语动词均为第三人称复数(如2a)。不一致(unagreement)条件的句子中，主语为第三人称复数，而谓语动词为第一人称复数(这种句子尽管主谓之间人称不匹配，但合乎语法，如2b)。相比之下，人称不匹配(person mismatch)条件的句子中，主语为第三人称单数，谓语动词为第二人称单数，导致句法(人称)违反(如2c)。 (2a)Los cocineros[,3pl] cocinaron[,3pl] an pescado muy rico. The cooks[,3pl] cooked[,3pl] a fish very tasty. (The cooks cooked a very tasty fish.) (2b)Los cocineros[,3pl] cocinamos[,1pl] an pescado muy rico. The cooks[,3pl] cooked[,1pl] a fish very tasty. (We cooks cooked a very tasty fish.) (2c)El cocinero cocinaste un pescado muy rico. The cook[,3sg] cooked[,2sg] fish very tasty. (The cook cooked a very tasty fish.) 注：3pl＝第三人称复数；1pl＝第一人称复数；3sg＝第三人称单数；2sg＝第二人称单数。 Pérez等(2012)要求被试阅读这三种条件的句子，并进行句法正确性判断。他们发现，在大约200～800 ms时间窗口，低频β频段(13～18 Hz)和α频段(8～12 Hz)，不一致和人称不匹配两个条件能量模式性质上相似，与标准一致条件相比均出现能量减少。这种能量减少可能反映了形态句法不一致或人称违反所导致的句法整合困难。上述发现表明，短相位的快速振荡活动反映两个句法成分之间句法特征一致性的评估过程。此外，在相同的时间窗口，θ频段(4～7 Hz)，不一致条件与标准一致条件能量模式相似，而与人称不匹配条件不同。人称不匹配条件下，θ能量增强，可能反映了人称不匹配的动词很难与工作记忆中仍然处于激活状态的语境信息建立句法关系。 除了上述结果之外，Pérez等(2012)还在分析相位同步性(phase synchrony)基础上发现，在560～660 ms时间窗口，低频β频段(14～15 Hz)，标准一致条件下有明显的左半球的协同活动——由增加的相位同步性所反映。不一致条件下，这一效应只在头皮后部达到显著。而人称不一致条件下，则没有观察到这种不同脑区之间的协同活动。这一结果提示，左半球不同脑区之间的协同活动，对于主语和谓语动词之间在人称上的成功整合而言非常重要。此外，在780～880 ms时间窗口，高频beta频段(19～21 Hz)，增加的相位同步性特异到不一致条件，说明主谓人称不一致(但合乎语法)的句子需要更复杂的句法一致性计算。上述结果说明，句法特征一致性的成功的计算，更好地由β频段相位同步性所反映。 上面，我们介绍了句法加工，包括数、性、人称等形态句法加工以及短语结构建构，所伴随的、多个不同频段(θ、α和β)的EEG振荡活动。下面，我们介绍与句子加工所涉及的另一种基本操作——语义加工相关联的EEG振荡活动。 3.2 语义加工的EEG振荡活动 语义加工通常与θ(4～7 Hz)和γ(30～100 Hz)频段能量变化相联系。例如，语义违反通常可导致θ频段能量增加或γ频段能量减少(如Davidson & Indefrey,2007; Hagoort,Hald,Bastiaansen,& Petersson,2004; Hald,Bastiaansen,& Hagoort,2006; Penolazzi,Angrilli,& Job,2009; Wang,Zhu,et al.,2012; Willems,Oostenveld,& Hagoort,2008)。不过也有研究发现语义违反引发θ频段能量减少(Braunstein et al.,2012)，或α和β能量减少(Luo,Zhang,Feng,& Zhou,2010; Wang,Jensen,et al.,2012)。 Hagoort和同事在两项研究中，采用小波变换的分析方法，考查了荷兰语句子理解过程中语义违反引发的EEG能量变化(Hagoort et al.,2004; Hald et al.,2006)。实验要求被试阅读正确(如3a)或包含语义违反的句子(如3b)。 (3a)De Nederlandse treinen zijn geel en blauw. (The Dutch trains are sour and blue.) (3b)De Nederlandse treinen zijn zuur en blauw. (The Dutch trains are yellow and blue.) 两项研究均发现，与正确条件相比，语义违反条件在双侧颞叶电极上引发了θ频段(3～7 Hz)更大的能量增加(同样的发现，见Davidson & Indefrey,2007)。Hagoort和同事将θ频段能量增加解释为可能与词汇语义信息提取有关。这一解释与Bastiaansen,Van der Linden,ter Keurs,Dijkstra和Hagoort(2005)的研究一致。该研究对比了开放类词(open-class word)与闭合类词(closed-class word)所引发的频谱能量变化。所谓开放类词是指名词、动词、副词、形容词，等等，原则上这些词的成员是无限的，而闭合类词是指冠词、介词、连词，等等，这些词每类词的成员个数基本固定。Bastiaansen等(2005)发现，在短文阅读过程中，开放类词引起了头皮左侧颞叶位置电极θ能量增加。相比之下，闭合类词并没有引发这种效应。Bastiaansen等(2005)认为，开放类词所伴随的θ能量增加，可能与这些词需要进行词汇语义信息提取有关。 值得注意的是，与Hagoort等(2004)的研究不同，Hald等(2006)的研究还发现，在γ频段(35～45 Hz)，语义正确句子引发了右侧额叶电极能量增加，而语义违反句子没有产生这一效应。这一结果显示，语义违反阻断了γ能量增加，表明γ频段的神经同步性活动可能与正常的、以逐渐增加(incremental)方式进行的语义整合过程有关(Bastiaansen & Hagoort,2006; Varela,Lachaux,Rodriguez,& Martinerie,2001; Rommers,Dijkstra,& Bastiaansen,2012；来自听觉句子加工实验的、同样的发现，见Pe
a & Melloni,2012)。 采用快速傅立叶变换的分析方法，来自意大利语实验的证据，也支持γ频段能量增加与语义整合过程之间的关联(Penolazzi et al.,2009)。像Hald等(2006)一样，Penolazzi等(2009)也发现，与语义违反句子不同，语义正确的句子伴随γ频段(30～100 Hz)能量的增加。此外，Penolazzi等(2009)还发现，对语义正确的句子而言，30～45 Hz频段并没有出现任何能量变化——这一点与Hald等(2006)在这一频段上的发现不同。然而，在55～100 Hz频段，正确句子比语义违反句子在右侧前部头皮能量更高。 此外，与Hald等(2006)不同，Penolazzi等(2009)并没有发现与语义加工相关联的、θ频段的任何效应。他们认为，造成这种差异的原因可能是他们的实验材料中，语义违反的位置固定。此外，他们采用快速傅立叶变换进行时频分析，这种方法可能无法觉察较短时间窗口能量的微弱改变。 值得注意的是，最近的一项研究显示，θ和γ频段能量变化可能反映不同类型的语义加工，前者可能反映语义整合(或语义错误觉察)，而后者反映语义预期(Wang,Zhu,et al.,2012)。Wang,Zhu等(2012)根据一个词在句子中的语义相容性和可预期性，设计了三种条件的荷兰语句子，即EEG分析关键词：(1)语义相容且可预期性高，如4a中的“orkest”(“orchestra”)；(2)语义相容但可预期性低，如4b中的“expert”(“expert”)；(3)包含语义违反，如4c中的“vondst”(“finding”)。 (4a)In de concertzaal speelde een orkest de tweede symfonie van Beethoven. (In the concert hall an orchestra played the second symphony of Beethoven.) (4b)In de concertzaal speelde een expert de tweede symfonie van Beethoven. (In the concert hall an expert played the second symphony of Beethoven.) (4c)In de concertzaal speelde een vondst de tweede symfonie van Beethoven. (In the concert hall a finding played the second symphony of Beethoven.) 实验要求被试阅读这些句子。结果发现，只有包含语义违反的关键词引发θ(2～5 Hz)频段能量增加，而语义相容但可预期性低的关键词并没有引发这种效应。这一发现说明，2～5 Hz频段能量增加可能反映语义整合(或语义错误觉察)，而并非词汇语义信息提取。此外，该研究还发现只有语义相容且可预期性高的关键词导致γ频段能量增加。这一结果说明，γ频段能量增加反映语义预期，而非语义整合。相比之下，另外一些研究没有发现语义违反引发γ频段能量变化(如Luo et al.,2010; Wang,Jensen,et al.,2012)。我们推测，这种不一致可能与正确条件下，EEG时频分析的关键词语义上多大程度可以预期有关。值得注意的是，Wang,Zhu等(2012)操纵了关键词的语义可预期性，而Luo等(2010)和Wang,Jensen等(2012)并没有进行这样的操纵。 相比之下，N400作为一种ERP成分，既对相容性敏感，也对可预期性(影响词汇提取)敏感——N400波幅值，语义违反条件最大，语义相容但可预期性低条件次之，语义相容且可预期性高条件最小。上述发现表明，EEG时频分析的确可以揭示ERP所无法揭示的一些认知过程。 采用和Wang,Zhu等(2012)相同的实验设计，Braunstein等(2012)让德语为母语的、熟练的德英双语者阅读三种条件的英语(第二语言)句子，即EEG关键词语义预期性高(如5a)、语义预期性低(如5b)或包含语义违反(如5c)。他们的ERP结果与Wang等(2012b)的ERP结果相同，再次证明N400对语义相容性和语义可预期性均敏感。然而，他们的时频分析结果发现，高、低预期句比语义违反句在θ频段(4～7 Hz)有能量的增加。这一结果不同于以往在荷兰语中的发现——与正确条件相比，语义违反条件引发θ频段(3～7 Hz)更大的能量增加(Davidson & Indefrey,2007; Hagoort et al.,2004; Hald et al.,2006; Wang,Zhu,et al.,2012)。Braunstein等人认为，这种不一致可能与实验所用的任务有关。上面所引用的荷兰语实验仅仅要求被试认真阅读句子，并没有任何额外的实验任务，而Braunstein等(2012)的英语实验要求双语被试对句子进行语义可接受性判断。实际上，不一致的发现也可能与测试语言究竟是第一语言(如上述研究中的荷兰语)，还是第二语言(如上述研究中的英语)有关。究竟什么因素导致了上述分歧，需要进一步研究。 (5a)Our new green car blocked the narrow driveway. (5b)Our new green car blocked the narrow entrance. (5c)Our new green car blocked the narrow elbow. 4 小结及展望 句子加工领域，近十多年的研究不仅考察了句法词类或短语结构与数、性、人称等形态句法加工所伴随的EEG振荡活动/频谱能量变化，而且也考察了语义加工所引发的EEG能量变化。这些研究发现，句法过程(包括短语结构建构和数、性、人称等形态句法加工)既与长相位(long-phase，指振荡周期长)的振荡活动(θ)相关联，也与短相位(short-phase，指振荡周期短)的快速振荡活动(α和β)相关联。一些研究发现，句法违反与θ频段能量增加相联系。而另一些研究发现，句法违反与α或β频段能量减少相联系。更有趣的是，不同方面的句法特征一致性计算(如人称一致性评估与整合工作记忆中的语言材料)与不同频段的振荡活动相联系。此外，β频段相位同步性与成功的句法特征一致性计算相联系。 相比之下，句子加工中的语义过程(如语义整合/语义错误觉察、语义预期)与θ、γ等频段的振荡活动或能量变化相关联。大部分研究发现。语义违反与θ频段能量增加和/或γ频段能量减少相联系。此外，最近的研究(Wang,Zhu,et al.,2012)发现，语义整合(或语义错误觉察)和语义预期与不同频段的振荡活动相联系(分别为θ和γ)。不过，与语义违反相联系的θ能量变化的方向(增加还是减少)，不同研究之间观察到的结果并不一致：尽管大量研究发现语义违反导致θ能量增加(Davidsorv & Indefrey,2007; Hagoort et al.,2004; Hald et al.,2006; Wang,Zhu,et al.,2012)，但是，也有研究发现相反的结果，即与包含语义违反的句子相比，不包含语义违反的句子引发θ能量增加(Braunstein et al.,2012)。 值得注意的是，上述与句法和语义加工相关联的各种不同频段的EEG振荡活动，可能至少部分地反映了注意和记忆等一般性的认知过程，而未必一定反映语言的特异性加工(语言操作本身)。例如，与短语结构违反(如Davidson & Indefrey,2007)以及语义违反(如Luo et al.,2010; Wang,Jensen,et al.,2012)相关联的α频段能量变化，也与注意过程相关联——更多的注意通常引发α抑制(Klimesch,Russegger,Doppelmayr,& Pachinger,1998)。因此，这些句子加工实验中所观察到的α频段振荡活动，究竟是反映短语结构计算或语义加工本身，还是仅仅反映了句法或语义异常所吸引的、更多的注意，似乎并不清楚。类似地，句法违反(如Davidson & Indefrey,2007)和语义违反(如Luo et al.,2010; Wang,Jensen,et al.,2012)所引发的β频段能量减少，既可能反映了句法或语义上不可预期的词打断了当前的认知状态，也可能反映了异常词语所引发的工作记忆维持代价(更详细的解释，见Weiss & Mueller,2012)。此外，与句法违反(如Bastiaansen et al.,2002; Pérez et al.,2012)以及语义违反(如Hald et al.,2006; Wang,Zhu,et al.,2012)相关联的θ频段振荡活动，也与情节记忆、空间记忆以及领域普遍的(domain-general)工作记忆等记忆过程相关联(有关评论参见Bastiaansen & Hagoort,2003; Bird & Burgess,2008; Nyhus & Curran,2010; Sauseng,Griesmayr,Freunberger,& Klimesch,2010; Wang,Zhu,et al.,2012)。 总的来看，在句子加工领域，研究者采用EEG时频分析技术分析EEG振荡活动，获得了大量有趣的发现。这意味着，仅仅采用ERP平均技术分析锁相的EEG信号，实际上丢掉了很多有价值的信息。然而，需要看到，句子理解背景下句法与语义加工EEG振荡活动的研究尚处于起步阶段，还存在至少以下四方面不足，需要在将来的研究中解决： 第一，正如本文在3.1和3.2两节中所描述的那样，不同研究之间，针对同样的句法或语义操纵，如数一致性加工或语义违反，所观察到的EEG能量变化并不一致。一些研究者已经指出，不同的发现可能与EEG能量计算方法(如Davidson & Indefrey,2007)、实验任务(如Braunstein et al.,2012)等因素有关。今后的研究不仅有必要针对同一套数据，采用不同的EEG能量计算方法，检验不同的能量计算方法是否会导致不同的发现，也有必要使用相同的句子材料，但采用不同的实验任务，以检验任务因素的作用。 第二，现有的研究仅仅探讨了句法和语义加工的某些方面。例如，尽管数、语法性和人称等形态句法加工的振荡活动，研究者已经进行了一些探讨，但尚未涉及时态、体范畴(包括语法体和词汇体)、词序等句法或语义信息的加工。此外，对句法和语义加工所伴随的多个频段能量变化的认知或功能意义，现有的研究尚不能给出明确的解释，大部分解释基本上还属于推测。解决这一问题，尚需要更多的、来自多种不同类型句法和语义加工实验的证据。 第三，句子加工领域，除了句法和语义过程各自的电生理机制这一问题之外，另一个更加中心的问题是，句法和语义两种过程之间如何相互影响，特别是句法过程在功能上是否优先于语义过程(如Hahne & Friederici,2002; Zhang et al.,2010,2013。有关综述参见Friederici,2011；张亚旭等人，2011)。有关句子加工振荡活动的、将来进一步的研究，有必要考察句法和语义过程所伴随的能量变化以及相位同步性，如何因句法和语义相互作用而发生变化。例如，德语和法语ERP研究发现，句法与语义双重违反引发早期前部负波和P600，但没有引发N400效应(如Hahne & Friederici,2002，实验1；Isel et al.,2007)。Friederici和同事认为，双重违反条件下N400效应的消失，表明句法违反阻断了语义加工过程，因此句法加工在功能上优先于语义加工。问题是，如果对单纯语义违反条件以及句法与语义双重违反条件所引发的EEG振荡活动进行分析，是否会发现单纯语义违反条件下所观察到的、各个频段(如θ、γ)的能量变化效应，当发生句法违反时，全部消失？如果句法违反可以在严格的意义上阻断语义加工过程，那么，可能会出现上述这种结果。另一种可能性是，双重违反条件下，尽管N400效应消失，但EEG振荡效应并不消失。换句话说，句法违反仅仅阻断了与语义加工相关联的部分神经活动，而非全部。总之，上述探讨有助于进一步回答句法在功能上是否优先于语义过程这一句子加工领域的中心问题。 第四，现有的证据大部分来自荷兰语研究。正如前文所提到的那样，近年来句子加工ERP研究领域已经发现了有关句法与语义加工关系(特别是句法加工在功能上是否优先于语义加工)的、有趣的跨语言差别(如Hahne & Friederici,2002; Isel et al.,2007; Zhang et al.,2010,2013)。这些差别可能与印欧语言和汉语在句法特性上的差别有关。印欧语言拥有高度发展的显性语法范畴体系。相比之下，汉语虽然也使用一些语法标记，如指人名词复数标记“们”、表示事件时间结构的语法体(grammatical aspect)标记“了”、“着”和“过”，但总体上看，汉语属于非屈折语(non-inflectional language)，不使用语法构词法等外显的手段来标记词类或句法特征(性、数、格、时态、人称等)。汉语句子中词与词之间的语法关系主要由词序、功能词和词汇语义来决定。汉语的这些语言学特性，特别是构词法特性，导致一些研究者推测，同印欧语言相比，汉语句子加工过程中，语义分析可能扮演更加重要的角色(如Zhang et al.,2010,2013)。我们假设，一种语言的语言学特性，特别是句法特性，可能会调整由EEG振荡活动所反映的、句法与语义加工相互作用的认知神经机制，特别是句法正确或异常如何调整与语义加工相关联的EEG振荡活动。因此，今后的研究有必要在更多其它类型的语言(特别是像汉语这样的语言)中，测量句法和语义加工的EEG能量变化。 收稿日期：2013－12－16
标签：时频分析论文; 语义分析论文; 时间窗论文; 时间计算论文;
