工作记忆中不同类型信息的相互转化
刘会娟
（衡水学院 教育学院，衡水053000）
摘 要： 工作记忆中的语音回路和视空模板在学习图形和文字时起着重要作用。当需要对不同类型信息进行转换时，工作记忆中的不同成分如何完成信息的相互转化？这是工作记忆研究中的重要问题之一。本研究采用3（图形、视觉文字、听觉文字）×2（有干扰、无干扰）×2（一致、不一致）的组内设计，通过记录反应时和眼动指标对上述问题进行深入探讨。实验结果表明：语音回路和视空模板共同参与了图形和空间位置关系描述的加工；情景缓冲器完成了不同类型的信息代码转化，这种转化不受语音回路或视空模板干扰的影响。
关键词： 图形；文字；信息转化；工作记忆；眼动
0 引言
工作记忆是一个对信息进行暂时性加工和储存的能量有限的系统，它是知觉、长时记忆等活动的分界点，对人类的思维活动非常重要[1]。Baddeley（2000）在工作记忆的修正模型中把工作记忆分为三个层次[2]。第一层是完成最高级的执行控制的中央执行系统；第二层负责三类信息的暂时加工，包括原有模型中的语音回路和视觉空间模板以及一个新的子系统——情景缓冲器；第三层是长时记忆系统，包括视觉语义、情景长时记忆和语言。情景缓冲器是一个与语音回路和视觉空间模板分离的容量有限的存储区，由中央执行系统控制。它的多维编码功能使不同系统能够进行整合，从而把信息联结起来形成整合情景[3]。但目前情景缓冲器只是一个假想结构，还缺乏认知实验或神经科学实验证据的支持。虽然工作记忆模型使人们对工作记忆的结构有了较完整的认识，但并没有明确这些成分之间是如何进行信息转化和传递的，忽略了工作记忆的加工过程。工作记忆中的语音回路和视空模板分别以不同的形式加工和存储不同类型的信息，两者既分离又相互联系，两者贮存的信息是可以相互转化的。神经影像学表明，语音回路的活动主要由左半球参与，视空模板的活动主要由右半球参与，两种活动条件下所参与的脑区基本没有重叠；两者之间之所以有联系，是因为它们都直接受到中央执行系统控制[4]。语音回路主要负责以声音为基础的信息的存储和控制，视空模板主要处理视觉空间运动信息[5]。因此，可以用图形、文字信息转化研究语音回路和视空模板贮存的信息之间的转化。
图形、文字信息转化主要有两种理论解释。Paivio 提出的双编码理论认为，对图形和文字的表征被贮存在两个相互分离但又相互联系的系统中，即表象系统和言语系统。前者负责处理知觉信息和具体物体或事件；而后者主要处理言语单元和抽象概念。图形以表象形式表征，文字以语音形式表征。图形更容易激活语音和表象两种代码。学习图形时容易形成语音和表象两种编码，而且编码形式和提取形式相匹配将有利于再认[6]。因此，在测验阶段要求匹配的项目无论是图形或文字都不会影响判断时间和正确率，即没有形式变化损耗（形式变化损耗是指学习材料形式和测验材料形式不同时再认成绩与两者相同时再认成绩的差异）。而Anderson 提出的共同编码说则认为，所有的视觉信息都以抽象形式存储在一个编码系统中，图形和文字通过共同的语义系统表征，两者的差异可以通过不同类型特征的差异性解释。共同编码说的代表Nelson 提出的感觉-语义理论认为，图形具有突出的视觉特征，图形最先激活视觉编码和语义编码[7]。学习过的图形具备突出的视觉特征，对这些特征的编码将会削弱测验阶段对非突出特征刺激的提取能力，即图形的突出特征将导致明显的形式变化损耗；而文字的知觉和语义特征不如图形突出，在测验阶段测验材料形式变化所产生的损耗更少。
显然，双编码理论和共同编码说对图形、文字信息转化的预期结果并不一致。Mintzer 和Snodgrass[8]发现，在没有编码方式要求的条件下图形具有明显的形式变化损耗；但如果明确要求被试对图形和文字分别进行语音和表象两种编码，则图形和文字的形式变化损耗均消失。他们由此认为，学习图形时没有语音编码。Brandimonte[9]和Bajo，Canas[10]研究发现，言语编码影响视觉表象的加工；文字也对图形有语音的启动作用。另有研究表明无论探测刺激是图形或言语形式，言语次级干扰任务都对客体信息的保持产生选择性干扰；但对空间信息的保持是否产生干扰受到其他因素的影响[11]。由此可见，学习图形时是否有语音编码，学习文字时是否有空间编码尚未形成统一认识。另外，以往关于图形、文字信息转化的研究多采用表示单个物体的词或图形。然而，在实际生活中，我们进行的图形和文字之间信息转化多是描述一个场景的文字和组合复杂的图。当单个词换成描述空间情境的系列文字，单个物体的图换成表示空间位置关系的图时，信息如何转化？在图形与文字信息转化的解释中，双编码理论和共同编码说均没有考虑学习文字信息时是否建立表象，表象对信息转化具有怎样的影响？本研究拟结合工作记忆模型中的情景缓冲器的作用，探讨图形与文字信息转换的特点。
1 实验
1.1 被试
22 名大学生参加本实验，其中男生10 名、女生12 名。所有被试均为右利手，视力或矫正视力正常。
1.2 实验设计
实验采用3×2×2 的组内设计，三个因素分别是学习材料类型（图形、视觉文字和听觉文字）、干扰（有干扰和无干扰）以及匹配一致性（学习材料类型和匹配材料类型一致和不一致）。其中有干扰条件分两种，一是对文字学习的空间干扰，即被试在学习文字信息时，要求他们同时持续按顺时针方向敲击小键盘的四个角上的键，即7、9、3、1，直到学习材料呈现完为止。另一种是对图形学习的语音干扰，被试在学习图形时，要求他们持续发“the”的读音，直到学习材料呈现完毕。实验前先让被试学习三种不同匹配，出现“○”被试要顺时针敲击小键盘；出现“●”被试要持续读“the”；出现“＋”时暂时休息。
1.3 仪器与材料
BA后期收敛较快，导致算法全局搜索能力差，而二次差分法的局部差分策略(DE/best/1)，其算子的全局搜索能力强。为了解决UAV+RFID技术在生产现场的在制品信息采集问题，本文提出一种基于二次差分进化的混合蝙蝠算法(Hybrid Bat Algorithm, HBA)的UAV三维路径规划，以增强算法的全局搜索能力，得到一条最优的无碰飞行路径。
1.4 实验程序
平均注视时间是指匹配材料上的所有注视点的平均注视时间。在学习材料类型、干扰和匹配一致性三因素结合形成的多种条件下的平均注视时间见表3。方差分析表明，干扰和匹配一致性在平均注视时间上的交互作用显著[F（1，21）=7.13，p＜0.05]，干扰在平均注视时间上的主效应为边缘显著[F（1，21）=4.27，p=0.05]，匹配一致性在平均注视时间上的主效应显著[F（1，21）=29.71，p＜0.01]。简单效应分析可知，匹配不一致，有干扰和无干扰的平均注视时间差异显著（p＜0.05）；无论有无干扰，匹配一致性因素的处理效应在平均注视时间上显著（p＜0.01；p＜0.01），匹配不一致时的平均注视时间均显著长于匹配一致时的平均注视时间。
图1 实验流程图
2 实验结果
2.1 反应时和正确率
反应时是指被试对匹配材料中四个字母及其位置均做出判断的总反应时。被试在学习材料类型、干扰和匹配一致性三因素结合形成的多种条件下的反应时和正确率见表1。方差分析表明，对反应时而言，学习材料类型和匹配一致性的交互作用显著[F（2，42）=128.91，p＜0.01]，学习材料类型和匹配一致性主效应均显著[F（2，42）=12.50，p＜0.01；F（1，21）=77.88，p＜0.01]。在正确率上，学习材料类型和匹配一致性主效应均显著，学习图形时的正确率显著高于学习文字时的正确率[F（2，42）=43.54，p＜0.01]，匹配一致时的正确率明显高于匹配不一致时的正确率[F（1，21）=5.82，p＜0.05]；干扰在正确率上的主效应不显著。
表1 学习材料类型、干扰和匹配一致性三因素各种条件组合下的反应时和正确率
简单效应分析表明，学习材料类型和匹配材料类型无论一致或不一致，三种类型学习材料在反应时上的差异均显著。匹配一致时，学习图形的反应时显著短于学习视觉文字或听觉文字的反应时（p＜0.01）；匹配不一致时，学习图形的反应时显著长于学习视觉文字或听觉文字的反应时（p＜0.01），学习视觉文字和听觉文字的反应时没有显著差异。学习图形，匹配不一致时的反应时显著长于匹配一致时的反应时（p＜0.01）；学习文字，匹配不一致时的反应时显著短于匹配一致时的反应时（p＜0.01）。另外，干扰在反应时上的主效应显著[F（1，21）=11.23，p＜0.01]，有干扰时的反应时显著长于无干扰时的反应时。
2.2 总注视时间
根据共同编码说，图形具有高辨别性视觉特征，在学习图形时形成的高辨别性信息在以文字形式提取时，影响提取成绩。而文字的感觉语义特征不突出，文字将较少地受到形式变化的影响。本实验结果中，学习图形匹配一致时的反应时显著短于匹配不一致时的反应时，学习图形匹配一致时的正确率显著高于匹配不一致时的正确率，这支持了共同编码说。但是学习文字匹配一致时的反应时显著长于匹配不一致时的反应时，这与共同编码说的预期结果不完全一致。这可能与本实验材料的特殊性有关。本实验中使用的是表示空间位置关系的图形和描述空间情境的系列文字。根据显示格式和工作记忆代码的兼容性原则[12]，学习文字信息时更多的是进行言语编码，可能只有少量的空间编码。Jahn[13]提出无论听觉或视觉呈现语篇，被试都会自发地建立空间情境模型。由此我们推测，学习描述空间位置关系的文字信息时，形成的较多的言语代码可能会转化成空间代码，建立空间情境模型。当匹配材料为文字形式时，编码方式和提取方式不匹配，同样需要进行信息代码的转换，这增加了判断时间；而当匹配材料为图形时，编码方式和提取方式匹配，其反应时将会短于两者不匹配时的反应时。这与本实验中学习文字时的结果一致。
匹配一致性因素的处理效应在三种学习材料类型的总注视时间上均显著。学习图形，匹配不一致时的总注视时间显著长于匹配一致时的总注视时间（p＜0.01）；学习视觉文字和听觉文字，匹配不一致时的总注视时间均显著短于匹配一致时的总注视时间（p＜0.01）。
5.情境扮演式教学。情境扮演式教学是指在教学过程中，扮演不同警务工作人员和场景，突出礼仪技能的运用，在训练中教师要对学生进行充分引导，并留有足够的发挥空间，让学生自由发挥，增强学生身临其境的实际感受，激发他们在不同情境下的创造性，帮助学生掌握礼仪规范的教学方法。重点是教师应及时将情境扮演过程中所反映出来的问题归纳总结，做出引导和指导，便于学生整体把握。如此不但有利于学生牢固掌握所学的警察礼仪规范知识，还有利于他们将理论内化后更好地运用于实际之中。
表2 学习材料类型、干扰和匹配一致性三因素各种条件组合下的总注视时间 s
2.3 平均注视时间
实验流程见图1。被试任务是判断匹配材料中字母及字母的相应位置是否与学习材料相同并做出按键反应。
表3 学习材料类型、干扰和匹配一致性三因素各种条件组合下的平均注视时间s
3 讨论
胃肠道微生态参与胰腺癌发病的可能机制目前尚未阐明。学者们认为，病原菌、年龄、环境、代谢、遗传等因素导致胃肠道微生态失衡，失衡可能经由模式识别受体、炎症复合体以及NF-κB、环氧化酶2、信号转导及转录激活因子3、树突状细胞、调节性T细胞等细胞分子引起肿瘤相关性炎症、感染、代谢失衡、免疫紊乱，最终导致肿瘤的发生[15-17]。这些机制是肿瘤普遍发生的过程，找到其与胰腺癌发病机制的特异关系将有益于揭示胰腺癌发生的本质，因此尚有许多的研究要做。
双编码理论认为，图形以两种编码形式存储，双编码加工使学习过的图形在提取时不受刺激类型变化的影响。大脑对文字信息主要进行语音编码，如果再认时以图形形式呈现，就出现了编码方式和提取方式的不匹配，这种情况下的再认成绩要比匹配条件下的再认成绩更低。本研究结果显示，学习图形匹配一致时的反应时显著短于匹配不一致时的反应时；学习图形匹配一致时的正确率显著高于匹配不一致时的正确率；学习文字匹配一致时的反应时显著长于匹配不一致时的反应时。因此，本实验结果不支持双编码理论。
总注视时间是指被试对匹配材料的总注视时间。学习材料类型、干扰和匹配一致性三因素结合形成的多种条件下被试的总注视时间见表2。方差分析表明，学习材料类型和匹配一致性在总注视时间上的交互作用显著[F（2，42）=105.72，p＜0.01]，匹配一致性因素在总注视时间上的主效应显著[F（1，21）=57.89，p＜0.01]，而学习材料类型在总注视时间上的主效应不显著。从简单效应分析看，学习材料类型的处理效应在匹配一致和不一致时的总注视时间上均显著。匹配不一致时，学习图形时的总注视时间显著长于学习视觉文字或听觉文字时的总注视时间（p＜0.01）；匹配一致时，学习图形时的总注视时间显著短于学习视觉文字或听觉文字时的总注视时间（p＜0.01）。在匹配不一致和一致时，学习视觉文字和听觉文字时的总注视时间均无显著差异。
实验采用iView red 眼动仪记录运动数据，采样率60 Hz。17 寸显示器呈现刺激。实验学习材料有视觉方式呈现的文字（视觉文字）、听觉方式呈现的语音信息（听觉文字）和方位示意图形三种形式。每组文字材料有五句话，它们分别描述了被试的位置以及其与四个字母的相对位置。例如，你在中心位置；A 在你的前面；B 在你的左面；C 在你的后面；D 在你的右面。每组材料中的四个字母是从26 个英文字母中随机选取的。“你在中心位置”最先呈现，描述四个字母与被试相对位置的四句话相继随机出现。图形材料的中心用一个人的俯视图表示被试自己，四个字母分别出现在人的前后左右，每次只出现一个字母，四个方位随机呈现。图形中心人的朝向是变化的，把被试正对显示器时人的朝向向上的方向定为0°，人的朝向在0°、90°、180°、270°（顺时针）中随机变化。匹配材料有视觉文字和图形两种形式。视觉文字中包括四句话，四句话同时呈现，每行一句话出现在屏幕中央，四句话描述了四个字母和被试的相对位置；图形中人的朝向与学习材料相同，四个字母和人同时呈现。
系统在与外部环境相互作用过程中，又促进了自身结构关系的变化。究其原因，是由于外界环境对系统输入的物质、信息和能量一旦有了变化，就会引起系统要素之间出现某些涨落现象，即各要素的地位、作用与关系出现变化。如果外界环境对系统输入的物质、信息和能量的变化较小，则要素之间出现的涨落较弱。由微涨落带来的相干作用的结果会导致结构稳定性的振荡，以至出现某些结构性的改良。如果外界环境对系统的输入变化很大，则会出现大涨落，甚至巨涨落，即原有结构或是出现了向新结构转变，或是恶化和瓦解。(邹珊刚等编著《系统科学》)
另外，从眼动指标来看，各种条件组合下的总注视时间结果与反应时的结果一致。在平均注视时间上，无论学习图形或文字，匹配材料为文字时的平均注视时间显著短于匹配材料为图形时的平均注视时间；在总注视时间上，匹配材料为文字时显著长于匹配材料为图形时，综合总注视时间和平均注视时间的结果可以看出，当匹配材料为文字时注视密度更大，这可能是由文字的空间范围小可辨别性低引起的。
综上所述，健康教育在高血脂患者中有着重要的应用价值，有效的将血脂控制在正常范围内，提高患者自我管理能力。
根据认知经济性原则推测，学习和匹配材料类型不同时，被试会将匹配材料类型转化为学习材料类型。那么，语音回路和视空模板在学习图形和文字信息时如何起作用呢？目前人们对图形是否有语音编码、文字是否有空间编码没有统一的认识。本实验结果中学习图形干扰语音回路时的反应时显著长于无干扰时的反应时；学习描述空间情境的文字，干扰视空模板时的反应时显著长于无干扰时的反应时。这说明在学习图形时存在语音编码，学习描述空间位置关系的系列文字时存在空间编码。
工作记忆模型经过20 多年的发展和完善，已经由最初的与长时记忆脱离的三成分模型发展为目前的与长时记忆相联系的四成分模型。该模型把视空模板和语音回路之间单向联系变成了一种双向联系，新增情景缓冲器为不同类型信息整合提供了可能。本实验中，学习文字随后以图形形式判断或学习图形随后以文字形式判断，被试均能做出正确判断，这说明，语音回路和视空模板之间存在双向联系。无论有无干扰，学习图形匹配不一致时的反应时显著长于学习文字匹配不一致时的反应时；学习文字匹配一致时的反应时显著长于匹配不一致时的反应时。因此，在本实验中加工文字材料时进行了信息代码的转化，从而建立空间情境模型；干扰语音回路或视空模板没有影响信息代码的转化，信息代码的转化可能是由一个与语音回路和视空模板分离的系统——情景缓冲器完成的。本实验中被试学习文字信息时先在语音回路中进行语音编码，形成的语音编码通过中央执行系统传到情景缓冲器进行信息代码的转化。平均注视时间反映的是相对早期的加工。本实验结果中，学习和匹配材料类型不同时有干扰时的平均注视时间显著长于无干扰时的平均注视时间，这说明，干扰语音回路或视空模板影响了信息代码转化的相对早期的加工。因此，在进行不同类型信息转化时，语音回路和视空模板可能为信息代码转化提供了基本的信息代码，情景缓冲器在更高层对这些信息代码进行转化，这在一定程度上说明了情景缓冲器和语音回路、视空模板之间的关系。
4 结论
学习图形，匹配材料类型变化时出现了明显的形式变化损耗，支持了共同编码说的观点；学习图形和描述空间位置关系的文字信息时，语音回路和视空模板同时起作用；学习和匹配材料类型不同时情景缓冲器完成了信息代码的转化。
参考文献：
[1]BADDELEY A D. Working memory: looking back and looking forward[J]. Nature Reviews Neuroscience, 2003,4(10):829-839.
[2]BADDELEY A D. The episodic buffer: a new component of working memory?[J]. Trends in Cognitive Sciences,2000,4(11):417-423.
[3]鲁忠义,杜建政,刘学华.工作记忆模型的第四个组成部分——情景缓冲器[J].心理科学,2008,31(1):239-241.
[4]李雪冰,罗跃嘉.空间及言语工作记忆任务的情绪效应:来自ERP/fMRI 的证据[J].心理科学进展,2011,19(2):166-174.
[5]BOIVIN M J, BANGIRANA P, SMITH R C. The relationship between visual-spatial and auditory-verbal working memory span in senegalese and ugandan children[J].Plos One,2010,5(1):e8914.
[6]ROEDIGER H L. Implicit memory: Retention without remembering[J]. American psychologist, 1990(45): 1043-1056.
[7]MCBRIDE D M,DOSHER B A.A comparison of conscious and automatic memory processes for picture and word stimuli:A process dissociation analysis[J].Consciousness&Cognition,2002,11(3):423-460.
[8]MINTZER M Z, SNODGRASS J G. The picture superiority effect: Support for the distinctiveness model[J]. The American Journal of Psychology,1999,112(1):113-146.
[9]BRANDIMONTE M A. Influence of short - term memory code on visual image processing: Evidence from image transformation tasks[J]. Journal of Experimental Psychology: Learning, Memory and Cognition, 1992, 18(1):157-165.
[10]BAJO M T,CANAS J J. Phonetic and semantic activation during picture and word naming[J].Acta Psychologica,1989,72(2):105-115.
[11]罗良,林崇德.言语次级干扰任务对客体与空间信息保持的影响[J].心理发展与教育,2010,26(2):113-120.
[12]李晶,张侃.文字与图形呈现形成想象空间记忆的比较[J].心理科学,2007,30(2):268-271.
[13]JAHN G.Three turtles in danger:spontaneous construction of causally relevant spatial situation models[J].Journal of Experimental Psychology:Learning,Memory,and Cognition,2004,30(5):969-987.
Reciprocal Transformation of Heterogeneous Information in Working Memory
LIU Huijuan
(College of Education,Hengshui University,Hengshui,Hebei 053000,China)
Abstract: The two components of working memory, phonological loop and visuo-spatial sketchpad,play an important role in learning pictures and texts.When the different types of information need to be transformed,how do the different components of working memory do the reciprocal transformation of heterogeneous information? This is one of the important issues in working memory research.To discuss the above problem,an experiment of 3×2×2 complete withinsubject design was conducted. In the experiment, the function of different components of working memory was explored by analyzing the reaction time and the eye movement signal during information transformation. The experiment results showed that: (1) during studying pictures and words of describing space and location, both phonological loop and visuo-spatial sketchpad are activated; (2) the information conversion between different types is conducted by the episodic buffer,and this information conversion was not influenced by interfering of the phonological loop or the visuo-spatial sketchpad.
Key words: picture;word;information transformation;working memory;eye movement
DOI： 10.3969/j.issn.1673-2065.2019.04.025
作者简介： 刘会娟（1980-），女，河北邢台人，讲师，教育学博士。
中图分类号： B842.3
文献标识码： A
文章编号： 1673-2065(2019)04-0117-06 收稿日期：2019-01-05
（责任编校： 李建明英文校对： 李玉玲）