多媒体学习的认知机制，本文主要内容关键词为：认知论文,机制论文,多媒体论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
[中图分类号]G40 [文献标识码]A [文章编号]1002-0209（2007）05-0022-06
随着信息技术的快速发展，多媒体教育内容和多媒体教育系统日益普及。然而，对于多媒体的教学功效存在着长久的争鸣，一方面是支持多媒体的人持乐观态度，认为多媒体学习既能减少学习时间也能增强学习效果，尤其可以支持学习者理解复杂的知识领域；另一方面，持相反观点的人一直对教育中运用多媒体抱怀疑态度，认为多媒体学习是无足轻重的甚至有消极的影响[1]。相关文献的一些相互矛盾的结论也说明，多媒体学习受到许多内外因素（如媒体呈现形式、媒体之间的关系、学习者的先前知识、学习者的认知风格等）的相互影响。这些长久的争议与复杂的影响驱动人们对一个更为深层问题——多媒体学习的认知过程机制的不断探索和相互争鸣，例如，多媒体是如何影响学习过程的？学习者是如何整合和利用多种媒体形式的信息的？学习者的多种感觉通道的信息是如何被加工并整合的？等等。总体看来，对多媒体学习的认知机制的研究可以分为两个层面，一个层面是对多媒体信息加工过程的直接探讨；另一个层面是一般的认知机制理论，但有助于人们深刻解释多媒体信息加工过程，甚至作为一般的理论基础，能够启发、指导人们对多媒体信息加工机制的深入探索。
一、专门的认知机制理论
（一）双重编码理论
佩维尔（Paivio）的双重编码理论认为，人有两个在功能和结构上均不相同、独立但又相互联系的加工、储存信息的认知系统——言语系统和表象系统[2]（P53）。言语系统用于加工言语信息，产生言语反应；表象系统用于加工非言语的、物体或事件的信息，形成事物的心理表象。在结构上的差异主要表现在信息储存的表征单元和组织方式上，言语系统储存信息的单元是言语符号，非言语系统储存信息的单元是图像映像。在组织方式上，非言语信息以同步的方式进行组织，它允许一个心理表象的许多成分同时加工，而言语信息以连续的形式进行组织，只能进行序列加工，并且每次只能加工有限的信息。
言语与表象系统的加工分为三个水平（见图1）[3]：（1）表征水平。指当言语与非言语表征被激活时所产生的加工，它包括低水平的材料驱动的知觉再认和识别，这在很大程度上受事物本身的特征影响。（2）联合加工。指在言语系统内部语言单位之间或者图像系统内部图像单位之间所发生的加工，如阐述或定义一个语言需要通过与其他语言的联系，如一个抽象的词“知识”，由于与相关的词如“经验”“概念”“记忆”“事实”等相联系而得到了理解。情境是联合加工的一个重要变量，当我们试图从词的背景中理解这个词的意义时，或者由相关的词引起想象并被整合成一个想象情境时，就是在进行联合水平加工。（3）相关加工。指一个系统的表征被另一个系统的表征所激活，从而在言语系统与非言语系统之间构造了一条潜在的通道。相关加工允许表象表征激活不同的词语表征，反之亦然。在一定条件下，两个系统也能以互补的形式共同加工信息，如听到“书”这个词，就可能引起一个书的心理表象，看到书也能够激活“书”这个概念。两个认知系统是相互联系的，两种信息可以相互转换。双重编码理论认为，当学习者用言语和表象两种认知系统表征相同的材料时，如果言语信息和图画信息在时间和空间上一致，则在编码的过程中就会形成言语表征和视觉表征的连接，从而提高学习效果，并且能够增加学习者提取信息的路径。
（二）多媒体学习模型
如果同时呈现两种表征方式，这两种方式是怎样相互作用的？学习者从文本和图中得到的信息是怎样整合的？梅耶（Mayer）吸取了双重编码理论的观点，提出了多媒体学习模型（见图2）[4]（P59）。
从模式中可以看出，多媒体学习包括三个过程：选择、组织和整合。首先，学习者需要注意经过眼、耳进入信息加工系统的视觉和言语信息中的有关内容（即选择过程）。从呈现的言语信息中，学习者选择重要的词语进行言语表征（即选择文本），其结果是建构命题表征或文本库。从呈现的视觉信息中，学习者选择重要的图像进行视觉表征（即选择图画），其结果是建构表象表征或图像库。当学习者选择了视觉和言语材料之后，就会把进入工作记忆中的信息组织成一个连贯的整体（即组织过程）。学习者对文本库进行重新组织（即组织文本），形成关于文中所描述情境的言语心理模型，这一过程发生在言语短时记忆中。学习者对图像库进行重新组织（即组织图像），形成关于图像中所描述情境的视觉心理模型。最后，学习者需要在两类模型之间建立联系，并将所组织的信息与记忆中已有的、熟悉的知识结构联系起来（即整合过程）。为使整合过程得以发生，视觉信息必须保持在视觉短时记忆中，同时，相应的言语信息需要保持在言语短时记忆中。然而，短时记忆的容量是有限的，因此视觉与言语信息的整合将受到记忆负荷的限制。需要指出的是，对信息的选择、组织和整合并非总是以线性的顺序发生，有时也会反复进行。
梅耶关于双重编码的主要假设就是言语信息和图画信息在不同的认知系统中进行加工。学习者选择相关词语建构成命题表征，组织成言语心理模型；选择重要图像形成图像表征，两种加工建构了两种平行的心理模式，最后彼此进行一对一的映射联系。如果言语信息和图画信息同时出现在工作记忆中，也就是两个模型同时在工作记忆中，就会发生整合加工。
（三）新双重编码理论
有人（Schnotz和Bannert）对梅耶的多媒体学习模型中文本和图画的平行加工提出了质疑。他们认为，文本和图画属于不同的符号系统，用的是不同的表征原则，言语（或命题）表征是描述性的，而图画（或对话）表征是直观性的。言语表征和图画表征之间不可能有映射过程，不可能进行简单的结构整合，因为直观性表征不包含事物之间的关系。他们在双重编码理论的基础上，提出了理解文字和图画的整合模型——新双重编码理论（见图3）[5]。
这个模型包括描述性表征和直观性表征两部分。描述性表征包括外部的文本表征、文本浅层（表面结构）的心理表征和语义内容的命题表征，这些表征之间的相互作用是以符号为基础的。直观性表征包括外部的图画表征、图画的视觉认知和所描绘物体的心理模型，这些表征之间的相互作用是以类比结构映射加工为基础的。两种表征形式可以通过模型建构和模型检验相互转换和补充。
该模型和传统的双通道模型的区别在于，它是以不同的符号系统和表征原则为基础的。具体表现在以下几个方面：（1）言语和图画加工的交互作用不是基于文本的浅层表征和视觉知觉水平发生的，而是基于命题表征和心理模型水平的，也就是在文本和图画的语义加工之后。（2）在旧双重编码理论中，言语和图画表征被看做是结构的整合，而在新理论中被看做是心理模型建构的一个连续过程。描述性表征和直觉性表征是不能相互整合的，但可以相互“交流”。这两种表征系统是两种相互作用、相互补充的认知“通道”，而不是整合的记忆结构。
新双重编码理论解决了描述性与直观性表征是如何关联的问题，但是这只是理论上的，需要大量经验性验证。该理论虽然可以解释很多现象，但是它依然有不足之处，首先，它没有考虑到学习者的特点，例如学习者的先前经验问题。因为同一个物体有不同的表征形式，如果当前的表征适合于特定的任务或者与学习者原本的表征相适应时，就能促进学习者的学习，反之，将影响学习者特别是先前经验丰富的学习者的学习，因为他们的先前知识往往使得他们对该事件有了适合自己的心理表征，而外在添加的图画可能不适合其本身的表征，从而妨碍其学习。另外，对于低视觉空间能力的学生而言，图画加工的困难到底在什么地方？在复杂的整合任务中，两个不同的认知系统如何共同工作？这些问题都有待解决。
二、一般的认知机制理论
多媒体学习的认知理论模型需要以一般性的认知假设为基础。例如，梅耶的多媒体学习模型是建立在双通道假设、工作记忆有限容量假设与生成性学习假设的基础上的。这些一般性的认知机制假设有助于支持多媒体学习的认知理论模型，对多媒体学习的认知过程的探索具有很强的指导作用。
（一）工作记忆模型
巴德利等人（Baddeley和Hitch）在1974年提出了工作记忆模型，并于1986年进行了修正[6]（P48—79）。该模型认为工作记忆由三个系统组成：中枢执行器（central executive）、语音环（phonological loop）和视觉空间画板（visuo-spatial sketch pad）。其中，中枢执行器是一个注意控制系统，负责执行加工过程，主要包括对相关信息的注意和无关信息的抑制等。而语音环和视觉空间画板则被看做是两个子工作记忆系统，分别对应言语工作记忆）和空间工作记忆。随着人们对工作记忆的深入研究，巴德利等人的工作记忆三成分模型逐渐表现出不足来。例如，它难以合理解释学习者对散文段落进行回忆时表现出的组块现象。巴德利在原有模型的基础上增加了第四种成分——情节缓冲器（episodic buffer），这种缓冲器可以保存完整的事件或情境，是使用不同编码并在亚系统之间提供有限容量的缓冲器，这样，工作记忆三成分模型被修订成了工作记忆四成分模型（见图4）[7]。
根据工作记忆模型，如果多媒体呈现的信息涉及多种通道，那么学习者就可以充分利用视听两种工作记忆，这样实际上是变相地扩展了工作记忆的容量，因此有利于信息的记忆和保持，而且，情节缓冲器可以少量储存图像信息与言语信息，有利于加强两种表征之间的联系和整合。
（二）分布式认知理论
分布式认知理论将内部过程和外部过程看作一个认知系统的整体，认为外部的环境不仅是一种信息的来源或者输出地，也应该是思维的一部分。它强调认知活动应该在人的思维内部、外部认知产品、他人以及时间和空间上进行分配[8]。
根据认知分配理论，多媒体的外在图画不仅能提供信息，还能作为一个外部认知引导、限制和促进认知行为。当人们用符号表征推导一个问题时，他们不需要在心理内部运行所有的思维过程，相反，他们通过操作图画找出解决方法。实际上图画给学习者提供了外部表征，学习者可以将任务分配到环境中，这样环境就承担了学习者部分的工作记忆，因此减轻了工作记忆的负担，促进信息的保持。
（三）认知负荷理论
认知负荷理论从资源分配的角度考察学习和问题解决。认知负荷是学习者在完成特定学习任务时所需的认知资源总量。工作记忆能够同时加工的信息容量是有限的，若同时加工几种信息，则存在资源分配的问题，而分配遵循“此多彼少，总量不变”的原则。若在问题解决或学习过程中所需要的资源总量超过了个体所能提供的资源总量，则会造成认知负荷超载，影响学习或问题解决的效率。
斯威勒尔（Sweller）基于认知负荷的不同来源，将认知负荷区分为内在认知负荷、外在认知负荷和生成认知负荷[9]。内在认知负荷是知识本身所带来的认知负荷，由学习材料中包含的概念或元素的数量、概念或元素之间的相互关系以及学习者的经验水平（图式数量）决定。外在认知负荷指因外在的信息呈现和教学处理而导致学习者耗费在与教学目标无关的操作（如信息搜索）上的认知负荷，这种认知负荷对学习起着干扰作用。生成认知负荷用于图式获得和规则自动化，对学习起着促进作用。认知负荷的这三种成分之间是一种相加的关系，所加之和不能超过工作记忆资源总量。固有认知负荷提供一种基础负荷，是不可消减的，但可以通过自动化的图式减少其总量，使更多的认知资源用于建构新的图式，增加有关认知负荷。
根据认知负荷理论，多媒体学习就是试图通过言语表征和图像表征互补，减少学习者的外在认知负荷，使学习者尽快从浅层语义表征与视觉影像达到命题表征与心理模型，增加生成负荷空间，促进深层理解。
（四）生成学习理论
多媒体学习的过程也是生成学习的过程。生成学习理论认为，当学习者将进入听觉和视觉的信息组织成视觉和听觉的心理模型，并对这两种表征进行整合时，真正的学习才得以发生[10]。因此，当学习者利用先前知识建立言语模型和图像模型的联系，并在先前知识的基础上调整这些联系时，学习者对知识的理解便得到加深和提高。
三、存在的问题与发展趋势
（一）学习理论取向问题
多媒体学习的认知机制模型必然涉及学习理论取向问题。上述各种专门的多媒体学习的认知机制理论多数（生成学习理论和分布式认知理论除外）是以认知主义的“知识接受”的知识观和学习观为基础的，将知识假定为一件能够进入人脑的物品，学习被看做是向学习者的记忆增加知识的过程，教学被看做是向学习者发布知识的过程。因此，在这些模型中，学习总是发端于外界刺激对人体感官的作用。但这一观点已经被建构主义学习观所取代。学习被看做是学习者在先前知识经验的基础上主动注意、选择、解释外在信息的过程。因此，多媒体学习的认知机制必须考虑这一积极的建构过程。根据分布式认知理论，人的学习并不局限于人的大脑内部而发生，大脑与外在环境构成一个分析单位，头脑中的内部表征与头脑外的外部表征处于同一个系统之中。内部与外部的多重表征（如言语表征与图像表征）之间如何相互交流，如何测量并减少这种交流所需要的认知负荷，是多媒体学习的认知机制研究所需要考虑的问题之一。
（二）大脑认知神经科学的证据支持问题
多媒体学习的认知机制模型需要大脑认知神经科学的证据来支持。无论是专门的认知机制模型还是一般性的认知机制假设不仅有赖于认知实验的证明，还有赖于大脑认知神经科学的证据支持。例如，根据功能磁共振成像（fMRI）技术的研究，工作记忆的确可以划分为听觉工作记忆和视觉工作记忆两个子工作记忆系统，其中听觉工作记忆主要由大脑左半球参与，视觉工作记忆主要由大脑右半球参与，两种记忆条件下所参与的脑区没有重叠[11]，但是，是否存在如巴德利所说的包含两种编码的情节缓冲器，值得进一步探索。
（三）多媒体学习的内容和情境问题
多媒体学习的认知机制理论尚需考虑多媒体学习的内容问题。多媒体学习的认知机制理论基本上只是考虑一般性的过程，更关注多媒体的一个维度——通道，如视觉通道与听觉通道，甚至有研究者认为如今对于多媒体学习的研究使用术语“多通道学习”（multimodal learning）可能比“多媒体学习”（multimedia learning）更准确[12]。但是，这些认知机制理论都没有回答多媒体学习研究的重点问题——表征，包括多媒体表征什么内容、怎样表征这些内容等重要问题。媒体形式服务于内容性质与教学意图和情境，也许并不存在适于各种内容和情境的统一的多媒体认知机制，多媒体学习的认知机制或许应当是依赖于内容的、情境性的。
多媒体学习研究旨在探讨哪些重要因素影响对媒体的恰当选择、如何设计媒体呈现来促进学习者的主动建构过程。只有回答了多媒体学习的认知机制问题，人们才可能解决三十多年来未能圆满解决的实践问题：在多媒体学习系统中整合各种多媒体要素，为微观层次设计原则提供一种综合框架。
标签：信息加工理论论文; 认知发展理论论文; 工作记忆论文; 信息加工论文; 认知过程论文; 文本分析论文; 图像编码论文; 系统学习论文; 工作选择论文; 图像记忆论文;