美国科学教育测评系统ENA评介，本文主要内容关键词为：美国论文,科学论文,系统论文,ENA论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
[中图分类号]G434 [文献标志码]A 在全球化时代，青少年需要通过学习科学、技术、工程和数学(STEM)知识来开发复杂的STEM思维以适应世界范围内的工作和生活。怎样了解学生STEM思维的发展状况？如何更好地促进STEM思维的发展？怎样评判所开设的课程和实施的教育活动在促进学生STEM思维发展中的作用？为了解决这些问题，美国威斯康星大学麦迪逊校区的认知游戏团队研发了一套认知网络分析工具(Epistemic Network Analysis，简称为ENA)。本文将对ENA的理论基础、分析框架和分析过程等内容展开论述。 一、ENA的理论基础：“以证据为中心的设计”教育评价模式 “以证据为中心的设计”教育评价(EvidenceCentered Design，简称ECD)是美国教育评价领域应用非常广泛的一种模式。该模式提倡尊重学生的主体地位，关注学生的学习过程，强调在评价学生学习能力、思维发展的过程中搜集有力的证据。 (一)“以证据为中心的设计”教育评价模式简介 学生的学习评价如何关注过程，如何清楚地描述学生获得和使用知识、技能以及个人能力发展过程中的轨迹，通过什么样的方式去获取能够体现学生知识、技能等综合发展的证据，以及怎样把这些证据转化为数据及结论的相关策略。这就是“以证据为中心的设计”教育评价模式的一个基本逻辑。早在1994年美国教育心理学家迈锡克(Samuel Messick)就指出，“以证据为中心”的评价最核心的问题就是建立学生学习、行为和背景之间的联系与结构，而这个“结构”将指导相关任务的选择、建构以及最终的评价。他说：“在评价之前首先需要弄清楚哪些复杂的知识、技能及其他属性需要被评价，因为这些‘结构’将受到或明确或隐含的教学目标以及其他社会价值的束缚。其次，需要清楚什么样的行为或表现能够揭示出这一‘结构’，以及什么样的任务或处境能够激发他们的行为”。[1]随着现代数字技术的进步、信息技术的高速发展，美国教育评估与测量专家梅斯雷弗(Robert J.Mislevy)基于灵活开放的虚拟数字学习环境提出了更高级、更系统的“以证据为中心的设计”教育评价模式。该模式的核心是“概念性评价框架”，它包括学生模式、证据模式和任务模式等三个主要组成部分。 学生模式主要解决的问题是测量什么。该模式依据学习理论，分析“期望测量学生什么样的知识、技能和能力”。[2]该模式在厘清测量什么的基础上，还明确了所期望测量的知识、技能和能力等变量间的关系。这些变量不仅能够代表学生的学习表现，而且必须是可以观察的。针对学习状态、结构和深层复杂系统的发展，学生模式为“以证据为中心的设计”教育评价提供了一个大概的模型和框架。 证据模式主要解决的问题是如何测量。学生在执行具体学习任务中的互动或反应情况就是学生模式的证据。收集证据还只是证据模式的一个方面，它还需要进一步明确怎样处理证据。这首先需要说明可观察的变量如何反映学生在具体任务中的表现，再制定不同行为表现的量化评分规则，最后建立学生模式中确定的变量与证据模式中搜集可观察变量之间的联系。[3] 任务模式是关于“什么样的环境让学生能够说、做或创作”的一个说明，主要描述如何组织情景类型，以便让我们获得证据模式中所需要的证据种类。在这一模式中，梅斯雷弗特别指出，“数据”的收集并不仅仅局限于知识结构、纸笔测验的传统框架，它还应该包括一些关于学习者的背景、行为、历史或与特定环境的联系等信息。[4] (二)ENA作为一种“以证据为中心的设计”认知网络分析系统 “以证据为中心的设计”的教育评价理念为认知网络分析ENA的开发提供了一种原理和方法。同时，认知网络分析ENA也为“以证据为中心的设计”在数字化时代的可行性提供了有力支撑。 ENA根据“以证据为中心的设计”原理，以能够促进学生发展的相关变量构建评价学生的认知框架元素，同时以开发的认知游戏替代传统的实习课，在认知游戏这样一个虚拟实践中根据学习者认知框架的变化来评价学生认知网格的性质和连贯性。学生模式本身由一些代表认知网络关键特征的变量组成，通过认知网络的密度以及相对集中的节点等来构成学习者在不同时间点的认知框架。证据模式由两部分组成：一是根据专业框架的元素进行编码的相关活动的历史记录；二是一套把学生在实习过程中的相关活动元素转化为认知框架的分析工具。认知游戏中的活动以及假定与活动相关的联系所发展的认知框架共同构成“框架板”，它可以作为任务模式中引导游戏活动和收集数据的装置。通过这种方式，认知网络分析可以以条状图形表示学习者在游戏中认知框架的发展轨迹，而且这些轨迹中的任何一个切片都是可以被量化和分析的，并能在特定的游戏活动与个体发展之间建立联系，以评估个体的发展。[5] “以证据为中心的设计”教育评价模式成功解释了认知游戏和认知网络分析是如何成为有效排列和整合学生学习活动的评估策略。同时，认知游戏和认知网络分析构成的数字学习系统，充分诠释了“以证据为中心的设计”的评价模式为何会成为评价STEM复杂思维发展中的关键原则。 二、ENA的分析框架：“认知框架假设” 认知网络分析系统ENA是以“认知框架假设”为基础构建的分析框架。“认知框架假设”认为任何实习实践的群体内部都有一种文化，这种文化的语法和结构由五个部分组成(如图1所示)，它们分别是：(1)技能(Skills)，即人们在群体中所做的事情；(2)知识(Knowledge)，即人们在群体中所分享的认识；(3)身份(Identity)，即人们在群体中认识自我的途径；(4)价值(Values)，即人们在群体中共同的信仰；(5)认识论(Epistemology)，即人们在群体中证明行为或言论合法的依据。[6]
图1 认知框架假设 技能、知识、身份、价值和认识论所构成的集合就形成了群体的认知框架。“认知框架假设”理论认为，STEM思维是复杂的，它不仅仅是某些知识、技能、价值观和决策方式的简单集合。我们更重要的是了解哪些元素是在行动之前需要考虑的，而在做一些特殊决策的时候又需要用到哪些认知元素。“认知框架假设”有以下几个基本理念：(1)一个群体中的成员在参加实践活动的时候，其认知框架是将技能、知识、价值、身份、认识论绑定为一个整体的；(2)一个独立的个体转化成为群体中的一员是通过训练和教学将认知框架内化来实现的；(3)当个体认知框架内化以后，在面临众多观点(或角色)的选择时，所用方法和所做的抉择都会采用这个群体共享的认知框架。[7]如果把这一理论放到具体的情境中，我们就可以看到：想当工程师的人就会模仿工程师的举止，会自我认为他们就是工程师，会对工程相关的学习感兴趣，会懂得物理、生物力学、化学和其他工程领域的知识。这些技能、知识、习惯和理解就构成了认识世界的一种独特方式：也就是像工程师一样地思考。同样的道理，数学家、计算机科学家、科学记者等每一种职业都有一种不同的认知框架，只是不同的思维方式而已。 发展认知框架的关键步骤是不同群体的创新专业实习课。专业的实习课就是创设一种环境，让学习者在有监控的设置中进行一些专业的活动，并能得到同行或导师的指导，及时反馈学习结果。技术、知识、身份、价值和认识论会越来越紧密地联系在一起，成为学生学习认识世界的群体认识框架。比如，工程专业的顶峰体验课程、医生的实习期以及几乎任何科学的研究生课程。 认知游戏是一个模拟专业实习课来发展学习者的认知框架，它让学习者在游戏过程中完成一个专业的实践，并以重建实习课参与者的结构来提供系统的实践参与机会，并对其进行相应的评价。这种游戏活动的结构可以作为框架板，一系列游戏情节的分镜头可以准确显示经过一段时间后游戏参与者的活动和结构。框架板还指定每个参与结构，这个结构包括可以在游戏中得到发展或连接的预期认识框架元素，以及在这种发展或连接中所期望的证据。 因此，基于学习理论的认知游戏并不是孤立地处理知识和技能，而是将知识和技能与彼此的价值观、身份联结为一个整体系统，在群体的实践中做出一些决策判断。换句话说，认知游戏用“认知框架假设”将专业的实践实习经验活动转化为一个数字化的学习游戏，框架板将游戏活动的结果与认知框架的期望成果联结起来。在这种学习中，我们不仅关注实践中知识技能的掌握，而且强调在具体的情境中如何获得激励目标，并以一种更深入、更有意义、更持久的方式进行学习。从这个意义上说，认知游戏提供了一种将虚拟世界的认知活动转化为现实世界的专业理解的框架分析方法。[8] 三、ENA的分析过程 认知网络分析ENA的分析过程类似于社会网络分析。首先从游戏者在认知游戏过程中所做的笔记、设计、访谈等资料中采集数据并进行编码。然后将编码的集合用网络图表示出来，形成游戏者在某一时间的认知框架。最后，通过这些在不同时间的认知框架网络图，可以比较分析游戏者认知框架的变化过程及其强度与关联。 (一)ENA的分析逻辑：基于社会网络分析方法的基本思路 在社会交往过程中，个人或组织都会通过不同的活动而形成个人的社会关系，这些社会关系把无论是泛泛之交还是紧密结合的各种社会单位串连起来，构成一个庞大的社会网络。社会网络分析就是对不同社会单位(个体、群体或社会)的社会关系结构及其属性进行分析的一套理论方法。利用这种分析方法，我们可以依据社会网络中各结点之间的紧密性和距离来判断不同社会单位之间关系的紧密程度。[9] 在一个鸡尾酒会中，人们可以通过记录所有的画面，比如每次音乐的改变，每次不同人点的饮料，或者不同人交流时间间隔等，描述具有认知框架特征的各种复杂的、动态的联系。同时，根据这个酒会的性质、个体的社交活动、工作中的社会因素等，利用社会网络来分析这个酒会上复杂的社会关系。如果我们假定某一个人在同一个小群体花的时间多，最后他们的关系就会更亲近，那么对于每一个社交聚会常客，通过在这个酒会中他们与同一小群体所花的时间记录，我们就可以以求和的方式量化他在酒会上的社会网络关系的发展。 如果我们不是把这样一个酒会看作不同的人聚在一个房间的集合，而是看作不同游戏者认知框架的元素集合，我们就可以用同样的方法来进行认知网络分析。在这里，定义专业的认知框架为P，它包含很多元素(
)，任何一个元素f都是一些技能、知识、价值、身份或认识论的形式，也就是认知框架P的组成部分。从这个意义上说，任何一个f都是一个认知游戏聚会中的社交聚会常客。认知游戏中所收集的能够表示游戏者在时间t活动的相关信息的数据
，专业的认知框架P就可以通过这一系列的
来描述。从这个意义上来说，任何一个
就是在时间t所举行的认知聚会的图片。对于任何参与者P，我们都可以看他的
，一个
的子集包括在时间t的游戏者P用一种或多种专业认知框架P的证据。认知框架发展迅速的游戏者往往倾向于在游戏情境中做一些能够反映丰富的认知结构的事情，进而反映了专业素养的提升。也就是说，
是一个谈话组中的认知聚会，显示了游戏者P在时间t所用的认知框架的元素。对于一个指定的游戏者P，从游戏一开始(t=1)到游戏结束(t=e)的一系列数据
……e，代表了游戏者专业认知框架在游戏中的参与历史。[10] (二)数据的采集与编码 在这里我们以认知游戏“数字动物园”和“城市科学”为例，从将近四个星期共八十个小时(一天约4小时)所玩游戏的过程中获取数据，来说明数据采集与编码过程。数据采集分为两种形式：一是收集每一位游戏者所做的事情，包括一组笔记、设计的文件、报告和其他在游戏过程中所产生的成果；二是记录指导者与游戏者的互动，即在游戏过程中指导者对团队或个人的谈话。关于工作和互动的记录共同组成每一个学习者玩游戏的历史，然后在游戏的框架板中用认知框架的相关元素识别并编码。 图2是一个游戏者在“数字动物园”的游戏中所做笔记的摘录。在这个摘录中，我们可以看到游戏者用到了工程师的认知框架元素。这些摘录可以被编码为比较设计选择的技能(技能\比较选择，即S\CA)、满足客户需求设计的价值(价值\客户需求，即V\CN)、生产可靠设计的价值(价值\可靠设计，即V\RD)，以及基于可量化的性能测量作出判断的认识论(认识论\量化测试，即E\QT)。从摘录呈现的内容，我们可以看到也有一些工程认知框架中的其他元素在这些片段中没有编码，比如质量中心的知识(知识\质量中心，即K\CM)、工程师的身份认同(身份\看见自己，即I\SE)等。这是因为在摘录的数据中没有相关的证据。[12]
图2 游戏过程的历史摘录及数据编码[11]
图3 游戏者在某一时间点的认知框架元素网络图[13] 类比鸡尾酒会来说，在这个认知聚会中，这个游戏者在这一时刻的“社交聚会常客”S\CA、V\CN、V\RD、E\QT参与到谈话过程中，而K\CM、I\SE要么没有来，要么在其他房间，他们没有出现在这个特别的认知图中。从而可以用一个网络图
显示用于
的认框架元素及之间的关系，也就是说游戏者P在时间t的数据。在这个认知网络的模型中，游戏者认知游戏框架的元素作为节点显示在图形中(如图3所示)。数据
以框架元素作为节点，用方框连接起来的形式显示。而没有连接的节点则表明在
中没有出现。[14] (三)认知框架的形成与变化 我们可以把数据集D中的证据用网络图来表示一个游戏者P在时间t的认知框架，每一幅认知框架图就是某一个游戏者的认知聚会在时间t时认知过程的切片。 在鸡尾酒会上，我们能够对任何“社交聚会常客”在同一小群体所出现的次数，用求和的方法量化他们的社会网络。同样的，在认知聚会上，也可以通过记录在整体游戏过程中任何一对认知元素出现的次数，用求和的方式量化游戏者P的认知网络。我们可以创建一个积累的网络图，数据中联系更多的那些框架元素(节点)比联系少的互相就会更接近一些。也就是说，连接两个节点的线越长，表明在这个活动中他们同时出现的频率越少。图4就是一个游戏者在“数字动物园”的游戏中经过80个小时后的最终认知框架网络图。
图4 某一游戏者在“数字动物园”游戏中的最终认知框架网络图[15] 从图4可以看到，在整个图中心(居于图片右方)的密集核心区域包括技能、知识以及价值等认知元素，离技能、知识、价值所组成的中心较远的是身份和认识论。对于这个特殊的游戏者来说，在他的认知框架中身份和认识论作为技能和价值的附加相对于框架中心逐渐减少。最远的是相对比较孤立的框架元素，即游戏者对于自己作为一个工程师的身份认同。以上认知框架网络图清晰地说明了这个游戏者动用了一个工程师的各种特性在解决复杂的问题，但在这一过程中却很少明确地认为自己就是一个工程师。[16] 我们可以用同样的方式绘制一个游戏者在游戏过程中任意时间的认知框架网络图，也就是说，认知框架的发展轨迹可以用一段时间内的一系列网络图切片动态地呈现出来。这些切片显示了游戏者在不同时间点的认知框架。图5就是一个游戏者在“数字动物园”游戏中不同时间其认知框架的三个不同切片。
图5 游戏者在“数字动物园”的游戏中不同时间点的认知框架网络图[17] 从左到右，这一组切片代表了游戏者在一开始、中间和最后的认知框架。从中可以看到，游戏开始的时候，认知框架相对松散，连接了相对较少的专业认知框架的元素，元素的分布也相对均匀。而在游戏中间，认知框架连接了更多的元素，知识、价值和技能一起开始发展成为一个核心区域。游戏最后，价值和认识论成为游戏者的一个更中心的位置，并且所有的元素都合并到了游戏者的认知框架中。而且，最后的这个认知框架网络图也更稠密，核心区域包括了很多的元素，联系也更加紧密。这说明在我们所观察到的最后这个切片中有越来越多的认知元素在相互作用，恰好表明了一个初学者到一个专业人士的综合变化。 (四)认知框架的强度与关联
图6 游戏者在整个游戏过程中认知框架的加权密度的改变[18] 把图形中的密度核心作为认知框架的强度核心，可以通过计算认知框架网络在任何一点上的加权密度来量化不同认知网络联结的变化。这种方式提供了一种测量认知网络关联总强度的方法。如图6所示，游戏者随着游戏进程的深入，其认知网络中的各种元素越来紧密地联系在一起，游戏时间越长，认知框架网络加权密度越高。 我们可以用认知框架的加权密度测量认知框架在整个进程中的变化，然后把这些变化与游戏所需要的特殊元素结合起来。比如说，在“数字动物园”这一游戏中，我们计算出的游戏者认知框架的加权密度，就可以体现在游戏者在玩游戏之前和之后的一些关于工程学的谈话中。如图7所示，还可以比较游戏者在有指导者帮助和没有指导者帮助的情况下，其认知框架发展的不同。显然，在有指导者帮助的情况下，游戏者认知框架的密度加权发生了非常显著的变化。[20]
图7 指导者帮助与游戏者认知框架发展的关联[19] 框架中元素联结最紧密的就是整个认知框架的核心。因此，我们不仅可以测量游戏者认知框架总体密度的变化，还可以构建其认知框架的发展形状。尤其要说明的是，这不仅仅是想要能够测量出游戏者多大程度上在实践中用到认知框架的元素，而是要测量一个有经验的专业人士在多大程度上用到认知框架中这些元素的方法。也就是说，我们可以测量框架中联结在一起的哪些元素在多大程度上与社会实践中的认识与思考方法一致。 四、小结与启示 ENA认知网络分析系统可以用于测量任何形式的复杂STEM思维，并将认知游戏、网络分析、心理测量和数据可视化有机地结合起来。ENA不仅仅是一个技术上的进步，它对于STEM学习、STEM评估、STEM教育都有着非常广泛深远的影响，尤其是为分析STEM问题解决中的创造力和创新奠定了基础。这对我国如何发展科学教育具有重要的借鉴意义。 (一)ENA有效解决了“以证据为中心的评价”模式的实践难题 “以证据为中心的评价”模式有效整合了不同目的、不同层次的学生评价。其基于证据的推理清晰地聚集到学生的学习过程，并把可观察的数据与学生模式的理论结构联系起来。这对于充分地把握教育过程，科学地制定教育决策有着非常重要的作用。但是，“以证据为中心的评价”模式的实际操作与应用难度是非常大的，因此，从理论转化到实践本身也需要大量的创造性工作。[21] 首先，学生模式的范围确定有难度。确定基本的评价元素及框架，并将其与可观察到的具体证据相联系，从宏观到微观的转化往往非常复杂。ENA基于“认知框架假设”所确定的五个基本变量具有高度的概括性和很强的可操作性，既能反映复杂STEM思维的发展，又能很好地采集数据。其次，证据模式中证据的收集、量化标准的确定也是有难度的。ENA从学生学习过程中的笔记、摘录、反馈等在线学习方式，能够非常方便地收集可观察的数据并进行编码量化。最后，任务模式中情景的确定既要考虑到不同的任务情境，又要考虑到学生任务执行中的差别，可控性也是比较困难的。但是ENA在认知游戏的基础上，既能够充分发挥学生的探究能力和创造性，又能够清楚评价任务的具体情景并获得可靠的数据，对于不同的任务情境、多样性的评价任务都具有很好的可控性。总体来说，ENA有效克服了“以证据为中心的评价”模式中的多重困难，更好地发挥了“以证据为中心的评价”模式的优势。从这个意义上来说，ENA不仅仅是一个“以证据为中心的评价”模式的应用或例证，而且是延伸和优化了“以证据为中心的评价”模式，并进一步发展了该理论。 (二)关注过程与证据，让动态评价嵌入量化与质性之间 人的复杂性决定了思维的复杂性，既要对学生的学习情况、综合素质做出一个相对客观有效的评价，又要着眼于其具体的生成过程，进而建构科学合理的教育评价来选择优秀人才，这是一个复杂的系统工程。 量化测评由于其方法的客观性以及结果的可操作性，已经成为一种主流测评手段。教育评价测量要在拟测量的属性与测量结果的一致程度中确认其有效性是一个关键的前提性问题，但是如何选择和使用测量手段，如何实现对过程的测量一直是亟待解决的问题。我国现有的教育评价方式虽然几经变革，但还是过分注重结果，极少关注过程评价。评价标准往往过分追求客观、标准与普适性，忽略了具体的个人及其生成过程。在实践操作过程中，经常根据一个最终的成绩、分数，就下了一个简单粗暴的结论，甚至决定一个人的命运。当学习成绩评价出现量化时，人们对于许多复杂的高级思维活动、人的思想品德以及情感等也开始习惯于量化的方式。相对于我国现行的教育评价方式，ENA关注过程与证据的评价思路及其微观可具体的操作，对于我们如何关注过程，如何收集可观察的证据，如何让动态评价嵌入量化与质性评价之间都提供了很好的参照。 (三)加强数字学习，大力促进我国科学教育 随着信息技术的高速发展，数字学习这一崭新的学习模式也越来越成为现代人的重要学习方式。数字学习以网络环境为基础，将学习重心从以内容为主转化为以解决问题为主。这种以学习者为中心的模式有效地整合了课堂学习与课外学习、正式学习与非正式学习，并真正意义上通过技术的进步让学习成为一种生活方式。 基于认知网络分析系统ENA开发的数字学习系统，在促进美国科学教育、动态测评复杂STEM思维发展方面做出了很大贡献。在这样一个全球化时代、知识经济时代、信息爆炸时代，这种基于非正式学习的科学教育在实现终身学习方面必将展现其独特的优势。因而，大力加强数字学习，对于促进我国科学教育具有非常重要的意义。
标签：认知发展理论论文; stem教育论文; 系统思维论文; 群体行为论文; 量化分析论文; 系统评价论文; 认知过程论文; 设计思维论文; 系统学习论文; 科学教育论文;
