“一村一校”远程开放教育教学质量评价体系研究_评价指标体系论文

面向“一村一名大学生计划”的远程开放教育教学质量评价体系研究，本文主要内容关键词为：教学质量论文,一村论文,评价体系论文,计划论文,一名大学生论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。

       [中图分类号]G420 [文献标识码]A [文章编号]1009-458X(2016)01-0032-09

       一、研究背景

       2004年，教育部依托全国广播电视大学系统启动了“一村一名大学生计划”。作为首批试点单位，江西省遂川、大余、上饶、都昌县级电大和新余、赣州等市级电大先后以“局部试点”和“局部推广”方式进行了实验，在实践过程中探索了针对农民大学生的人才培养模式，积累了广泛而丰富的农民大学生教育教学经验，取得了较好的社会效益。

       鉴于以往成功的经验，2011年，江西省人民政府决定在全省范围内启动“江西省一村一名大学生工程”，从2012年开始，一直持续到2020年，每年以“政府出钱、电大出力、农民受益”的方式培养6,000名，实现每个行政村有2～3名农民大学生的培养目标。这项工程在教学和管理上与已实施的“一村一名大学生计划”并行运行(以下统称“一村一”)。“一村一”依托江西电大远程开放教育手段，将高等教育延伸到农村，旨在培养和造就一大批“扎根农村、服务农民、发展农业、带头致富”的乡土实用人才，使他们成为发展现代农业的骨干力量、推广运用农业技术的示范典型、实现科技致富的创业先锋和推动农村社会进步的生力军。

       众所周知，完善的质量保障制度是人才培养的关键与核心，教育教学评价体系是实现过程监控和绩效评估的必要手段，而评价指标体系的确定则是教育教学评价的难点和重点。虽然“一村一”教育教学有着丰富的经验和成果，但就评价体系研究和实践而言却一直是较为薄弱的部分，严重滞后于实践需求，目前还没有发现针对“一村一”进行教育教学质量评价体系的专门研究。在远程开放教育历史上，教育教学质量评价体系的研究并不是一个全新课题，但随着远程开放教育规模的发展和现代教育技术手段的更新，评价体系研究的与时俱进和创新发展显得愈来愈迫切。而对于具有特定人才目标规格和培养模式的“一村一”来说，更具有紧迫性和现实意义，因为探索一个具有较强针对性、客观性、科学性和适用性的评价指标体系，不仅是系统实施“一村一”教育教学活动的标准或参照，有利于拓展远程开放教育教学质量保证体系的研究内涵，更是展示电大服务社会能力的最佳表现手段与方式之一。

       二、研究设计

       (一)内涵

       教育评价体系由反映评价对象内涵的指标集及评价标准和量化符号构成，其主体框架是指标。[1]其中，指标是具体的、可测量的、行为化的和可操作化的，体现评价的全过程，对评价结果具有决定性作用；指标集具有系统性、整体性特征，能反映评价对象的全部特征。

       “质量是电大发展的生命线。”电大远程教育质量观认为，“电大对质量的认定，关注的是学生对工作岗位的适应性，政府和用人单位的满意度，以及社会对电大教育的认同度”。[2]从办学层面来看，教育教学质量应该综合反映包括指导思想、办学条件、教学要素和教学过程等在内的各个方面。

       因此，构建面向“一村一”的远程开放教育教学质量评价体系应该是基于电大远程教育质量观，通过构建完善的评价指标体系，对远程开放教育各环节和要素进行综合评价的过程。

       (二)定位

       本研究所要构建的面向“一村一”的教育教学质量评价体系具有自评和他评功能，评价主体可以是教学点本身，也可以是教学点的上级监管部门；评价客体是电大系统内开展“一村一”的所有教学点。其目的是更好地规范远程开放教育教学管理模式，健全远程开放教育教学质量保证体系，发挥系统监管和自我评价的功能，使电大系统服务“三农”更具稳定性和发展潜力。

       该体系构建过程严格遵循公平、公正、导向激励的考核原则；确保指标体系的科学性、完备性和可行性特点；尊重现代远程教育“质量文化”的开放性、适应性和多元性特征[3]；以提高教育教学质量为出发点和落脚点；从“重入口、重过程、重实效、重社会效益”的角度选取各要素指标作为考核项；在实施过程中灵活参照评价指标的考核内涵，坚持“整体性、结构性、创新性、操作性”的基本理念，对各教学点的具体实施情况进行自评和他评。

       (三)过程设计

       在充分的文献研究基础上，以快速原型技术(rapid prototyping technology，简称“RPD”)理念和量规(rubric)开发技术为指导[4]，充分考虑农民大学生培养模式特点和政府民生工程的特殊性等因素，建立评价指标体系雏形，然后利用Delphi(德尔斐)法，借助专家的力量对评价体系进行多轮次修正与完善，最后采用层次分析法确定各级指标权重。量规开发技术指导下的评价指标体系开发思路如表1所示。

      

       三、构建评价体系

       (一)建立评价指标体系雏形

       首先，通过文献综合研究，全面分析我国远程教育领域的教育教学评价体系研究成果，以部分具有针对性、普遍适用性和广泛影响力的研究成果为基础，遵照快速原型技术理念初步拟定评价指标元素；然后，深入了解“一村一”作为政府惠民工程的特殊性因素在培养对象、培养目标、培养模式、培养方式等方面产生的特殊诉求与形式，并在此基础上对初拟评价指标元素及其内涵进行有针对性的增删与修改。

       1.初拟评价指标元素

       文献研究结果显示，有学者以拥有远程教育体验的学生作为研究对象，以问卷调查法为研究方法，通过因素分析法和结构方程模型等技术手段最终构建了包括“质量策略、学习支持、教学组织、基础设施、教学管理、社会声誉、教学支持、教学效果”8个要素作为一级评价指标的远程教育质量评价体系。[5]中央广播电视大学在多年的探索与实践基础上，以5项核心要素为主线构建了远程开放教育教学质量标准体系，该体系包含5项一级指标、35项二级指标和对应的35项三级指标。[6]还有学者以全面性、客观性和重视学习原则为前提，着重考虑网络远程教育教学管理在人才培养模式改革和开放教育试点项目中所发挥的重要作用，针对性地设计了包括5项一级指标、26项二级指标和相应内容观测点的评价指标体系，并通过秩和运算法对该指标体系进行权重分析。[7]上海电大以中央电大“创建示范性基层电大(教学点)”活动为契机，启动了上海电大系统“达标评优”活动，并为此制定了开放远程教育质量评价指标体系框架，该指标体系包括了5项一级指标、11项二级指标和21项观测点。[8]

       分析上述评价体系发现，远程开放教育教学质量评价体系的构建在形式上力求指标的具体化和可操作性，内容主要涵括定位评价、条件评价、过程评价、效果评价和创新评价5个层面。因此，将目标定位、基本建设、教学运行、办学效果、特色创新作为一级指标，由此确立评价指标体系基本框架。然后，对上述指标要素进行整合和筛选，分解出对应的二级指标和三级指标(即观测点)，从而建立一个按层级划分、树状结构的指标群，结合各教学点在远程开放教育教学中的职能定位概括出三级指标内涵。最后，以“重入口、重过程、重实效、重社会效益”为原则，从整体角度修改该指标群，对各元素补其所缺，增其所益，以保证评价体系的“整体性、结构性、创新性和操作性”，并尽量保证评价指标尽可能地符合全面、不重叠和易于取得的要求。由此拟定“远程开放教育教学质量综合评价指标”(见表2)，其中包括一级指标5项、二级指标13项、主要观测点33项。

      

       2.“一村一”项目特殊性分析

       “一村一”属于政府重大惠农工程，旨在培养“留得住、用得上”的本土农民大学生，以改变农村人才素质结构。正是基于这样的项目背景，其教育教学必然存在特殊的诉求和形式。因此，以江西电大在开展“一村一”教育教学过程中的经验为参考，充分契合“一村一”教育教学在培养对象、培养目标、办学模式、培养方式等方面的现实需求，并在此基础上对表2中的各指标元素及其内涵进行更具针对性的增删与修改。

       (1)培养对象的特殊性：要求“因地制宜”地制定评价指标

       采用问卷调查法对江西省农村成人学习特点进行局部调查的数据显示，农村成人学习有三个主要特点：一是教学对象学习基础普遍较差，农村学习氛围弱，缺乏教育资源，较少接触现代信息技术；二是基础知识不扎实，学习动机源自当前可见的操作性或技术性的知识或技能，片面看中学习内容的高度实用性；三是学习时间存在明显的“时令性”，要求与农业生产时间密切结合。[9]这些学习特点要求“一村一”教学方式和教学模式在遵循远程教育管理实践原理和经验基础上更加强调“因地制宜”或者“量体裁衣”。比如，教学计划与农时、当地产业和农村工作重点相结合，而不是机械地执行“统一教学计划”；教学模式做到自学、导学、助学、促学、督学相互作用、相辅相成等。因此，构建面向“一村一”的评价指标体系的总体思路应该是“因地制宜”的，通过增加教学“适应性”评价指标来鼓励、支持培养模式和方式的改革与创新。

       (2)培养目标的特殊性：转移评价指标目标导向

       “一村一”是以电大学历教育方式开展人才培养工程的，培养的学员颁发成人高等教育专科毕业证书，培养目标定位为扎根农村、服务农民、发展农业、带头致富的乡土实用人才。该培养目标旨在培养我国社会主义新农村建设进程中的农村本土人才，培养的人才应该与当地经济发展特色、本土文化导向等保持协调一致，因此该评价体系不能完全照搬电大开放教育学历教育人才培养的教育教学评价标准。根据多年开展“一村一”的实践经验和社会反馈来看，教育教学的最终结果“给江西农业、农村和农民带来明显的变化，改善农民的基本素质、知识结构，并在本质上提高他们的生活质量、生存本领及收入水平等才是农民、农村甚至农业的最迫切需要”[10]。因此，在指标体系的设计上，评价导向应向学员自身知识结构、就业与创业、媒体报道、口碑调查等社会反馈上转移。

       (3)办学模式的特殊性：增加政策性支持评价指标

       电大教学点是电大办学系统中的基础和终端，是电大办学面向农村、面向基层、面向生产第一线的落脚点。对江西电大系统县级电大远程教育成本效益进行研究发现：江西电大系统内，99％的县级教学点不具备独立法人资格，没有相应的人员编制和专门的办学场所，大部分都只是作为县教师进修学校、县委党校、县工会或县职校等机构的附设部门而存在，很难得到专门的教育事业拨款，缺乏稳定的经费来源和基本的制度保障，办学的政策条件和物质基础亟待完善与提高。[11]而个别地方经济实力较为乐观的教学点又存在一味追求高、新、现代的现象，教育信息化基础设施建设存在脱离实际需要的倾向，缺乏针对性的合理经费投入与分配。由于“一村一”是由江西省委、省政府发起的一项民生工程，属于各级地方政府的工作内容之一，其教育教学活动的开展更容易得到地方政府和相关部门的重视与支持，比如宣传、经费投入等方面。另外，地方领导小组成员、地方政府官员以“教师”或“专家”身份对“一村一”学员进行授课，教授行政基础知识、法律常识、县域经济文化等内容，这种教学支持也将极大地提高“一村一”教育教学的效果。因此，与地方政府建立密切联系、取得政策支持也应该作为评价指标之一。

       (4)培养方式的特殊性：实践教学基地建设作为重点评价指标

       实践教学是“中央广播电视大学人才培养模式改革和开放教育试点”项目实现人才培养目标的重要手段之一，而实践教学基地建设则为保障实践教学效果提供了现实条件，“一村一”人才培养目标规格对实践教学基地建设则提出更高的要求。实践教学基地建设不仅是保证实践教学环节有效落实的前提和基础，更是培养“知识+素质+技能”型农村实用人才、提高农民大学生“即学即用”的技术应用能力的最佳手段。这些实践基地形式可以是农、林业生产基地，畜禽养殖基地，村委会、镇政府、新农村建设示范村，乡镇企业等多种类型，可以满足学员“不离原地，不误农时”的学习要求。因此，实践基地的选择、合作、互动等也应当属于教学运行重要且必需的内容之一。

       由此，我们对表2做了进一步的补充、删除和修改，包括增加了3项二级指标和对应的8项观测点。具体如下：

       第一，在“Ⅰ-3教学运行”后增加旨在考察实践基地建设的二级指标“基地建设”，对应“规范建设”“基地师资”“档案管理”3项观测点；在“Ⅰ-4办学效果”后增加旨在考察社会关注程度的二级指标“社会关注”，对应“媒体报道”“学生典型”2项观测点；增加旨在考察社会反馈的二级指标“社会调查”，对应“学生满意度”“政府满意度”2项观测点：

       第二，在“Ⅰ-5特色创新”后增加旨在考察办学独特性和创新性的二级指标“办学特色”，对应“专家讲学”“县本课程建设”“送教下乡”3项观测点；

       第三，对“Ⅱ-2办学定位”观测点进行具体化，将原来的“Ⅲ-3办学思路”改为“组织保障”“领导重视”，通过考察领导小组成员及重视情况来观测教学点对“一村一”教学的定位与重视程度；

       第四，“一村一”是电大办学主体业务之一，招生宣传工作由江西省农村工作部系统协助完成，因此删除“Ⅲ-2主体业务”“Ⅲ-12咨询服务”“Ⅲ-14奖惩制度”3项指标；

       第五，电大系统经过30余年的发展日臻完善，用于支撑“一村一”教育教学的软硬件条件也相对成熟，因此弱化“Ⅰ-2基本建设”的考察指标，删除“Ⅲ-8人员管理”“Ⅲ-11经费管理”2项指标。

       另外，根据“一村一”具体教学实施情况对各个观测点也作了相应修改，最终得到面向“一村一”的远程开放教育教学评价指标体系(见表3)，其中包含一级指标5项、二级指标17项、三级指标39项。

      

       (二)修正评价指标体系

       Delphi法是一种借助专家集体智慧，通过多轮次的“背靠背”咨询，在不断的反馈与再咨询中获得专家一致意见的研究方法，具有匿名性、反馈性和可操作性三大特点，既可以用于预测结果，也可以用于评估绩效。众多实践经验表明，“Delphi法在解决非结构化问题上具有显著效果，对于实现决策科学化、民主化具有重要价值”[12]。

       本研究采用Delphi法对表3进行修正，希望借助“专家”力量，在多次循环调查中对指标框架及指标内涵作进一步的筛选和修正。

       1.设计咨询问卷

       在专家咨询过程中共设计了两份问卷：第一份以咨询内容合理与否为目的，以专家“背靠背”的形式进行多次循环咨询与修改，直到专家意见趋于一致为止；第二份问卷以采集专家对各指标重要性程度的评价为目的，分别要求专家对一级指标中的各要素进行“两两对比”式的重要性评判，对二级和三级指标按照5个等级进行量化打分。

       2.邀请咨询专家

       采用经验选择的方式，邀请在江西广播电视大学系统内从事远程开放教育教学、考务、学籍管理、招生等相关业务的教师作为专家咨询组成员。确定备选专家必须满足的条件有：具有副高级及以上技术职称，无职称者需在本领域具备工作10年以上的工作经验；参与“一村一”的教学或管理。符合以上条件的人员拥有丰富的远程开放教育教学实践经验，思维力和判断力较之一般远程从业者强，能够在不同层面对评价指标做出全方位的立体反馈。最终成功邀请了在招生、教学、考务和学籍管理等方面具有丰富经验的专家共14名。

       3.进行专家咨询

       在发放第一份问卷时，要求各专家以“目标定位是前提，基本建设是基础，教学运行是重点，办学效果是核心，特色创新是亮点”为原则，凭借自身多年的远程教育从教经验，对指标元素及其内涵进行真实客观的评价并提出修改意见。第一次回收问卷后，对专家的反馈意见进行汇总、分析，并修改指标体系，然后将修改后的指标体系及争议较大的指标(包括争议的主要观点)再次反馈给专家，开始第二轮征询。在第三轮咨询结束时，专家的修改意见已经基本趋于一致。

       4.修正评价指标

       根据多轮反馈与修正，专家们的修改意见主要集中在三级指标的设定和指标内涵的描述上。具体包括：“Ⅲ-3领导重视”与“Ⅲ-32政府满意度”均为考察当地政府部门对当地“一村一”的重视情况，存在重复考核，删除前者，保留后者；“Ⅲ-16作业批改”、“Ⅲ-17成绩上报”、“Ⅲ-18作业上交”三个观测点均为考察学生的形成性作业完成情况，根据负责教学管理的专家反馈和修改意见，这三个观测点在实际考察中很难分别进行考察，教师通常会在专门的“形成性考核记录本”上记录学生的作业完成情况，这也成为可供考核的主要依据。因此，将这三个观测点合并成一个观测点，重新命名为“作业情况”；“Ⅲ-21小组活动”与“Ⅲ-22协作学习”两个观测点也存在重复考核的情况，合并为“小组协作”。

       在内涵的描述上，专家意见倾向于可操作的、提供量化标准的参考指标(比如提供五级判断的量化参照标准)，便于考核人员迅速做出准确判断。另外，专家认为“Ⅱ-16参与”与“Ⅱ-17总结”考察内容存在交叉，建议合并改为“总结探索”。修正后的评价指标如表4所示。

      

       (三)确定各级评价指标权重

       层次分析法(analytic hierarchy process，简称“AHP”)是在20世纪70年代初由美国匹兹堡大学教授、运筹学家萨蒂(T.L.Saaty)首次提出来的，是一种“利用矩阵特征值和特征向量运算，帮助人们进行群组判断，以确定某些定性变量的赋值”的方法[13]。具体操作步骤为：第一步，根据指标体系建立层次结构模型；第二步，利用成对比较法和1-9相对比较尺度构造判断矩阵；第三步，计算判断矩阵的最大特征值所对应的特征向量，通过正规化求和计算权重值；第四步，利用随机一致性指标和一致性比率作一致性检验。

       本研究在确定一级指标权重时，严格按照层次分析法的计算方法得出5项一级指标权重。在确定二级和三级指标权重时，考虑到元素的增多对构造判断矩阵和专家判断带来的“级数式”的增长难度，操作性不强。因此，只要求专家进行直观判定，即按照重要程度分别给予1-5分的权值分，通过计算每个指标的满分频率来分析专家的意见集中程度，通过比例分配法计算二级和三级指标权重，通过计算指标的变异系数和协调系数来分析专家意见的协调程度。[14]

       1.确定一级指标权重

       在专家对指标体系意见趋于一致时，向专家发放第二份问卷，根据层次分析法原理，要求专家依据Satty相对重要性等级表(见表5)用1-9的标度对5项一级指标分别进行两两对比，并做出相对重要性判断，再通过计算并分析定量化判断的数据结果来确定一级指标权重。

      

       回收专家定量问卷征询表后，将每一位专家的判断结果均转化为判断矩阵(见表6)。然后以正规化求和法计算权重系数。

      

       下面以专家Z的判断数据为例说明其对应的一级指标权重的计算方法和过程。

      

       (5)根据一致性指标计算公式

对专家两两评分之间的一致性进行检验。其中，平均随机一致性指标RI如表7所示。

      

       从表7可以查出同阶矩阵平均随机一致性指标RI=1.12(n=5)，最后通过一致性比率

求出CR=0.0760。

       在专家问卷咨询过程中，共有14名专家参与并给出了相应的有效数据。由此，每位专家均可以得到一组权重赋值及相对应的一致性检验。这里，筛除CR大于0.1的3组权重，其余专家对同一指标权重的算数平均数作为代表专家群体意见的一级指标权重，如表8所示。

      

       2.确定二级和三级指标权重

      

       根据统计结果，最后以算数均值大于3.5，满分频率大于0.1000和变异系数小于0.2500作为筛选标准，筛除“Ⅱ-6招生管理”指标，得到15个符合条件的二级指标(见表9)。借助SPSS17.0对二级指标进行检验，结果显示专家意见协调性好(见表10)。

       接着采取比例分配法计算二级指标权重，即将每个一级指标所包含的二级指标的算数平均值进行求和，然后计算每个指标在其中的比值，该比值则作为该项指标对应的权重系数。(见表9)

      

       a.Kendall协同系数

       同理，以算数均值大于3.5，满分频率大于0.1000和变异系数小于0.2500作为筛选标准，最终删除“Ⅲ-4教学硬件”“Ⅲ-21招生完成率”两个指标，共有31项三级指标符合条件(见表11)。借助SPSS17.0对三级指标进行检验，专家对三级指标的评分变异系数为0.119，经卡方检验，

=41.888，p＜0.05，表明专家意见协调性好。

      

       四、研究结论

       综上所述，本研究最终构建的面向“一村一名大学生计划/工程”的远程开放教育教学质量评价体系共包含5项一级指标、15项二级指标和31项三级指标(观测点)，各级指标对应的权重赋值如表12所示。(观测点内涵略)

      

      

       在开发与构建面向“一村一”的远程开放教育教学质量评价体系过程中，我们发现：Delphi法与层次分析法的本质虽然都是基于专家凭借个人的知识与经验做出的主观判断，但是借助对专家的群体意见进行科学分析和处理，两种方法的结合使用可以保证分析结果的客观性、科学性和适用性，在解决定量与定性杂糅的复杂问题时具有独特优势。本文遵循这一原理，严格遵照Delphi法和层次分析法的实施步骤，以严谨的科研态度和严密的数据处理与分析最终构建出面向“一村一”的远程开放教育教学质量评价体系，该体系在“一村一”的教育教学活动实践中提供了过程反馈和结果评价的技术手段，其结果反馈也为规范远程开放教育教学管理模式、展示电大服务社会的能力和成效提供了可靠的参考依据。

       当然，远程开放教育教学质量评价体系研究是一个理论建构和实践应用不断循环的过程，在保证构建目标—方法技术—构建结果内在一致性的前提下，本研究所构建的面向“一村一”的远程开放教育教学质量评价体系还需要接受更多的实践反馈与验证。

       收稿日期：2015-08-19

       定稿日期：2015-09-15

标签：评价指标体系论文;  电大开放教育论文;  教学评价论文;  评价体系论文;  对应分析论文;  远程教育论文;  电大论文;