教改实验成果评价体系研究，本文主要内容关键词为：教改论文,评价体系论文,成果论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
提要 文章通过对教改实验成果评价诸方面问题的研究，介绍了四川省教科所在教改实验成果评价管理上的做法，阐述了他们在实践与思考中较成熟的一些认识。
自1989年以来，我们四川省教科所在组织全省中小学开展教改实验活动过程中，采取了强化教改实验成果评价的管理措施。先后以对二百余项成果进行了鉴定评价与评奖评价。在评价实践的基础上，经过反复摸索，已初步形成了一套评价制度体系，有效地促进了全省教改实验活动的不断深入发展。本文仅就其实践与思考中较为成熟的部分作一简要汇报，以期求得交流与批评。
一、成果评价的意义及教育科研成果评价研究的现状
现代科学活动的管理实践表明，成果评价有着极为重要的作用。评价具有导向、评定、激励等多种功能。对成果内容要素及其特点的评价认识是成果交流、推广的重要基础；对成果水平及价值的评价有确认研究人员创造性劳动的前提，具有积极的激励作用；而一定的评价标准对科研活动的发展方向则具有规范及引导作用。缺乏成果评价，科研活动便缺乏自身的反馈调控信息及与外部环境的信息交换，难以实现其自身的进步与发展。
令人遗憾的是，迄今为止，我们对教育研究成果评价的研究却仍然近乎一片空白。在我国公开的教育研究文献里，能见到的仅有少数几篇论文及国外文献译文。这些文献资料的讨论范围基本上仅限于教育科研究成果评价的标准问题及与此相关的教育科研活动分类问题。
关于评价标准，在译自前苏联70年代末的研究文献里，布隆斯基等人认为应以新颖性、可靠性、现实性、适用性、重要性等项要求来衡量教育研究成果①。作一比较研究，我们看到这些要求与科技界的成果评价标准间有很大的近似。我国科技界提出的成果评价标准主要有创新性、先进性、应用性、重要性、效益等等。这种近似表明了社会科学与自然科学在基本精神上的一致性。
1994年，国务院发布了《教学成果奖励条例》。该条例对“教学成果”提出了“反映教育教学规律，具有独创性、新颖性、实用性，对提高教学水平和教育质量、实现培养目标产生明显效果”等方面的要求。该条例所指的“教学成果”是教育教学研究的产物，且是经过一定年限的实践检验的。我们认为，俗称的“教改实验成果”与“教学成果”同质。因而，该条例对教学成果提出的上述要求也适用于教改实验成果。
不同类型的研究成果应有不同的评价尺度，成果评价也就涉及研究活动的分类问题。从成果评价应重视其价值作用的角度看，华东师大叶澜教授认为：“以研究成果的服务方向为标准分类较为合适，这样，最基本的分类就是基础理论研究和应用研究”②。这一分类思想与科技界的分类思想基本一致。科技界以有无应用目的为分类依据来划分研究活动类型。不过，科技界采用联合国教科文组织倡导的“基本分类法”，是将研究活动划分为基础研究、应用研究、发展研究（或称开发性研究）三类。其中，发展研究是指那种有明确而具体的应用目的的研究活动，表现为在生产或生活中取得新的或改进的产品、工艺、工程设计、方案等。教育研究活动也存在发展研究这一类型。布隆斯基等人主张将教育科学研究划分为基础研究、应用研究和细则研究，从斯卡特金转述格姆勒曼关于细则研究的含义的有关文字看③，细则研究属于发展研究。
我们认为，所谓教改实验活动，是以教育工作者为研究队伍的主体，以解决现实教育问题为目的，在中小学教育活动中进行的教育科学研究活动。它在类型上类似于科技界的“发展研究”。其成果表现为在验证摸索中逐渐形成的“改革方案”。从教改实验活动的现状看，我国中小学教师当前进行的教改实验研究，基本上属于发展研究。
与教育研究成果评价研究的薄弱状况相对应，我国教育科研成果评价的实践活动也处于较低的发展水平。教育研究成果评价活动有三种类型，即鉴定性评价、评奖性评价与自由评论式评价。评论式评价如美国《教育研究评论》刊载的关于教育研究文献的评论性文章。在我国较为觉见的是评奖性评价，其次是鉴定性评价。每年，各级各类团体、机构、甚至是学术会议的委会颁发的各种成果奖、论文奖恐怕难以计数，也确实起到了一定的激励作用，然而，由于缺乏对成果的鉴定性认识，评奖活动所发挥的评价功能十分有限。近年来，教育研究界也在尝试进行鉴定性评价，却又由于缺乏必要的评价研究作理论支撑，其极待改进是显而易见的。除了存在评价标准方面的问题外，还存在评价方式等方面的许多问题。如参予鉴定评价者虽然是专家，却末必是真正的“同行”。又如，鉴定评语往往过于笼统，对成果的内容缺乏具体的界定，说是“该项研究属国内领先水平”，却让人弄不清到底是成果的哪些内容处于“领先水平”。
二、构建教改实验成果评价体系的几个基本问题
当我们的研究目的是建立现实的教改实验成果评价体系时，应该思考的主要问题有：建立该评价系统的目的是什么？应建立什么样的评价指标体系？怎样可靠地搜集有关的评价信息资料，并可靠地组织评价的实施？怎样建立对教改实验成果评价的需求机制？
建立教改实验成果评价体系的目的是利用平价的导向、评定、激励等诸种功能促进教改实验研究质量的提高，促进其更好地为教育事业的改革与发展服务，促进教育科学事业的繁荣与发展。这里，“提高”与“促进”是指在现实的教育科学活动水平上的一定程度的“改善”。这种“改善”是整个评价系统的功能目标。只要所构建的评价系统能实现这种“改善”，那么，不管它是否令我们的理性完全满意，它都是值得考虑采纳的评价系统。
在评价研究的方法技术上，评价标准常常被具体化为由若干层级的指标构成的指标体系。指标体系应反映对教改实验成果的基本要求及区别性标志，整个指标体系的确定因而受多种因素制约。成果的基本特征是提出评价的基本要求的重要依据；评价的具体目的决定指标体系的侧重点；教改实验成果的现实发展水平也制约着指标体系，以理想中的标准去要求现有成果，缺乏实际意义；甚至有关评价证据在搜集上的可能性也影响指标体系；只有将便于搜集证据的具体要求作为成果的区别性标志，评价工作的实际展开才成为可能。
评价方法及组织形式的问题实质是如何搜集有效的、可靠的评价证据及作出可靠的评价结论。问题的解决存在着测量学等方面的困难。但是，不管有何种困难，既然世界是可知的，教改实验成果也就应该是可评价的。无论是认识自然还是认识社会，在感性认识和理性认识这两个认识环节上都会出现一定的偏差。不管何种研究方法都不能保证对客观事物的个别事实作绝对无误的观察，也不能保证从已知事实中归纳出逻辑真的结论。“科学之所以成为科学，就在于它找到了一套行之有效的方法，可以一步步排除认识过程中两个环节带来的偏差”④这种“偏差排除论”在解决教改实验成果评价的方法与组织形式的可靠性问题上有积极的指导意义。
建立对教改实验成果评价的需求机制，其意义在于沟通教改实验成果评价活动与整个教育科研活动、教育活动及社会环境间的联系，使其成为充满活力的不断完善发展的开放性系统。这种需求机制的建立，离不开行政权威机构的介入。四川省教改实验管理部门要求申请教改实验成果奖的成果一般都应经过鉴定评价。管理部门的这一权威性要求有效地形成了对教改实验成果评价的社会需求。
三、教改实验成果的特点及其评价标准
什么是成果？根据国家科委对科技成果所下的定义⑤，成果的一般特点可以归纳为：它是经过考察、分析、研究、研制或生产实践取得的创造性劳动结果；具有理论意义或实用价值；广泛包括一切运用科技手段取得的认识自然、改造自然的成就。就分类看，基础研究的成果主要表现为反映事物规律的论文，对科学有广泛而深远的影响。应用研究成果表现为技术改进的方法、方案、实验室样品等，有创新与提高生产技术能力的作用。发展研究成果产生于生产实践中的研究活动，其成果表现为可直接用于生产和生活实际中的新的或改进的产品、工艺、流程、工程设计、科技信息服务等。
作为一种发展研究成果，教改实验研究所产生的“改革方案”是在导入先进教育理论，落实国家教育方针、政策制度及筛选优秀教育经验的基础上，创造性地解决教育问题的产物。其价值在于为同类的教育问题的解决提供具体的办法或路子。在回答问题的方式上，教改方案主要表现为以“怎么做”的形式回答教育问题，而基础理论研究是以“是什么”的方式回答问题。作为教改实验成果的改革方案一般由三部分组成：一是关于改革的具体措施，包括改革的具体目标、内容、材料、步骤、方法、法则等；二是关于改革方案的理论原理、政策依据等；三是在方案实施过程中所形成的教师个体经验、体会。三个部分相互组合为有应用价值和较强的可操作性的改革方案系统，即成果。
针对教改实验成果的上述特点，近几年来，我们一直坚持用新颖性、先进性、效益等标准来尝试评估教改实验成果，并逐渐获得了对这些标准的若干理解。
新颖性，或称为创新性。这一标准所反映的是科学研究活动的创造性属性。根据教改实验成果的意义，新颖性应规定为：其改革方案是首次提出的，是首次成功地运用于教育实践的。按贯例，所谓“首次”是与公开的资料或情况相比较而言。改革方案中的关键性思路、观点，主要的方法、措施、经验等要素及这些要素成份间的组合结构是比较、别新颖性的基本观察点。当有某些情况出现时，教改问题的研究解决常常伴有创造性成份。这样的情况如：选题有新意或选择了新的视角；解决问题的条件、环境发生了变化，象师资水平、生源情况、办学条件发生了具有重要差别的变化等；改革的实施范围显著扩大，原有的成功案列是小范围内实施改革的结果，而现在是大范围的试验；等等。因而，研究过程中出现的这些情况可以作为间接评估成果新颖性的观察点。在实际的评估鉴定工作中，有时，明确地指出改革方案的创新成份存在一定困难，间接评估便具有实际意义，与环境条件发生改变时课题研究伴有创造性成份这一看法有关。新颖性的水平可以划分为绝对创新与相对创新两种，前者指在国内外的资料中均未见到过的，后者指在省内或某一特定区域内未见到过的。承认区域性创新，能够更为广泛地鼓励有关人员，特别是教育发展水平较低的地区的同志独立地解决自己面临的教育问题。
先进性。是衡量教改方案成果所达到的教育科学水平及教育发展水平的指标。“先进”一词在这里的含义为“进步的”、“居于前列的”。改革的思路是否体现了先进的教育理论、是否符合国家教育发展政策，改革的措施是否反映了优秀的教育经验，是考察其先进性的重要依据。教育活动的基些指标，如师生的负担量是否合理，也应列入先进性的考评范围。先进性的水平可划为国际领先、国内先进、省内领先省内先进等若干层级。“领先”含有“未见到过的”意思，因而先进性与新颖性这两条指标有一定程度的交叉。
实用性。是评价教改方案成果在实际应用上的现实可能性的指标。实用性的评价，既可以根据改革方案已有的推广情况来判断它进一步推广的可能性，又可以根据改革方案本身的情况来推断它的应用潜力。应用问题可以表述为：改革方案能否融入到现实的教育活动中，从而实际地发挥其解决教育问题的作用？这里，能否融入现实的教育活动中便成为推测应用潜力的关键。如果说现实的教育活动是在一定的教育条件下，一定的教育体制中，由一定的教育工作者从事的活动，那么，教改方案融入教育活动中的问题也就分解为下列的问题：改革方案能适应于现有的教育条件吗？与现行教育体制下教育活动的各有关部分是相互协调的吗？能被、易被特定教育工作者群体所接受吗？这样，上述的问题便成为讨论应用潜力的几个思考角度。以改革方案自身的情况来考虑这些问题。能作出若干关于其应用潜力的判断。例如，当改革方案的阐述清楚明白、或具有可操作性时，它就是易于被教育工作者所接受的。又如，一项改革方案成果虽然很好地解决了一年级的识字问题，但当它无法和二年级语文教学配套时，它就在一定程度上缺乏“协调性”，其应用潜力因而受影响。
教育效益，指在教改研究中由改革方案带来的教育效果。是考察改革方案成果及该教改研究活动对教育发展所产生的贡献的指标。不能将日常教育工作所产生的一切效果都归之为改革的教育效益，也不能仅将学生方面的相关变化视为改革的教育效益，而应该从三方面去认识。首先，改革方案可能带来学生受教育的质量发生变化，如有关心理品质、行为、学业成绩的形成与提高等。其次，在实施改革方案的过程中，教育工作者也在实现着自身的改变，教育思想、教育工作行为的质量发生变化、提高。再次，涉及教育体制的改革研究能带来体制方面的变化，如整体改革研究类教改实验能带来学校管理体制的进步与改变。
上述新颖性等四项指标，均系关键性指标。要更为全面的评价教改实验成果，还应该综合考查若干辅助性指标。所有这些关键性指标及辅助性指标又可分别归为“质量水平”、“促进教育进步的作用”、“教育效益”等三类，如表。
教改实验成果评价指标
四、克服鉴定评价偏差的几项基本措施
成果评价的偏差来源于三个方面：作为评价对象的成果资料信息模糊；评价者的主观随意性；评价标准难于掌握。前两条原因属于评价的方法与组织问题。利用前文所说的“偏差排除论”为指导思想，对于尚处于起步阶段的教育科研成果评价工作，我们首先在一些关键环节上采取一定措施，力求控制大的偏差，使评价结论的可靠性得到基本保证。主要措施如下。
1.严格把好成果初审关
成果初审原则上应由鉴定组织单位负责，进行三方面的审查。一审成果资料是否成熟。成熟的成果资料应该是：其研究工作报告反映了课题组理论与实践相结合的研究过程；其效果自测报告说明了由改革方案带来的效益；其研究报告及所附论文资料展示了改革的思路、措施、目标及其理论依据。对审查不合格者，作出不同意鉴定的决定，或要求其作进一步的研究。二审其成果资料适合采用何种方式进行鉴定。根据成果的情况，分别采用专家现场会鉴定、通迅鉴定、一般性验收等方式。三审成果资料涉及哪些领域，据此选聘真正“同行”的专家主持或参予鉴定工作。
2.省及各有关部门联合测查教育效益
课题组的效果自测报告，在鉴定中只有参考的价值。为了提高效果认定权威性和客观性，我们采取了由省、市（地、州）县（区）、校联合检测，并写出联合检测报告的办法。有两条策略可以提高测量的可靠性。一条策略是只对经过了两年或两年以上的实践研究的项目进行检测。教育效果的显现较为缓慢，即所谓教育具有迟效性。在教育效果尚未充分显现的状态下进行测查，导致测量困难。而长周期，特别是坚持了五、六年甚至更长时间的教改实验研究会使效果积累得易于观测，更能做到客观认定。第二条策略是只对在一个班以上的范围内进行改革研究的项目进行检测。困为范围越广，检测的可靠性也趋于增大。小范围的改革效果可能是由特定环境下的条件因素带来的。随改革改方案实施时间和范围的不断延长与扩大，由可认为有关效果是不同条件的多种环境下出现的同一结果。根据缪勒求因果五法中的求同法，可以认为改革方案是所测效果的原因。
在测查效果的同时，我们还坚持对改革研究过程的真实性及教改措施是否真正投入到教育活动中进行调查与资料核实，其目的是提高认证改革方案与效果间的关系的可靠性。
3.对教改方案成果的新颖性进行查新研究
在科技界，“查新”是课题规划和成果管理中的重要措施。教育研究界尚未建立查新制度，查新工作尚缺乏必备的条件。无论面临什么样的困难，对成果的新颖性要求是不能放弃的。而比起仅靠参予鉴定工作的专家作新颖性判断来说，在尽可能全面的检索资料的基础上作出的新颖判断无疑更要可靠些。基于这样的看法，自1992年起，四川省在鉴定一些产生了重大影响的教改实验成果时，新增加了“查新研究”这一措施。目前的做法是：查新研究只能由权威性地教育科研部门承担；手工检索资料，必须检索的“最低限度资料”有各种成果公报及成果资料集，相关的学术会议纪要及论文集、各种权威性的资料汇编如人大报刊复印资料及年鉴、相关的学术刊物等。在资料检索的基础上写出查新研究报告，供鉴定专家组作新颖性判断时参考。
4.选择“同行专家”负责鉴定评审工作
在许多成果鉴定场合，存在着虽然确实是专家，却缺乏相应评价力的情况。其主要原因是所聘专家非真正“同行”。选择同行专家，有两条必须坚持：第一，专家曾经或正在从事的研究工作至少应与待评成果涉及的主要领域中的某一侧面是相同的。第二，根据教改实验成果的特点，整个专家组应考虑由教育理论工作者、教育实际工作者、教育科研管理工作者等几个方面的专家、行家构成。
以上措施，前三条的目的在于克服待评成果资料的模糊性，为鉴定组的专家提供便于进行鉴定工作的成果资料，后一条的目在于减少鉴定者的随意性。
五、几点体会
成果评价是从研究活动的输出端反馈关于研究活动的调整信息。实践表明，强化成果评价措施确实的利于提高中小学教改研究的科学化水平。近年来。四川省涌现出一批深受教育工作者欢迎的教改实验成果，其中有149项获省教改实验成果成果奖、有近30项获省、市、县级科技进步奖，得到教委及科委系统的认定，这与所采取的评价措施分不开。
现代科学的系统思想方式是解决成果评价问题的重要方法论武器，要提高评价的质量，需要解决的问题很多，但决不能拘泥于对局部问题的分析研究，应当重视从研究水平、作用、效益多方面综合把握成果，从评价标准、评价方式、评价目的等多角度系统的解决成果评价的有效性、可靠性问题。按照系统思维，一个目的实现，例如航天飞船可靠性问题的解决，设计各元件间相互配合的功能结构是一条有效的思路，而不是拘泥于元件质量的不断提高。
教改实验成果评价中的有些问题与教改实验活动乃至整个教育科学研究活动的发展状态有关。例如，查新研究的困难之一就是由于尚未建立教育科研成果登记制度，缺乏可资比较的权威性资料。
教改实验活动的发展水平与其成果评价的标准及方式间有着发展上的动态平衡关系。符合科学规范的基本要求并具有现实可能性的评价标准及评价方式能引导教改实验活动达到新的科学水平，而新的教改实验活动水平又为新的评价标准及方式的建立提供了新的现实可能性。如此循环递进，推动教育改革研究的质量不断提高。
成果评价活动引发一系列理论问题：教育科研成果是什么？各类教育科学活动有何特点？说到底，教育科学究竟是什么？等等。这些问题的思考，属于科学哲学、科学学等学科领域。换名话说，成果评价研究将刺激教育科学界对教育科学研究进行研究，即开展“研究的研究”。
教育科研成果评价活动处于低水平的原因，既在于缺乏必要的基础认识作理论支撑，又在于其评价实践的贫乏。只有在具体的试评价的实践中才能逐渐发展出关于教育科研成果评价的有效认识。如果仅限于空泛地思辩所应遵循的评价原则，无休止地议论评价方案设想是产生不出真正的评价方案体系的。
注释：
①③斯卡特金著，叶澜译：《关于教育科学研究成果的质量和效果的评定标准》，载瞿葆奎主编《教育学文集 教育研究方法（卷）》，人民教育出版社，1988年
②叶澜：《教育研究及其方法》，中国科学技术出版社，1990年，第296页。
④金观涛、刘青峰：《探讨自然科学和社会科学的统一方法》，《哲学研究》1985年,第2期。
⑤国家科委：《中国科学技术指南—科学技术白皮书第1号》，中国科学技术文献出版社1986年, 第92页。