成人继续教育培训效果评估规范
——基于福建省气象部门的实证研究
孔令强 林秀芳
(福建省气象宣传科普教育中心，福建 福州 350007)
摘要： 成人教育是教育范式中较为特殊的教育形式，较之全日制学生时代的全日制教育模式截然不同，对于其学习效果的评估方式也有其特殊性；研究成人教育中成人培训学习的效果对于研究成人教育规律具有不可或缺的作用，甚至是关键因素，这不仅有利于成人教育管理者提供科学的决策依据，还能为成人教育更为深入地延伸打开理论突破口。同时，成人继续教育培训效果研究的目的也是为贯彻落实加强教育培训评估、提升培训质量的总体要求精神，规范教育培训效果评估工作，提升培训效果，更好地开展成人教育。
关键词： 成人教育；培训效果；规范
一、概述
成人教育是国民教育的重要组成部分，在提升成人对社会的认知度和适应性上具有其他形式不可替代的作用。不论是中国或是世界范围内，对成人教育研究都相对较弱，尤其是中国，真正对成人教育的专门性研究开始于20世纪80年代。由于我国成人教育实践领域丰富多彩，地区差异大，成人教育理论研究也同样如此，虽然经过数年研究，但相对比较零散、不系统[1]。同理，针对成人教育效果评估的研究也相对较少，近几年，针对普通高校成人教育质量评估的研究逐渐兴起，这得益于高校有着系统的管理模式及数据基础。成人教育形式多种多样，较难像高校一样进行统一模式的系统效果评估，以此探索具有推广意义的成人教育培训模式显得十分必要。
目前，国内关于培训评估方面的研究主要分为两类：一类是主要在研究企业培训过程中，提及培训效果的评估，例如，周志忍(1999)、张志鸿等人(1998)、高文举(2001)、石金涛(2004)、徐芳(2005)都谈到了培训效果的评估，但这些研究基本停留在介绍四层次评估模型，或者是对该模型有自己的看法；另一类主要是体现在人力资源与培训相关的期刊上，例如，刘智强和曾伏娥(2000)、吕峰(2002)、邹照菊等人(2004)、王莉和石金涛(2005)的研究，这类对培训评估的研究主要是对国内外研究培训评估的介绍或者说是结合企业的实际进行评估运用，而站在培训评估领域的角度研究前沿思想并提出自己创新观点的学者凤毛麟角。
程序算子可以看作是由运算规则(regular operation)构成的，布尔选择、Kleene迭代、检测都可用公式表示，且与其相匹配的语义和语形可相互递归定义。M，s|=φ指φ在状态s上是真的，M，s1,s2|=π指从s1转换为s2表示连续执行程序π。有下面的规则：
现阶段，国外众多专家学者都大范围、更深层次地展开了对培训效果评估的研究，并采取界定相应的研究内容，提出了各自的有关企业培训效果评估模型。在各种评估模型中，最著名的评估模型是四层次评估模型，四层次评估模型的提出者柯克帕特里克在其著作中将培训与开发作为同一个概念描述，提出了“反应、学习、行为、结果”的经典培训评估模型；汉姆布林则提出了“汉姆布林模型”，该模型在四层次模型的基础上，把培训评估划分为五个层次，分别为反应评估、学习效果评估、工作行为评估、执行评估、组织目标评估，主要是对培训结果进行评估、成本—收益分析和对组织战略目标的影响；考夫曼进一步扩展了四层次评估模型，他认为，培训是否成功在很大程度上取决于培训前的各种资源的取得，需要在模型中加上该层次的评估，增加了评估社会和顾客的反应层次，主要是提出了增加对培训项目背景和周边环境的影响评估；美国学者菲利普斯在他的著作中同样发展了四层次评估模型，他更关注于培训投资回报的直观货币衡量，希望以此更好地证明培训活动的收益和价值，因此，他在四层次评估模型的基础上加上ROI层次，形成了五层次的ROI框架模型；沃尔、伯德和雷克汉姆开发的CIRO模型，包括情境评估、投入评估、反应评估和输出评估，该模型提出对情境、投入、反应和产出进行评估；斯塔弗尔比姆则根据项目组织过程的有关规律，提出了关于培训效果评估的CIPP模型，他认为，培训效果的评估主要包括四个方面：情境评估、输入评估、过程评估和成果评估，该模型主要提出对情境、输入、过程和结果进行评估。
二、成人教育培训效果评价实践
学术界目前针对成人继续教育的研究主要时间是以新中国成立为节点，以此为推进。新中国成立后，面对文盲率高的现实情况，国家针对成人教育开展了一系列举措。经过几次大力推进，我国成人教育取得了长足发展。根据教育部网站《2017年全国教育事业发展统计公报》数据显示，全国成人高中392所，成人高中教职工3174人，专任教师2421人；全国接受各种非学历高等教育的学生927.37万人次，接受各种非学历中等教育的学生达4538.3万人次；全国范围的职业技术培训机构共8.92万所，教职工约51.5万人，专任教师28.96万人[2]。新中国成立后，我国成人教育发展的大概阶段见表1。
从我国成人教育发展阶段划分和数据可以看出，我国成人教育一直呈现迅猛发展的态势，无论是成人教育的数量还是成人教育培训机构数量，都表现出井喷之态。对于成人教育发展长期而言，要数量和质量并行发展才是成人教育的必由之路，因此，对成人教育学习效果的评估工作就显得尤其重要，制定全国范围内通行的、具有较强指导意义的评估规范势在必行。目前，国际上针对成人教育的研究也越来越深入，尤其是欧美发达国家，在成人教育的发展思路和质量评估方面均有新的建树。在国内，针对高校成人教育培训研究较多，从文献研究数量、研究团队等也均有明显增加。《国家中长期教育改革和发展规划纲要(2010-2020年)》明确指出，要构建体系完备的终身教育，学历教育和非学历教育协调发展，职业教育和普通教育相互沟通，职前教育和职后教育有效衔接，从业人员继续教育年参与率达到50%，现代国民教育体系更加完备，终身教育体系基本形成。
表 1我国成人教育发展阶段划分
据研究，相关研究文献高频关键词表以“普通高校成人教育频次290、百分比为9.90，成人高等教育频次129、百分比为4.41”为代表共36个，充分表明成人教育在现阶段受到了越来越多的重视和关注，该高频关键词主要指频次>7[4]。近年来，成人教育研究数量增多，研究选题、内容比较分散，呈现多元化的发展趋势，如成人教育学相关文化研究、企业大学的战略发展、开放大学的质量研究，继续教育的劳动力市场研究、进城务工人员的满意度的相关研究等选题都有所涉及[5]。这说明成人教育的质量问题已经开始全面纳入了学者们的视野，随着社会经济的发展，成人教育将继续高速发展，在开放和信息化的今天，成人教育显得更有必要，其教育质量和效果的评价为成人教育的发展提供了技术标准，有助于其内涵式发展。
五国成人教育政策参与部门主要内容为：英国政府教育与技能部主要负责终身学习，工作与退休基金管理部帮助未雇佣群体提升技能等；加拿大参与部门主要为联邦政府所属的人力资源开发部门牵头；丹麦则是教育部、劳动部、社会教育机构、为失业人员服务的非权力化的成人教育机构等；西班牙的教育部、体育和文化司等负责教育资格认定、语言培训等为主的模式；瑞士主要表现为联邦政府主管职业培训，同时私人部门和非营利组织扮演辅助者角色。
五国成人教育质量评估的方法与部门也呈现各自的特色。具体表现为：英国成人教育质量评估方法主要为继续教育卓越绩效指标和继续教育学院评估体系，加拿大是传统的问卷调查法，丹麦采用调查法，西班牙同样采用调查法、辅之税收分析法，瑞士也采用问卷调查法、编制成人学习参与调查报告。在参与评估部门方面，英国参与主体为成人学习督导团、LSC，加拿大为在线学习咨询委员会、远程教育协会，丹麦由教育独立评估研究中心和成人学习督导所等参与评估。
放眼国外，以英国、加拿大、丹麦、西班牙、瑞士为代表的五个发达国家成人教育政策的实施目标[3]各有不同。英国成人教育政策的实施目标主要是为处于工作年龄的成人提供雇佣所需的各项技能，为其他人提供享受生活的知识技能，为处于知识经济时代的人员提供具有创新精神的高层次技能，通过教育与培训的交叉，提升教学与学习的标准；加拿大是注重培养高级技工，关注高中后教育，特别是成人教育，注重培训雇佣和未雇佣的劳动力，通过成人教育提升文化素养；丹麦是为成人提供职业和个人资格认证，提供充分的、适当的成人教育和持续培训，全面覆盖成人范围，加强先前学习(Prior Learning)资格的认定，既包括正规教育系统的能力要求，也涵盖实践中的能力要求，为成人提供的各项学习政策让更多人参与到成人教育体系中。
三、基于福建省气象部门的成人培训效果评估运行机制规范
1.评估准备阶段，评估组织部门应确定评估参与人员、准备评估所需材料(如评估问卷答题卡)、拟订评估工作计划和思路、落实评估经费等。
安顺煤矿煤场场地狭小，长约150米，宽约50米。煤场原有筛分系统一套，其中包含三部振动筛和十条皮带输送机。筛选过后的商品煤按粒度分为五个等级，煤场最大商品煤储存能力约为10000吨，原煤最大储存能力约为3000吨。
蜘蛛精一步步地接近，青辰吓得大气也不敢喘。他有心逃跑，然而看对方那几条大长腿，他又自忖跑不过。他心中焦急，将身子紧紧缩在巨石的后方，恨不得变成一只老鼠钻进石头底下的缝隙。
多元化的气象教育培训评估体系呈现培训效果，学员、授课教师、送培单位分管领导、承办方、主管部门认可度，各参与主体具体细化评估指标构成的三级评估体系；学员认可度主要是课程内容的针对性等8个方面指标，授课教师认可度主要是课程内容设计的合理性等7个方面指标，送培单位分管领导认可度主要是课程内容安排合理性等7个方面指标，承办方认可度主要是培训课程设计和安排的合理性等6个方面指标，主管部门认可度主要是培训主题的准确性和针对性等7个方面指标。该体系是基于部门内外7位教育培训专家在结合部门实际和理论研究的基础上确定的。培训效果权重系数分布主要表现为“学员评估权重为35.7%、授课教师评估权重为17.9%、送培单位分管领导评估权重为12.9%、承办方评估权重为19.2%、主管单位评估权重为14.3%”，通过最终权重计算，得出评估效果终值。该权重系数是在层次分析法(AHP)建立的三层次结构模型基础上，由部门内外7位教育培训专家打分后，在构造成对比较矩阵的基础上，通过一致性检验而来。
韭菜炒鸡蛋做了整整热气腾腾的一大盘子。我也没客气，便风卷残云般地一气吃了个底朝上。吃罢抹了一把嘴，似乎便一切万事俱备，只欠东风了。
(一)适用范围
本规范适用于福建省各级气象部门。
评估全流程分为四个步骤：评估准备→问卷发放和数据整理→评估→评估结果反馈。其中，评估准备阶段主要工作为制订评估工作方案、确定思路以及评估组成人员、准备评估材料；问卷发放和数据整理阶段主要工作为问卷发放(前期和后期问卷发放)、问卷筛选(剔除无效问卷)、数据整理(统计、归类、制图)；评估阶段主要工作为数据分析、评估培训成效、提出合理建议、编写评估报告、审核报告；评估结果反馈阶段主要工作为发布评估报告、收集意见、根据反馈意见制定可行性改进措施。
(二) 权重系数及等级划分
3.可操作性原则。 本规范设计的评估指标体系所需数据信息易获取，设计的评估问卷指标含义比较容易理解，评估打分操作性强。
(三)基本原则
1.科学性原则。 气象教育培训评估应坚持严谨的科学态度，采用科学的计算方法，突出气象部门气象教育培训评估的特性，采用侧重于学用相长的思路，综合考虑教学质量及培训管理能力，达到学以致用的效果，针对培训工作的实际效果开展综合评估，以指导气象教育培训质量和评估工作水平的提升为主要目的。
2.公平公开原则。 以匿名方式获取的原始数据作为评估的数据来源，结合培训现场考察和访谈等多种形式收集的资料，客观、公正、公开地开展气象教育培训评估工作。
本规范中所指的权重系数有两个部分：一部分是指参与培训评估的5个主体分别在评估效果终值中各自所占的比重，即主体权重系数；另一部分是指5套问卷中各个问题指标在单个主体效果终值中所占的比重，即问题指标权重系数，5个参与培训主体及各问题指标评价重要性程度经专家打分后，同样采用层次分析法计算出权重系数。本规范中培训效果等级评分范围为0-10分，培训效果等级随分数增高逐渐增强。其中，0-6分(不含6分)，培训效果等级为“不合格”级；6-7分(不含7分)，培训效果等级为“合格”级；7-8分(不含8分)，培训效果等级为“良好”级；8-9分(不含9分)，培训效果等级为“优秀”级；9-10分(含10分)，培训效果等级为“非常优秀”级。
15个肺结核病例CT检查均使用日本原装东芝Aquilion16排32层螺旋CT，患者取仰卧位，头先进的方式进入，让患者双臂上举抱头，扫描参数常规平扫为容积扫描，然后5mm肺窗、纵隔窗重建，扫描条件：120KV，自动毫安秒技术，尽量减少辐身剂量。
(四)评估程序
气象教育培训评估全过程分为四个阶段或称为步骤，具体为评估准备阶段、数据整理阶段、评估阶段、评估结果反馈阶段。
福建省气象部门针对全省范围的业务人员研究制定了一套较为科学的成人培训效果评估体系，一方面更为规范地了解、掌握培训的实际效果，另一方面，将培训评估工作规范化。评估流程分为四个阶段，各个阶段分工详细、明确,以“柯氏”四层次培训评估方法(反应层、学习层、行为层、结果层)为主要理论支撑，通过培训学员、授课教师、培训承办方、学员所在单位和培训主管单位等五方参与评估的形式，将效果评估的四个层次和参与评估的五个主体融为一体，四个层次评估转化为对应五方评价主体的形式，得出评估效果终值。
2.数据整理阶段，首先是问卷发放工作，问卷发放分为两个阶段：第一阶段在培训结束后发放分别由学员和授课教师即时填写的评估问卷(学员版和授课教师版)，第二阶段发放问卷分别由学员所在单位、培训承办方、培训主管单位填写的评估问卷(送培单位分管领导版、承办方版和主管单位版)，其中，第二阶段和第一阶段问卷发放间隔时间一般为6-12个月。
3.评估阶段，该阶段是整个评估环节最为重要的一环，评估人员应根据整理的原始数据进行多角度、全方位的分析，同时确保数据使用中的准确性。
4.评估结果反馈阶段，该阶段是评估的最后一个环节，评估人员通过系统的评估后，根据评估情况编写培训评估报告，经审核后，评估人员应把客观的评估结果通报相关部门。
(五)评估内容
评估内容具体包括培训前的准备工作效果、培训中的教学效果、培训后的实际应用效果等三个阶段情况；三个阶段整体效果情况评估分解为整个培训过程中5个参与主体对培训效果的反馈汇总。评估内容的数据来源于依托5个参与主体分别设计的5套调查问卷反馈数据(见下表)。
(六)评估指标与评分
本规范中五套评估问卷中指标数量不尽相同，根据评价主体身份的不同，设计侧重点各不相同的问卷；按照层次分析法要求，每个问题指标评分为0-10分，满意度随着分数增高逐渐增强。
由于不同土地利用方式植物群落组成及土壤环境因子等条件存在差异，因此土壤动物群落组成存在一定的差异性[17，18]。从大型土壤动物类群数的水平分布研究结果来看（图1），各土地利用方式大型土壤动物类群数相差不大，最多的是森林和退耕湿地14类，最少的是退耕林地12类。从大型土壤动物个体数的水平分布研究结果来看，退耕湿地＞湿地＞退耕林地＞森林＞农田，其中个体数最多的是退耕湿地603只，占总个体数的23.50%，个体数最少的是农田151只，仅占个体总数的5.89%。
教师要与队员进行深入、真挚的交流，帮助队员树立个人成长目标。如训练的阶段目标与长远目标；参加学校、县、市、省运动会的成绩目标、名次目标、得分目标；破年级、校、县、市纪录目标；进入更高层次的运动队、考取体育院校目标；引导队员自立、自强，在团队氛围与协同下努力奋斗，充分发挥主观能动性，达成个体理想的基础上，成就团队目标的实现。
四、结论及展望
本研究在现阶段国内成人教育培训研究的成果基础上，通过部门个例研究，以福建省气象培训工作实际情况为基础，学习和借鉴国内外教育培训评估相关研究成果，探讨建立成人教育培训评估体系。一方面，持续推动成人继续教育培训评估体系的深入研究，与现阶段成人教育培训发展实际情况接轨，满足当前成人教育培训效果评估的需要；另一方面，建立了相对固定可行的、具有一定推广意义的培训评估体系，在适当改良的基础上，方便对跨领域、跨部门的不同类型的成人教育培训活动进行客观评估，为决策者提供决策依据。
本文研究并建立的评估体系具有推广意义，研究方法以层次分析法和专家打分法为主，定性研究和定量研究相结合，以设计专门问卷调查的方式获取基础数据(含主观和客观)，从而计算出培训效果的数据终值，最终了解整体培训效果；这一成果具有较强的推广优势，无论应用在气象部门成人教育培训领域，还是应用在整个成人教育培训方面，都具有现实操作的可能性。无论是研究方法，还是技术路线，都具有可复制性；在推广使用中，可针对此评估体系具体问题指标内容进行适当的修改和订正，建立对应的评价指标即可推广应用，尤其是针对成人教育培训更有实际的指导意义。
参考文献：
[1]孙龙存，宋西玲.我国成人教育研究的现状及其发展策略[J].湖北大学成人教育学院学报，2001(12).
[2]教育部网站. 2017年全国教育事业发展统计公报[EB/OL].http://www.moe.gov.cn/jyb_sjzl/sjzl_fztjgb/201807/t20180719_343508.html.
[3]欧阳忠明，肖玉梅.全球成人教育政策的现实图景与实践走向[J].现代远程教育研究，2013(1).
[4]杜友坚.近年来我国高校成人教育研究热点知识图谱及发展趋势研究[J].中国高教研究，2014(4).
[5]孙立新，乐传永.成人教育研究的新进展与未来趋势[J].教育研究，2015(6).
The Evaluation of the Effect of Adult Continuing Education Training ——Based on the Empirical Study of the Meteorological Department of Fujian Province
Kong Lingqiang Lin Xiufang
(Fujian Meteorological Propaganda Science Education Center,Fuzhou 350007,China)
Abstract :Adult education is a special form of education in the educational paradigms, which is quite different from the full-time education model in the full-time student era. The training effect evaluation norm should also be special. Studying the effect of adult training in adult education plays an indispensable role and is a key factor in studying the law of adult education, which not only provides basis for decision-making by adult education managers, but also makes theoretical breakthrough for the in-depth development of adult education. Meanwhile, the purpose of the research is to implement the spirit of the overall requirements for strengthening education and training evaluation and improving the quality of training, standardizing the evaluation of education and training effects, improving the training effect, and perfecting adult education.
Key words :Adult education; Training effect; Norm
中图分类号： G720
文献标志码： A
文章编号： 1009-4156( 2019) 06-017-05
【基金项目： 福建省气象局软课题“构建多元化的气象教育培训评估体系研究”(编号：闽气法函〔2016〕5号)】
【孔令强：福建省气象宣传科普教育中心工程师，管理学硕士，研究方向：教育培训管理与评估。林秀芳：福建省气象宣传科普教育中心高级工程师，理学学士，研究方向：教育培训管理】
标签：成人教育论文; 培训效果论文; 规范论文; 福建省气象宣传科普教育中心论文;