产出导向的职业教育质量监控——职业院校的职业能力测评案例，本文主要内容关键词为：职业论文,导向论文,教育质量论文,案例论文,能力论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
中图分类号：G719.21 文献标识码：A 文章编号：1004-9290(2015)0009-0005-09 一、从投入导向到产出导向：质量监控的范式转变 进入新世纪，我国职业教育的规模空前发展，但是很多深层次的问题仍然没有得到有效解决，其中最突出的就是人才培养的质量问题。我们尚未建立起完整的职业教育质量保障体系，也没有把科学、系统的质量保障措施有效融合到职业院校的日常工作中，其结果是，管理部门在制定相关政策措施(如资源分配)时没有扎实的质量数据基础，公众缺乏足够的有关职业教育质量的信息。 《国务院关于加快发展现代职业教育的决定》以一整章篇幅谈“提高人才培养质量”问题，提出“完善职业教育质量评价制度”等要求。然而并不是一开展评估就一定能促进质量发展。评估对教育质量提高的作用如何，在很大程度上取决于评估方案的科学性。教育质量包括三个方面，即投入质量、过程质量和产出质量。传统的教育质量保障措施多是“投入导向”的，即政府通过各种管理措施(如证书等)保证学校和教师的专业能力，从而保证教育教学活动的质量。 国际上，20世纪末开始进行的PISA(OECD的国际学生评价项目)和TIMMS(国际教育成就评价协会的数学和科学成就比较项目)等大规模教育比较研究项目，引发了对教育质量和教育体系效率的激烈讨论。[1]讨论取得的一个重要共识是：应加强产出控制，实现教育质量控制从“以投入控制为主”向“以产出控制为主”的范式转变。 “教育的产出”指学习的结果和成果，包括学习者的成绩、证书、能力发展水平和形成的价值观等。产出导向的教育评估，是按照既定标准对教育的结果和影响进行判定，对教育机构的组织、程序和系统运行质量进行评价，在此基础上对整个教育过程进行优化和质量控制。产出导向教育质量监控的基本方法是对教育系统的发展进行纵向研究和横向比较，监控内容包括三个方面：(1)根据教育统计数据进行的评估：包括人口发展，相关教育培训资源，教育培训参与率，职业资格证书获得，劳动力市场等信息；(2)产出测量：按照职业资格要求对教育结果进行测量(实现“职业效度”而不仅仅是“课程效度”)；(3)围绕教育机构的教学工作和教与学内容进行阶段性调查。[2]这里的第(1)点属于宏观层面内容，通常采用数据分析方法，我国已建立了相对完整的数据采集和分析系统。第(2)和(3)点是中、微观层面的内容，一般通过与职业资格要求进行比较，检测教学过程的有效性，在此方面我们的经验还很缺乏。教育质量保障与企业生产质量保障有很大不同，除应参考经济管理中质量保障实践的丰富经验外，还要利用社会科学研究方法，特别是在公共事业管理领域采用的评价技术和工具。 针对职业教育质量监控，目前国际上基本达成了以下共识：应通过外部评价加强产出质量控制；通过优劣势分析加强对职业院校发展的评价，促使院校建立明确的质量保障体系和质量发展规划；提高职业教育机构管理人员的科学管理和领导能力；增强透明度，使每个员工都可以获得有关质量和工作绩效的信息；在职业院校中对教师进行系统化的动态抽样调查，提升教师的能力。 质量保障是“系统性的持续评估”，PISA和TIMSS等为职业教育的投入、其使用过程和结果(产出)进行评价提供了很多启发，其经验不仅适合宏观教育体系层面和中观院校层面的质量评估，也适合微观层面的课程和教学评估。对职业教育产出的评估和在此基础上开展的质量控制，是我国当前教育评估的弱项。开展产出质量评估时需要特别考虑：哪些评估手段既能获得大量深入和有效的数据而不会引发过多的投入。在此有两个关键问题需要解决，一是关于产出和投入的因果关系分析，二是评估工具的开发。近年来，人们开始关注对职业能力的研究和测量，认为通过分析能力发展情况可以分析投入的结果。 迄今为止，我国职业教育人才培养质量评估主要是通过学校内部的教学质量评价和职业资格考试(鉴定)实现的，采用的评价指标体系达不到大规模质量监控的信度和效度要求，无法借此进行校际间和区域间的比较。由于相关技术支持不足，评价结果无法全面反映人才培养的质量，更没有建立起对评价结果与人才培养模式间对应关系的解释模型。即使目前社会影响很大的技能大赛，在大规模推广时也遇到了经济成本以及评分者间信度和试题效度等技术问题。 PISA研究对职业教育质量保障体系建设具有重要的参考价值。开展科学的职业能力测评(包括职业能力测评模型、测评实施方案以及测评结果分析研究)，科学诊断学生职业能力、职业承诺和职业认同感的发展水平，对不同地区、不同院校间的课程与教学质量进行比较，可以获得人才培养质量的准确信息和重要参数，为各级政府制定政策提供依据，从而提高职业教育体系设计和教育质量控制水平，为在职业教育领域建立“能够迅速提醒决策者及时纠正任何不利趋势”(PISA定义)的质量保障机制奠定方法论和技术基础。本文报告两个通过严谨的学生与教师职业能力测评进行职业教育“产出质量”控制的案例，以期对有关部门建立基于科学数据的质量保障体系提供理念和策略上的参考。 二、重庆市开展职业能力测评与相关职业教育质量保障的实践 (一)概况 近年来，重庆市教委下大力气构建质量监测与评估体系，促进职业教育实现从“有规模”到“有质量”的转移，推进职业教育内涵式发展，建立了“一年一学科一专业领域”的职业教育质量监测体系，全方位诊断教育质量现状，引导教师、学校和家长、社会树立正确的职业教育质量观，促进中职学生综合素质提升和身心健康发展。根据重庆市教委《关于开展中等职业技术教育质量监测工作的通知》(渝教职成[2012]45号)要求，2014年6月，市教育评估院对中职汽车运用与维修专业2012级学生职业能力发展情况进行了测评，在此基础上对职业能力成长特点以及能力发展影响因素进行分析。 (二)重庆中等职业教育汽车运用与维修专业学生职业能力测评情况 1.测评理论模型 职业能力测评采用的COMET能力模型和测评模型，建立在行动导向、发展性任务、职业成长逻辑规律和工作过程知识等先进职业教育理论基础上。这一模型可以对测评结果与学生能力发展阶段的对应关系进行较好的解释，并藉此进行校际间和区域间的比较。[3]该模型包含三个维度，即能力的要求维度、内容维度和行动维度(见图1)。
图1 COMET职业能力模型[4] 由于COMET的理论基础在国内外得到广泛的认同，大家很容易接受在此基础上建立的能力测评方案，认为它提供了较为科学的对职业能力进行解释的框架。它不仅可以用来对职业教育教学质量进行诊断和评价，而且能为教师教学设计提供直接的支持，并有较好的跨职业领域和跨文化特点。 2.测评工具与对象 测评工具包括两道开放式综合测试题目和背景问卷。测试题目来源于职业的典型工作任务，其形式与实际工作中的合同类似。除能力模型和评分标准外，测评还采用了一系列工具确保评分者间信度，如评分者训练、测评任务的“问题解决空间”等。参评学生需填写针对职业学校和实习实训企业状况的背景调查问卷。 参与能力测评的有重庆市25所中职学校共计1497名学生，均为汽车运用与维修专业2012级学生。 3.评分过程 为保证评分者信度，2014年6月，项目组对参与评分的教师进行了培训。16位教师对4个题目的真实案例进行了评分练习，4次评分的评分者间信度
分别为0.601、0.838、0.815和0.839(
在0.5以上为及格，0.7以上为良好)，评分者间信度令人满意。 4.测评数据分析 1497名参评学生职业能力水平整体分布情况见图2，其中525人(35.1％)处于名义能力水平，878人(58.7％)达到功能性能力水平，94人(6.3％)达到过程性能力水平，但是没有学生达到设计能力水平。 可以看出，学生总体的功能性能力表现相对较好(
平均值为10.345)，过程性能力其次(
平均值为6.568)，设计能力较弱(
平均值为3.047)。各校学生职业能力水平分布存在较大差异(具体数据略)，且无学生达到设计能力水平。相对来看： (1)学校9和4中各有20％以上学生达到过程性能力水平，学校1和学校5各有12％以上学生达到过程性能力水平，整体情况相对较好。但这些学校也有10％的学生处于名义性能力水平阶段，说明优秀学生和差生的能力差距较大。 (2)学校24的全部学生(100％)处于功能性能力水平阶段，整体水平统一。 (3)有9所学校超过50％的学生处于名义性能力水平阶段，学生整体职业能力发展水平较低，需要引起重视(见图3)。 普通中专、职业高中、成人中专和技工学校4类学校学生职业能力水平分布见图4，不同类型学校间存在显著差异。成人中专学生整体较好，普通中专学生职业能力水平低于其他类学校。由于这些数据与参评学生总数有关，所以还不一定完全反映各类学校的实际办学水平。
图2 学生职业能力水平整体分布
图3 各学校学生职业能力水平的分布
图4 各类型学校学生的职业能力水平分布 公办学校和民办学校学生职业能力水平分布有明显差异，民办学校学生处于功能性能力水平阶段的学生比例明显高于公办学校，处于名义性能力水平阶段的学生比例低于公办学校。主城区和郊县区学校学生职业能力水平分布存在显著差异。郊县区学校学生中达到功能性能力水平的学生比例高于主城区学校学生，而处于名义性能力阶段的学生比例却低于主城区学生，这是我们预料之外的。限于篇幅，详细数据略。 5.职业能力水平影响因素分析 分别用中考语文、数学和外语成绩与学生职业能力水平做独立性检验，结果表明，语文(
=8.248，P=0.410＞0.05)、数学(
=7.184，P=0.517＞0.05)和外语(
=9.412，P=0.309＞0.05)，成绩与职业能力发展状况没有直接联系。 对题项“企业人员在完成重要工作任务的过程中，允许我参与到其中”和学生职业能力水平做独立性检验，结果表明存在显著相关关系(见图5)。
图5 企业重要工作任务参与程度下的学生职业能力水平分布情况 对题项“企业员工的行为举止让我感到我的实习打扰了他们”和学生职业能力水平做独立性检验，结果表明(
=13.392，P=0.037＜0.05)存在显著关联，即企业人员对待学生的态度，与学生职业能力发展水平存在显著相关关系。 对题项“企业实习岗位与我所学的专业对口”和学生职业能力水平做独立性检验，结果表明(
=23.157，P=0.003＜0.05)存在显著关联，即实习岗位与所学专业对口程度与学生职业能力水平存在显著相关关系。 对题项“工作任务的内容之间的联系很复杂”和学生职业能力水平做独立性检验，结果表明(
=20.026，P=0.010＜0.05)显著关联，即工作任务的复杂程度与学生职业能力水平存在显著相关关系。 对“教师对学生认真负责”和“学生职业能力水平”做独立性检验，结果表明(
=21.981，P=0.001＜0.05)存在显著关联，即教师对学生认真负责程度与学生职业能力发展水平存在显著相关关系。 对题项“与企业培训教师(企业人员)合作”和“学生职业能力水平”做独立性检验，结果表明(
=14.858，P=0.021＜0.05)存在显著关联，即校企教师的合作程度与学生职业能力水平存在显著相关关系。 统计数据表明，在教师“与企业培训教师合作”问题选项中，比较符合和完全符合的有效百分比分别达到41.8％、30.6％，总计达72.4％，说明学校教师与企业培训教师合作程度良好，尽管还有进一步提高的可能。对题项“学校和企业在实习实训中有很好的协调”和学生职业能力水平做独立性检验，结果表明(
=17.970，P=0.006＜0.05)两者存在显著关联，即学校和企业实习实训中的合作与学生职业能力水平存在显著相关关系。 统计数据表明，在题项“学校和企业在实习实训中有很好的协调”的选项中，比较符合和完全符合的有效百分比分别达到52.0％、31.0％，总计达83.0％，说明学校和企业在实习实训中协调程度良好。 6.结论与建议 总的来说，参评学生职业能力总体发展并不十分令人满意，但各校差异较大，其中9所学校50％的学生处于名义性能力水平，这需要引起有关部门的注意。 从学生总体职业能力轮廓看，功能性能力优于过程性能力，设计能力最低。在8个一级指标中，直观性与展示性、功能性、使用价值导向和生产流程与工作过程导向相对较好，而在环保性和社会责任感等综合素质方面还需进一步提高。 不同类型、性质学校学生职业能力存在显著性差异，但这与我们原有的“想象”不完全相同。如一般学校学生的职业能力不比重点学校差，郊区县学校学生也不比城区学校差，民办学校学生得分甚至高于公办学校。 分析发现，职业学校的教学难点与职业能力没有直接联系，即教学“难点”可能是普通文化课，或者是与实际工作联系较少的专业理论。这些“难点”有可能引发学生学习自信心下降，从而影响学业和整个职业能力的发展。这需要引起我们的特别注意。 大部分学生对自己学校的教学组织给予了积极的评价，约2/3的参评学生满意自己在学校的表现，并对实习和校企合作给予积极评价，学习兴趣比入学时更高。随着职业能力水平的提高，学生对学校教育教学(包括实习)的满意度也在提高。 学生对专业和学校的认同度较高。随着职业能力的提高，学生的专业(职业)认同感也在提高。数据分析发现，学生中考的语文、数学和外语成绩对职业能力发展水平没有直接联系，这完全支持了“多元智能论”的教育思想。 数据表明，企业实习对学生职业能力发展有着重要的促进作用，特别是当学生有机会参与到企业的重要工作中时。岗位学习和实习期间的指导，与职业能力发展有直接联系。总的来说，企业对待实习学生态度不错，但很多企业还是将学生作为一般劳动力看待，这一方面表现在实习岗位对口率不高，另一方面表现在企业较少允许学生参与重要工作，更多还是让学生做一些简单工作。 (三)结论与后续工作 以上大量相关度很高的数据证明，可通过对职业能力这一“产出指标”的测评，对职业教育质量进行全面而科学的监控。职业能力测评结果可以帮助我们客观、深入了解课程和教学质量以及校企合作状况，实现学生之间、院校之间、地区之间甚至国家之间的比较。测评收集的被试者的背景资料，能对学生的职业认同感(职业道德的基础)发展进行评价，这远远超出了传统的专业知识考试的范畴，从而对职业学习结果的认识达到一个全新的高度。 在此结果基础上，2014年10月，重庆市召开了质量监测结果发布会，向市教委领导和各处室负责人以及相关职业学校反馈了质量监测的主要发现和结论，引起了与会人员的高度重视，强化了职业教育内涵发展和质量保障的核心要求。大家普遍认为，质量监测为教育行政部门加强中职学校管理提供了重要的决策咨询，为中职学校加强内涵建设和质量保障提出了意见和建议。 会后，市教委组织相关人员认真研读质量监测报告，责令测评结果表现不好的中职学校认真反思、全面总结，制定教育质量保障方案和计划，落实整改措施，切实提高人才培养质量。同时，市教委高度认识到中职教育质量监测的意义，正在起草并即将下发《重庆市教育委员会关于进一步加强职业教育评估与监测的意见》，强化质量监测的重要性，并提出了质量监测的五年规划，旨在常态化、针对性地实施职业教育质量监测。 很多职业学校还参照能力测评方案对现有技能考核方式进行改革，形成了强调“综合职业能力”的职业能力评价体系，这对未来的职业教育高考方式改革提供了很好的技术支持。 三、职业教育教师职业能力测评 教师职业能力的高低，对职业教育的质量具有决定性的影响。《国家教育中长期教育改革和发展规划纲要》提出“加强职业院校教师队伍建设，加大职业院校教师培养力度”的要求，各级政府、社会机构和职业院校投入了大量的工作，制定了很多相关措施并组织了大量教师培训项目，但这些政策措施和项目的实施效果如何，需要进行有实证数据基础的评价。我们与德国不莱梅大学合作进行，对我国职业教育教师的职业能力发展状况开展了测评研究。
图6 职业院校专业课教师职业能力评价指标[5] (一)研究基础 职业能力是特定职业领域的认知心理特征和发展潜力，职业教育教师的职业能力是职业教育教师在真实的工作情境中整体化地解决综合性教育教学问题的能力(下文简称“教师职业能力”)。本研究的教师包括各级各类职业院校的专业课和专业基础课教师。课题组在KOMET职业能力模型和测评方案基础上，建立了一个由三个维度构成的教师职业能力模型和相关测评方案，其9个一级指标如图6所示。 课题组设计了机械制造、汽车机械维修和电气技术三个专业的测试题目。 (二)研究过程 研究基本过程是，首先对KOMET教师能力模型和测评方案进行测量学检验，在此基础上通过正式测验对职业教育教师的职业能力进行评价和分析，包括：职业能力模型的验证；预测试(预测试方案的设计与实施，预测试评分，对评分指标和题目质量的分析与改进，具体过程略)；正式测评、评分与数据处理；职业认同、组织认同与成就动机的测量。 (三)测评结果与数据解释：以汽车维修专业为例 所有参加测试的汽车维修专业183位被试教师中，有9.29％处于名义性能力水平，7.11％达到功能性能力水平，37.70％达到过程性能力水平，45.90％达到设计能力水平(见图7)。
图7 汽车维修专业被试教师能力水平的总体分布 不同种类院校教师的能力分布有显著性差异(见图8)： (1)综合类高职院校教师主要集中在过程性能力水平(占60.98％)，有31.70％的教师达到了设计能力，反映了这些院校整体较高的师资水平。 (2)广州市属的技师学院84.85％的教师达到了设计能力水平，15.15％的教师达到了过程性能力水平，没有教师处于名义性能力和功能性能力水平，该类院校学生职业能力测评的良好成绩是一致的。 (3)中职学校近一半被试教师处在名义性能力水平阶段(占42.86％)，25.71％的教师达到功能性能力和过程性能力水平，仅有少数老师(占5.72％)，主要来自该地区的示范学校)达到了设计能力水平，这反映了我国教育资源分布不平衡的现状。
图8 汽车维修专业各类院校教师能力水平总体分布图 在各类院校中，广州市所属技师学院教师能力平均分远高于总体平均分(45.87＞38.40)；高职院校平均38.96分，与总体平均分持平；中职院校平均23.02分，低于总体平均分。中职教师分数分散，说明即使在同一行政辖区内，优秀学校和一般学校教师能力之间也有很大差别。 数据显示，不同地区不同类型院校教师职业能力水平和特点存在差异。广州教师个体间职业能力水平差距最小，说明该专业整体发展相对均衡，教师获得的交流机会较多。重庆市中职教师个体间职业能力水平差距较大，反映了较大的城乡差别和校际差别。北京和长春被试学校教师职业能力总分虽有较大差距，但是教师个体间的能力水平分布却类似，这可能在高职院校中具有一定的代表性。 不同院校教师的能力轮廓对比如图9和图10所示。各校教师职业能力在专业水平(PF1)、教学的目标与内容(PF2)和教学质量控制(PP2)三方面最好，在教与学的方式方法(PF3)和教学效率与效果(PP3)方面次之，在教学过程的组织(PP1)、可接受度(PG1)和创造性(PG3)方面偏弱，在社会文化背景(PG2)方面最差。 教师的“职业认同感”是教师个体在特定的社会环境和情景下、在职业工作过程中逐渐形成的，对自己所从事的教师职业的概念和意义的认可。广州的技师学院汽车维修专业教师的职业认同感(13.03)低于全国平均水平(13.40)，这与其能力水平高于全国平均水平形成了很大的反差(见图11)。
图9 高职院校教师的能力轮廓
图10 技师学院教师的能力轮廓图 注：PF1=专业水平，PF2=教学的目标与内容，PF3=教与学的方式方法； PP1=教学过程的组织，PP2=教学质量控制，PP3=教学的效率与效果； PG1=可接受度，PG2=社会文化背景，PG3=创造性； PF=功能性能力，PP=过程性能力，PG=整体设计能力。
图11 广州不同参评教师样本职业认同感平均水平分布 与职业认同感紧密联系的是“组织认同感”，即组织成员对自己所服务的组织的认知和感受。广州的技师学院教师组织认同感平均水平为13.86，比参试学校平均水平略低(14.11)，汽车维修专业教师职业认同感水平则更低，为13.61(见图12)。
图12 广州不同参评教师样本组织认同平均水平分布 按照Gjesme/Nygard“成就动机量表”(AMS)，我们对被试教师成就动机进行了测量。广州的技师学院教师成就动机平均水平为10.99，高于本次测评全国平均水平10.38，汽车维修专业教师的成就动机平均水平为10.82，尽管低于机械专业(11.78)，但是也高于全国平均水平(见图13)。
图13 不同参评教师样本成就动机平均水平分布 职业认同感和组织认同感与职业能力有密切的联系。广州市所属技师学院教师的职业能力和成就动机高于全国平均水平，但是他们的职业认同感和组织认同感却低于全国平均水平。由于除广州市外，其他参加测评院校均属于教育部门主管的中职和高职院校。这说明，技工院校教师与教育部门主管的学校教师相比，并不认同自己的职业和学校，这可能与技工学校教师较低的社会地位和福利有关。 (四)测试质量检验 经检验，本测验满足难度、区分度和信度的心理测量学指标要求(具体过程略)。采用AMOS7.0的“验证性因素分析”功能和SPSS18.0的相关分析功能检验本研究的构想效度，证明其满足教育测量的基本要求。 职业教育界普遍接受技能竞赛和职业资格证书为效标，将有技能竞赛获奖的与无技能竞赛获奖的两个样本群体的职业能力总分做独立样本t检验，发现两个样本群体的职业能力有显著差异(t(183.273)=-4.352，p＜0.001)。最高职业资格证书等级不同的被试教师在职业能力得分上也存在显著差异。这表明，职业能力测验能有效区分水平优秀者与水平普通者，其实证效度优良。 (五)结论与后续工作 数据证明，本研究的职业教育教师职业能力测评方案质量较高，表现在：(1)测验的难度在合理范围内；(2)测验的区分度和信度理想；(3)测验的构想效度指数满足教育测量的基本要求；(4)测验的实证效度良好；(5)职业教育教师职业能力发展影响因素问卷的内部一致性信度和结构效度良好。 以上大量相关度很高的数据完全可以证明，可通过对职业能力这一“产出指标”的测评，对职业教育教师的能力和能力发展进行监控。
标签：职业能力论文; 德国职业教育论文; 能力模型论文; 职业测评论文; 教师评价论文; 教学过程论文; 教学评价论文; 组织保障论文; 实习经验论文;
面向产出的职业教育质量控制&以高职院校职业能力评价为例_职业能力论文
下载Doc文档