考试分析在操纵员培训中的应用与研究
商 寅 姜有为
（三门核电有限公司，浙江 三门 317112）
【摘 要】 考核是系统化培训方法实施阶段的重要环节，是衡量培训有效性最有效的方式之一，也是最及时的方式。而试卷作为考核的一个重要载体，试卷的分析与评估应得到足够的重视。本文讨论了核电培训领域中考试分析的现状及其重要性，介绍了国际原子能机构推荐的考试分析的各项指标及意义，并以此建立了基于Excel的考试分析方法。
【关键词】 系统化培训方法；考试分析；培训有效性
0 前言
目前世界上绝大多数核电厂普遍采用系统化培训方法（SAT）进行人员培训。各国核电厂大多以国际原子能机构（IAEA）出版的《建立并保持核电厂人员资格和能力导则》为指引，遵循SAT的原则，根据自身能力和客观条件开展培训工作。SAT是一种培训组织形式，它把整个培训活动分为分析、设计、开发、实施和评估五个阶段，并在各个阶段进行有效反馈。其中评估是SAT的重要环节，通过培训全过程的评估，对培训工作进行监督和评价，以确保培训目标的实现，保证核电厂人员取得岗位要求的全面工作的能力。考试分析属于培训评估的组成部分，主要是针对培训实施阶段的考核结果进行定量、系统地分析，将分析结果反馈到SAT的其他阶段，以改进培训的质量，从而使培训的有效性得到不断提升。
秀容月明早听说过乔瞧，乔瞧是西大街人，从父亲那里学了一手好医术，倘若父亲不在家，就由她望闻问切，倒也救治不少病人。那绿裙少女叫越秀，跟乔瞧住一条街上，她们是最要好的朋友。
1 考试分析的现状及其重要性
1.1 考试分析的现状
培训项目的考试分析一般仅统计考试的通过率、平均分及最高分/最低分，可以从总体上定性地了解培训项目的实施情况，但不足以为改进培训方式/内容、提高培训有效性提供定量的数据依据。而且，培训考核从试题开发到考核评估，主要依托于教员的个人能力及工作经验，缺乏系统的考试分析将导致考核的有效性未得到及时、持续地验证及改进。
1.2 考试分析的重要性
考试是检验学员学习情况最有效的手段之一。通过考试可以测量学员对培训目标的掌握情况，获取有用的信息，而不仅仅是为了得到一些分数。考试结果的分析与评价是SAT评估阶段的重要环节，通过分析可以了解教员的命题水平、授课质量和教学效果，了解学员对培训目标的掌握情况，对优化教学内容、把握教学水平、提高教学质量具有重要意义。
2 考试分析的指标及建立方法
考试分析包括试题和成绩的分析，本文选取IAEA所推荐的考试评价指标，采用定量评价和定性评价相结合的方法，将考试分析中常用的指标分为定量指标和定性指标两类。下文将通过这两方面讨论各主要指标的内容和意义，并以此建立考试分析的方法。
2.1 试题分析
试题分析是以评估试题的难度和区分性和试题选项的有效性而审查每位学员答案的过程。评估试题可以识别试题的问题并提出可行的建议。它可以判断学员是否掌握培训目标，也能用来提高教员的试题开发技能。试题分析主要包括以下三方面：
表1 选项分析
（1）试题难度系数
难度是指测试试题的难易程度。试题的难度决定了整份试卷的难度及考试成绩的分布。试题难度通常采用回答正确人数除以考试总人数来衡量[2]，公式为：
天葬师提着刀，转身返回到天葬台前。他横刀眉前，用枯骨一般的手爪，轻轻抚过刀刃的侧面。红润的刀身，在烈日的灼照下，血波潋滟，映红了他那张骷髅般的脸庞。
其中：Pi：为第 i题难度系数；Xi：为第 i题回答正确的人数；Y：为总人数。由公式可知，Pi的取值范围是0≤Pi≤1。试题越简单越接近 1，试题越困难将接近0。
（2）试题区分系数
试题区分系数是指试题对不同水平学员加以区分的能力，采用IAEA推荐的算法：极端分组法[2]。它是将学员的成绩按总分排序，取前27%的学员作为高分组，取后27%的学员最为低分组，然后分别计算第i题的正确人数，则第i题的区分系数为：
第二天晚上，好友如约而来，女人也做好了拌面，并加了几道精致的小菜，还开了一瓶红酒。两人喝得兴起时，女人跟好友说不是白情你吃饭啊，你得帮我办件事。好友放下筷子拿纸巾擦着嘴角说，真是应了那句话了，天下没有白吃的宴席，既然吃了喝了就还真得答应你，谁让吃人家嘴短呢？
2.2.2 结构设计不科学。在根部加工的过程中由于切削量过大，导致气缸套的根部受到较大的剪切力而出现裂纹。如果清根不彻底，尺寸误差较大，余量过大，导致气缸套无法安装到底。
数值从-1.00到1.00。D=1表示高分组全部答对，低分组全错；D=0表示两个分组的通过率相等；D=-1表示高分组全部答错，而低分组全对。由此可知，区分系数越小，试题本身的问题可能越大，不能真实反映学员对培训目标的掌握情况。
（3）选项分析
选项分析是审查选择题各选项的过程，以验证选项的合理性[2]。像区分性一样，选项分析可以计算每道题的系数，也可以通过直接审查选项结果进行分析。
以上的例子共50人参加考核，通过给出各选项的选择人数及其平均分进行试题选项的评估。如试题1，干扰项C没有任何考生选择，虽然并不能说明该试题存在问题，但在后续的开发或升版中，可考虑增加选项的迷惑性。而试题3，选择正确答案C的人数为40人，这些人的平均分达到18.93分，但是选择干扰项A的考生平均分也达到了18分的较高分数，这就需要教员进行试题的重新评估，可能是干扰项A迷惑性太强、干扰项B/D明显错误或是干扰项A本身的缺陷等。
罐区紧急切断阀安装于储罐进出口管道上，遇到紧急情况时能够通过SIS联锁或手动控制快速切断，避免事故范围扩大，减少事故损失。
2.2 成绩分析
仅有高质量的试题，还不一定有高质量的考试，所以应追求试卷整体质量的优化，同时为保证考核的有效性，其主要指标为可靠性、有效性和正态分布。成绩分析是考试分析的重要组成，它主要是对数据指标进行计算，包括参考人数、最高分、最低分、平均分、难度、标准差、信度、效度、成绩是否符合正态分布等。下面简述主要的数据指标：
肯普夫说：“当然，在美国西海岸、中国都有一些‘怀才不遇’的研究人员，他们愿意来欧洲寻找一个良好的科研位置。”肯普夫认为，现在是快速实施人工智能战略的时候了。他说：“联邦政府已经承诺未来几年将提供30亿欧元的科研经费。”正确使用这笔资金非常重要。他说：“最好将研究资金用于推动工业应用数字化的进一步发展”，“因为在这个领域我们欧洲人，尤其是德国作为工业基地有着明显的优势。”
基于上文所述的考试分析指标，建立了旨在用于考试分析的Excel表格。考试分析表分为原始数据子表和4个结果输出模块。
信度是反映考核可靠性程度的指标。内容一致性的计算方法通常采用克龙巴赫公式法[3]，其计算公式为：
其中：A为信度系数；n为试题总数；
为第i题的得分方差；S2为试卷总分的得分方差。A的取值范围是 0≤A≤1，当 A的值越接近 1时，表示学员的分数越接近自身的真实水平，相反当A值越接近0时，表示学员的分数不可信，一般要求信度值在0.7以上。
（2）效度
试卷信息模块包括试卷分析和成绩分布两个部分。试卷分析包括试卷的难度系数和区分系数等相关信息。成绩分布包括学生成绩的直方图、成绩分布曲线。
（4）专项信息模块
2.3 考试分析方法的建立及优点
（3）试题信息模块
患病羊在发病过程中会表现出较为严重的腹泻症状，这时可利用磺胺类药物或者抗菌素对其实施具体治疗。具体而言，就成年羊来讲，可利用百分之十的黄安嘧啶注射液20到30毫升左右对其实施肌肉注射操作；就羔羊而言，也可以利用此类药物10到15毫升进行注射，并应以天为单位，2次/d。倘若患病羊表现出腹痛症状，则可利用百分之十的安乃近4到6毫升，对其实施肌肉注射操作，同时，利用鞣酸蛋白2到5克对其实施灌服操作。
（1）信度
基本信息模块包括考试基本信息和学员排名两个部分。考试基本信息主要包括学员人数、题量、平均分、最高分、最低分、通过率和信度系数等。学员排名包括学员成绩单和考试排名。
（1）基本信息模块
0.5 μmol Danu能使肝癌细胞Cyclin B1及CDC2的表达下调41.3%和30.4%。0.1 μmol及0.5 μmol Danu使p53的表达上调96.4%和74.3%，p21的表达则被上调1.2倍和1.95倍（图4）。
（2）试卷信息模块
虽然课题学习是一种开放性探究活动，是以学生为主的活动，但是教师还是要做好教学组织，以此来保证课题学习的整体质量。教师可以通过不同的课题学习规划来培养学生的各项思维能力以及合作能力。
2.3.1 考试分析方法的建立
试题信息模块包括试题数据、试题数据图和选项分析三个部分。试题数据和试题数据图包括各试题的详细信息，如难度系数、区分系数、正确率等。选项分析主要介绍了单选题各选项的被选情况。
效度是指一次考试能有效地测量学员的实际学习水平的程度。我们可采用测量内容效度来定性推断考试内容的质量。主要的方式是通过组织技术专家对考试试题与原定内容范围的吻合程度做出判断，这其实也是对培训设计阶段开发试题的反馈。
专项信息模块包括分类掌握、分类掌握图和学员表现三个部分。在系统化培训方法中，通过培训目标开发相应的试题，故试题与培训目标相对应，可按培训目标对试题进行分类，总结学员各类试题的得分，即可了解学员各类培训目标的完成情况，从而得出学员各方面的能力表现和薄弱点。分类掌握即是根据试题所属培训目标类别，统计各类别的正确率。而学员表现是比较学员与平均水平的差距，得出相应的雷达比较图。
（5）考试分析报告的生成
考试分析表可根据考试分析的结果，自动生成考试分析报告，便于数据的存档和形成相应的书面报告。
2.3.2 考试分析方法的优点
（1）建立标准化的试卷评估体系，能科学、准确地分析试卷
天葬师的身体本就苍老虚弱，这次拼尽了全力，状况更是不容乐观。青辰悉心照料，煎药喂药，寸步不离师父的床前。
试卷分析的指标较多，每个指标的分析计算方法也不完全相同，进行试卷评估，可以得出定量的分析数据。通过对考试指标的分析，进而评价考试质量，确保测量结果有意义。
为了克服复杂地段场地空间狭小的难题，实现高架桥、市政道路、地铁车站三者最优化组合，经综合比选，确认方案三为最优方案。
（2）为教员改进教学工作提供依据
通过试卷分析，教员可以找出教学工作中的薄弱环节和学员学习过程中的普遍性问题，在教学中加以改善，以便于因材施教。
（3）减少工作量，节省时间，提高效率
传统的考试结果统计和分析需要占用大量的时间。本考试分析方法仅需录入考试结果信息，即可产生相应的试卷、试题分析结果。
3 结论
考试是检验学员培训目标掌握情况的最有效手段之一，考试结果的分析与评价是SAT评估阶段的重要环节，通过分析可以了解教员的命题水平、授课质量和教学效果，了解学员对培训目标的掌握情况，对改进培训、提高培训有效性具有重要意义。
【参考文献】
［1］Simpson,E.J.,“The Classification of Educational Objectives:Psychomotor Domain,”Illinois Teacher of Home Economics,10(4),pages 110-144,1966.
［2］The Principles of Training System Development Manual,Addendum II:Examinations:Design,Development and Implementation.(ACAD 88-002).
［3］郁张海.标准化考试中的试题分析,山西大学学报，2009年第14卷.
Application and Research of Exam ination Analysis in Operator Training
SHANG Yi JIANG You-wei
(Sanmen Nuclear Power Co.,Ltd.,Sanmen County,Zhejiang Sanmen 317112,China)
【Abstract】 Assessment is an important part of the implementation stage of systematic training methods.It is one of the most effective ways to measure the effectiveness of training,and it is also the most timely way.As an important carrier of the examination,the examination and evaluation of the examination paper should receive sufficient attention.This paper discusses the status quo and importance of exam analysis in the field of nuclear power training,introduces the indicators and significance of the IAEA-recommended exam analysis,and establishes an Excel-based exam analysis method.
【Key words】 Systematic training method;Test analysis;Training effectiveness
中图分类号： F272.92;F426.61
文献标识码： A
文章编号： 2095-2457（2019）07-0266-003
DOI： 10.19694/j.cnki.issn2095-2457.2019.07.111
作者简介： 商寅（1986—）浙江湖州人，工程师，本科，研究方向为核电厂运行。
标签：系统化培训方法论文; 考试分析论文; 培训有效性论文; 三门核电有限公司论文;