陈伟焘 林新锋 赵馥 江其龙 雷艳艳 罗苑苑 郑述铭 徐运升
【摘 要】 背景 医学教育模式的改变对重症医学的临床带教提出了更高的要求，为其临床实践搭建分层级的教学体系，并探索如何利用数据化的结果指导临床带教各个环节进行细化、改进。研究方法 所有轮转我院重症医学科（Intensive Care Unit，ICU）的人员，均需按不同的轮科时间分阶段完成《重症医学科技能学习规划表》1份，并各于入科后3天内、出科前1周内接受与此相关的测评，对考核成绩的均值±标准差、知识点的难度和区分度进行教育测量学分析。主要结果 为期8个月的研究（2014年5-12月）中，实际在ICU轮科人员103人，共回收有效的入科测评 96份和出科测评 94份，其中入科考核成绩的均值±标准差为59.95±13.15（95%CI 57.28-62.21），出科考核为59.79±14.55（95%CI 56.82-62.75），P=0.936，两者无统计学差异；而轮科时间≥2个月的16位轮科人员成绩的亚组分析发现，入科测评的均值±标准差为69.12±9.44（95%CI 63.47-73.65），而出科测评为75.63±11.49（95%CI 69.42-82.33），P=0.017，比值比（Odds Ratio，OR）4.664。同时可实现每条题目的难度、区分度的测算。结论 ICU的临床教学效果可通过合理的层级教学来提升，并实现量化分析，测算各个知识点的难度、区分度，为进一步调整优化提供了教育测量学参考。
【关键词】 量化分析；临床实习；提纲式教学；形成性评价；教育测量
Educational measurement parameters can analyze and quantify the effect of clinical teaching in the intensive care unit Wei-tao Chen, Xin-fen Lin, Fu Zhao, Qi-long Jiang, Yan-Yan Lei, Yuan-Yuan Luo, Shu-ming Zheng and Yun-sheng Xu. Department of Critical care Medicine, First Affiliated Hospital of Guangzhou University of Chinese Medicine, Guangzhou, GD 510405, China
【Abstract】 Introduction Teaching in the intensive care unit(ICU) can be challenging as a core-learning environment is undergoing tremendous changes. We assessed educational measurement parameters to see how the effect may be improved. Methods All medical students rotated in this academic general ICU during a 8-months period were invited to join an ICU core-skill training program, tested both before and after the rotation, results were entered into a prospectively collected quality control database, scores were calculated by Mean value± Standard deviation(Mean ± SD), the Difficulty and Discrimination of test items were analyzed and quantified as educational measurement parameters.Results Over the 8-months period (May – December 2014), a total of 103 students joined the program, 96 valid pre-rotation examination papers (59.95±13.15, [95% confidence interval {CI:} 57.28-62.21]) whereas 94 post-rotation ones (59.79±14.55, 95% CI: 56.82-62.75) were entered into the database, no significantly improve was shown overall the students (p=0.936). However, the post-rotation test scores increased (69.12±9.44 to 75.63±11.49, p=0.017) among the subgroup of whom rotated in ICU ≥ 2 months, with an odds ratio (OR) of 4.664. The Difficulty and Discrimination of each test item were also calculated.Conclusions In the general ICU, students who with extended rotation period resulted in higher scores of educational measurement parameters, which is an option to analyze and quantify the effect of clinical teaching of critical care medicine.
【Key Words】 quantitative analysis; clinical skills; program director; education; training; residency
危重病医学（Critical care medicine，CCM）作为一门研究危重病发生、发展及诊断治疗的临床综合学科[1]，从教学需求而言，更强调从理论到实践的垂直式、跨学科、广覆盖[2]，本研究课题在对临床型硕博士研究生、住院医师规范化培训学员进行临床带教时，尝试摸索一套有规划、分阶段、多层次的培养模式，并将部分教育测量学指标用于其的教学评估中，探索出一定的经验，现总结叙述如下：
资料与方法
1．教学体系搭建与研究步骤
1.1 围绕临床实践的教学规划[9、10、11]
我们借用教育测量的内涵实质，并参考国内外临床教学培训项目的经验，将ICU临床实习的考核，以已经运行2年的《重症医学科技能学习规划》，作为一份大纲，该规划分由易至难的四个阶段作为“提纲”，每个阶段设置与其难易程度相对应的“任务”若干，每个任务即为一个知识点，纲举目张，将ICU中实践性极强、而又纷繁复杂的临床教学内容转化为一个A4纸张大小可容纳的方便携带的表格；在每个轮科周期的第一天发至各位轮科医学生的手中；并根据不同轮科时间、不同学历层次、不同轮科需求的医学生或轮科医生作出相应要求，初步搭建分层次的重症医学临床实践教学体系。
1.2 紧扣临床需求的晨间小课[12]
如此众多的知识点，除了有“提纲”，还需要有围绕其展开的各个知识点的主动输出，自2012年1月至2014年12月，我科共讲授小课142节；每周五晨交班后，设计时长为10-20min的小课容量：先提出临床或教学上面临的亟待解决的情况，后围绕其展开和阐述，涉及不同深度、广度的知识点法[11]，既包括转运呼吸机、振动排痰仪、PiCCO、视频喉镜等器械的使用，又细述各种专科操作如纤支镜引导下清醒气管插管、经膀胱腹内压测定、深静脉穿刺置管等的注意事项，亦追踪国内外最新文献指南进行精读，还有立足中国重症医学专科资质培训（Chinese Critical Care Certification Course，5C）教材的知识点讲解。从2013年2月开始注重讲者之间的集体备课与经验交流以来，累计制作并保存的相应课件达107个；以PDF格式保存于印象笔记?企业版（Evernote?Business），科室讲者之间内部资源共享、鼓励良性竞争、互相促进提高。
1.3 针对临床操作的流程规范
在执行各种专科操作的前、中、后，临床带教均应用CheckList，我科已结合本科室实际，制作如《经皮气管切开术CheckList》、《气管插管CheckList》、《床旁鼻肠管置入ChekList》等，对完成了较高层级《重症医学科技能学习规划》的培训学员、研究生，逐步允许进行在带教老师指导下的临床实践，规范操作习惯，已初步显现教学便利性与优势，将继续深化并进行数据挖掘。
1.4 立足临床考核的测评手段
有上述两步规划的铺垫，为了实现“量化”的效果，教师队伍本身需要在教中学、啃透知识点、编写考核试题、形成可随机抽取试题的题库，是摸清教学过程中各个影响量化结果环节的基础，同时也是得到可量化数据的重要途径，因此我科在2014年2月开始组织人员分解题库编写任务，由专人将题干和选项、出处、解释，进行汇总、归类、编码、复核，并从2014年5月始根据比例随机抽取题目，形成每月的入科/出科测评试卷。截至2014年12月共汇总试题522条，形成试卷16套。
1.5 评估带教效果的量化分析
2014年5月至2014年12月，实际在我院重症医学科（ICU）轮科人员103人，在入科后的三天内、出科前的一周内，分别对其进行入科/出科测评，每份试卷题目设定为客观题20题，答卷时间30分钟，由教学秘书监考并即时评分，出科测评结束后进行试题答疑。每份试卷均被回收，成绩统一录入，并每月进行数据初步分析，反馈至题库编写的各成员，以作为题干、干扰选项的调整参考依据。
运行期间共回收有效试卷数：入科试卷 96份，出科试卷 94份，以此为基础进行下述数据分析与挖掘。
1.5 统计学方法
1.5.1 统计软件
试题、数据汇总/归档：应用Microsoft Office Excel（版本：2010 for Windows XP/ 2011 for Mac OS）；数据初步分析：应用Apple iWork Numbers（版本：3.5 for Mac OS/ 2.5.2 for iOS）；数据统计：应用SPSS Statistics（版本：22.0 for Mac OS，IBM Group Inc.）；数据图生成：应用Graphpad Prism（版本：6.0 for Mac OS，GraphPad Software Inc.）。
1.5.2 数据描述
计量资料以均数±标准差（ ±s）、中位数、最大值、最小值描述；
计数资料以例数、百分率(%)表示。
1.5.3 数据统计
计量数据组间比较采用t检验，在α=5%水平上，假设检验采用双尾、双样本方差齐性检验，前后对比数据（Before-after）采用单尾、配对检验；
对单因素分析差异有统计学意义的因素行多因素Logistic回归分析，计算回归系数、P值、95%CI及OR值；
计数资料组间比较采用卡方（x2）检验；
非参数变量的组间比较采用秩和检验；
以P<0.05作为有统计学意义的标准，以P<0.01作为具有显著统计学意义的标准。
研究结果
1．成绩一览
2014年5月至2014年12月，实际在我院重症医学科（ICU）轮科人员103人，运行期间共回收有效的测评：入科试卷 96份，出科试卷 94份。分析参与入科/出科测评的全部考生的卷面成绩，其中入科测评的96份试卷，最高分85，最低分35，平均59.95±13.15，95%CI 57.28 to 62.21；出科测评的94份，最高分90，最低分20，平均59.79±14.55，95%CI 56.82 to 62.75。
1.1 全部轮科人员的入科/出科测评成绩（详见表1、图1）
图2 轮科时间≥2个月人员的入科/出科测评成绩分布及其前后对比
2．试题的教育测量学指标分析
2.1 指标分析步骤及公式
2.1.1 将2014年5月至2014年12月期间的入科和出科试卷中抽取的题目，尝试进行教育测量学分析，初步选择难度和区分度两个指标。
2.1.2 题目难度
针对客观性试题，测算题目的难度（Difficulty）目前教育界广为接受的公式为“通过人数”占“总人数”的百分比，称为“通过率”（Pass rate，通常用P表示），采用这种定义法，其大小与难度高低成反比，难度值小时表明试题难，值大时表明试题容易，最小值为0，最大值为1。[7、8]
P = R / N
（R 为答对人数，N 为全体人数）[7、8]
2.1.3 题目区分度
测验目的就是将被试者的水平加以区别，题目区分度（Discrimination）又称项目的鉴别力，指题目的得分对被试者的实际能力水平的区分或鉴别能力（通常用D表示），最小值为-1，最大值为1。
将测评总得分从高到低排列,从高分一端开始选取27%作为高分组，从低分端选取27%作为低分组；根据抽样人数，分别计算出高分组和低分组在某题目上的通过率 P，再应用以下公式求出区分度D：
D = PH - PL
（PH为高分组在该题目上的通过率；PL为低分组在该题目上的通过率，在水平相近、数量偏小的样本中，采用27%（而非33%）作为计算标准。）[6、7]
2.1.4 指标分析结果
为统计每条题目的难度与区分度，我们首先将每份试卷每条题目的考生答题情况（包括错误选择的分布情况），作初步数据录入；且考虑到单次测评的样本量较小，通过后期筛查，我们将多次测评中抽到的相同题目数据，再进一步合并处理。
讨 论
本研究对重症医学的临床带教尝试分层级构建教学体系，并按照教学测量学的评估思路进行设计，得出一系列数据，并寄望据此基础，为日后的进一步研究作好铺垫。
1．从所有接受测评者的总体分数初步对比中，测评成绩在入科至出科考核之间保持稳定，入科测评的96份试卷，平均59.95±13.15，95%CI 57.28 to 62.21，而出科测评的94份，平均59.79±14.55，95%CI 56.82 to 62.75，而未见明显提升，原因分析如下：
1.1 总计16份试卷的题目生成，均以题库中对应《技能学习规划表》的第一至四阶段的索引，按照比例随机抽取，反映试卷、题库的质量基本保持稳定；
1.2 由于重症医学的学科特性、其教学及与之对应的测评的特点，决定了所涵盖的专业知识有相当的广度与深度，并非1个月的轮科学习时间便能登堂入室的；
1.3 如果将轮科≥2个月的医学生数据进行亚组分析，入科测评的16份试卷，平均69.12± 9.44，95%CI 63.47 to 73.65，而出科测评的16份试卷，平均75.63±11.49，95%CI 69.42 to 82.33，P值0.017，比值比（OR）为4.664，使我们认为适当延长轮科研究生、规培医师、住院医师在ICU临床实习的时限，可使其获益更大，该结论亦符合临床实习教学的客观规律。
2．根据进一步对逐条题目分析所得的难度、区分度信息，比对《技能学习规划》中各个对应项目（第N阶段 - 第n考点），拟以此作为考核知识点在不同阶段间调整、试题合理性评估的参考数据。
2.1 题目的鉴别指数和评价标准（R.L. Ebel，1965）[8、13]如下：≥0.4代表该题目的鉴别力很好；0.3-0.39代表该题目的鉴别力良好，修改后更佳；0.2-0.29代表鉴别力尚可，但需修改；＜0.19代表鉴别力差，应考虑淘汰。
2.2 然而，教育测量学的指标，并不能作为评估题目合理性的唯一标准，文民刚等[7]认为由于医学是极特殊的行业，对于一些看似略为简单的内容（如“青霉素使用前是否需要行过敏试验”之类的题目），鉴于问题本身对于医学教学的重要性，考试专家仍认为应将此类试题纳入到题库中，这是医疗目标参照考试的鲜明特点之一。
2.3 同时，题目编纂时部分未被注意的因素可能也影响了最终得分，参考国外同行的经验[14、15]，我们希望与考生建立更充分的沟通机制，包括出科测评后的试题解答与反馈、为所有轮科人员与带教老师建立微信群增进沟通，有些时候能获得出乎我们意料的信息，包括：“最佳选项”，而避免使用“正确/错误”的题干表述，可能更合适现在迅猛更新的循证医学时代；5C教材的部分概念，与医学生（特别是非重症医学专业的研究生）平时所阅读学习的书本上的表述方式略有不同，在答题时可能造成干扰；轮科期间的不良体验，主要体现在：感觉在临床工作中不被欢迎/被忽略、被带教内容未能让学生提前准备充分、缺乏恰当的带教技巧，可能亦是令学生（特别是轮科时间较短的学生）求知积极性下降、测评成绩未如预期的原因之一。
3．局限性
本研究是前瞻性研究，但因临床教学的特性，无法进行随机双盲对照，且观察时间相对较短、样本数量尚不够大，难以对答题的犹豫时间、对干扰选项的曾经选择次数等有更深入系统的捕捉，未能实现动态分配作答题目、使不同专业不同年级的医学生之间在生成的试卷上有所区别，希望在下一阶段的研究中，扩大样本量及延长观察时间，改进考核手段，进行更进一步更充分的试验，以期获得更为客观的结果。
结 论（Conclusion）
本研究提示ICU的临床带教应构建分层级的教学体系，其效果评估可实现量化分析，尽管在全部测评者的考评成绩的前后对比中没有明显统计学意义，但在轮科≥2个月的亚组分析中，可发现出科测评较入科测评有所进步，提示延长轮科时间可令轮科人员获益；若能通过提高题目的区分度，并根据轮科医学生的专业、轮科时限等选定题目的难度，将更有利于临床实习效果的分析。由于临床医学知识的快速更新及临床工作的繁重，仅仅靠上述的教学方法仍无法满足现有的临床带教需求，因此我们希望在目前的研究成果基础上，利用互动式网络教学平台来提高临床教学的便利性、针对性以及效率，实现对临床实习效果的进一步分析，推动临床教学的发展。
参考文献
[1]刘大为. 危重病医学主治医生600问[M]. 北京：北京医科大学中国协和医科大学联合出版社，1998：211.
[2]林新锋. 重症监护室（ICU）的临床教学初探[J]. 医学教育探索，2008，7（6）：610-611.
[3]季红，蒋犁，陈洪等. 临床实习量化管理和考核的研究与探讨[J]. 中国高等医学教育，2007（5）：3-5.
[4]王磊，刘倩. 量化管理模式对提高医学生临床实习效果的研究[J]. 中国高等医学教育，2009；（12）：3-4.
[5]王慧萍，谢波，庄冬云. 实行临床实习量化管理提高临床实习质量[J]. 中国高等医学教育，2009（12）：17-18.
[6]黄颖，林端宜. 试卷分析研究现状综述[J]. 西北医学教育，2005（01）：39-40.
[7]文民刚，张立力，胡桂等. 对教育测量学中几个重要评价指标的再认识[J]. 中国高等医学教育，2002（2）：5, 33.
[8]张敏强. 教育测量学[M].第一版，北京：人民教育出版社，1997：10-14.
[9]Gaies MG, Landrigan CP, Hafler JP, et al. Assessing procedural skills training in pediatric residency programs[J]. Pediatrics，2007，120（4）：715-722.
[10]陈伟焘，赵馥，叶金. 提纲式、任务式教学法融合的重症医学临床教学模式[J]. 中国中医药现代远程教育，2013，11（10）：58-59.
[11]赵馥，林新峰，罗苑苑等. 重症医学科中医实习生带教模式探讨[J]. 中国中医药现代远程教育，2014，4（12）：83-84.
[12]陈伟焘，叶金. 反向教学法在ICU临床教学中的探索[J]. 中医药管理杂志，2011，9（28）：880-881.
[13]Ebel RL. Measuring educational achievement[M]. Englewood Cliffs，N.J：Prentice-Hall，1965.
[14]Trainor JL, Krug SE. The training of pediatric residents in the care of acutely ill and injured children[J]. Archives of pediatrics & adolescent medicine，2000，154（11）：1154-1159.
[15]Chapman SJ, Hakeem AR, Marangoni G, et al. How can we enhance undergraduate medical training in the operating room? A survey of student attitudes and opinions[J]. Journal of surgical education，2013， 70（3）：326-333.
论文作者:陈伟焘,林新锋,赵馥,江其龙,雷艳艳,罗苑苑,郑
论文发表刊物:《中华临床医师杂志》(电子版)2016年2月第4期
论文发表时间:2016/7/18
标签：题目论文; 试卷论文; 医学论文; 重症论文; 测量学论文; 试题论文; 数据论文; 《中华临床医师杂志》(电子版)2016年2月第4期论文;