教育调查问卷设计的基本原则及信效度检验方法
段圆园
(红河卫生职业学院,云南 红河)
摘 要: 作者归纳总结了教育问卷设计过程需要遵守语言清晰、一个题目调查一个问题,中立性,化繁为简,验证性题目设置,隐私问题间接问,题支的穷尽与不同维度,完整性,规范性等原则,从而提高问卷信度及效度。作者就SPSS17.0软件,对如何检测问卷信度和效度的具体方法进行了详细概述。
关键词: 教育问卷;基本原则;信度;效度
问卷调查是教育领域中一种重要的研究方法,但在许多公开期刊里,读者只能浏览研究人员提供的数据分析过程和最终结果,调查问卷却无从查找,那么问卷的质量、信度、效度等完全依赖作者的学术良知,是否真的设计了一份合理可信的问卷,还是有所隐瞒编制数据。假设,教育调查由一份不靠谱的问卷开始,无论调查目的如何明确,过程怎样具体,分析多么严谨,得到的结果具有价值吗?一步错,步步错,因此对于问卷质量的把控尤其重要,作者在科研课题之中也使用到问卷调查法,现将制作问卷的基本原则归纳如下。
一 教育问卷设计原则
(一) 语言清晰
在设计问卷题目时运用的语言应当能够被答题者一读即懂,切忌使用含糊不清的词语。当问卷中必须出现学生可能看不懂的专业术语时,需要在现场进行解释说明,或者在问卷里进行简要注解。问题不要带有歧义,例如“过去一周里你学习英语的时间有多少?”,“一周”概念就有歧义,是指代上个星期,还是指代从昨天算起的七天以前,不同的学生会有不同认知,最终影响问题的作答。
点评 通过一组低起点的客观题回顾三角形相似的判定和性质,在与学生的交流、追问中对相似的判定和性质进行了系统的梳理,揭示了灵活选用判定和性质的策略,引导学生自主小结、提升,促使学生系统地理解、掌握知识,形成灵活运用知识的能力.
(二) 一个题目只调查一个问题,涉及一个主体
一个题目中不要出现复合问题,否则将失去焦点,导致统计结果不准确。例如“有人说五年前学生没有条件学习微课,五年后所有人都可以学习微课,你觉得微课有趣吗?”这样的问题设计就有复合性,前半句是寻求答题者是否同意这是客观事实,后半句是探究答卷者的主观意向,不可一概而论。因将其一分为二,改为问题一“有人说五年前学生没有条件学习微课,五年后所有人都可以学习微课,你认为这种观点正确吗?”;问题二“你认为学习微课有趣吗?”
第三,网络威胁的防范能力不足。虽然各国适当加强了网络威胁防范措施,但许多国家仍未做好应对网络攻击的准备。在拥有核材料或核设施的国家和地区中,1/3缺乏基本的网络安全法规,2/3没有制订网络事件响应计划。自2016年以来,仅有12个国家加强了网络安全法规建设。仅有12个国家和地区在网络安全方面的得分是满分,确认这些这些国家和地区已经制定基础的网络安全法规。
用精炼的语言设计问题,不要过分赘述,避免句子冗长,否则适得其反。例如“在你的观点里,英语课堂中的哪个阶段对你的语言学习成绩的提高是最重要的?”过于冗长,可精简为“你认为英语课里哪个阶段最重要”,让读者一目了然。当然,也最好不要使用双重否定,因为读者在提取问题信息的过程中容易出错。比如“你不认为不使用网络学习英语是便利的吗?”双重否定的语言在一定程度上是烧脑的,将干扰选项。
(三) 保持问题中立性
作为一种科学的测量工具,问卷应当是客观的,问卷中的题支不能有指向性,直接或间接地影响答卷者的作答倾向。例如“大部分教师认为让学生利用互联网学习英语很重要,你是否同意这一观点?”教师在学校是权威地位,这样的描述方式会给答题学生造成压力,大部分老师都如此认为了学生还敢否认吗?因此,应当拿掉引导词语,改为客观描述“你认为使用互联学习英语重要吗?”,这样才能较为顺利获得学生真实想法。
(四) 化繁为简
一个题目中亦不能出现两个主体,这也是初级问卷编制者们很容易进入的误区。例如“你认为在英语学习中师生和生生交流重要吗?”,“师生”指代老师和学生之间的关系,“生生”则是指学生群体相互之间的关系,这是两个截然不同的概念,如若将两个主体拼在一道题里调查将有失信度。所以不同主体不容统一而论,应改成“你认为在英语学习中师生交流重要吗?”和“你认为在英语学习中生生交流重要吗?”两个问题。
(五) 验证性题目
(2)翻转课堂有利于自主学习能力的提升
(3)翻转课堂有利于教学效率的提高
(六) 隐私问题间接问
(4)翻转课堂有利于信息素养的提高
(七) 题支的穷尽与不同维度
题支的设计一定要穷尽。不穷尽的问卷选项会造成数据的不准确,信息的不真实。例如“你的大学生活费主要用于?A.购买日常用品;B.教育投资;C.旅行”显而易见此题的选项就没有穷尽,大学生群体思维开阔,很容易就会想到其他答案,从而做出随意的选择。该题加入“D.其他”选项就可以穷尽。
其次在题支编制过程中要避免选项处在同一维度,这将给答题者带来混乱感。例如“你是否愿意参加英语小组活动?A.十分愿意;B.不愿意,没兴趣;C.不愿意,没时间;D.遇到感兴趣的活动就参加”,此道题的B、C选项就是同一纬度的范畴,若必须调查清楚不参加的原因就需要把该题目划分成为不同的两个问题来测量才具备合理性。改为“1. 你是否愿意参加英语小组活动?A.十分愿意;B.不愿意;C.遇到感兴趣的活动就参加。 2. 不愿意参加英语小组活动的原因是什么?A.没兴趣;B.没时间;C.其他”
(八) 问卷的完整性
互联网的出现建立起了新型、高效的信息数据传播途径,加上网络的开放性和透明性,使互联网容纳了海量信息,也使各种思想相互碰撞、各种技术相互融合,大大拓宽了学生的视野。高校辅导员运用“互联网+”模式开展思想政治教育工作,不仅能帮助学生提高网络信息筛选以及网络信息辨别方面的能力,更能将互联网和高校思想政治教育工作结合起来,促进思想政治教育工作质量的提高。“互联网+”模式和思想政治教育工作实现深度结合,能实现线上线下的联动,学生通过参与线上线下活动,可以更多的和朋友互动、交流。
以作者的课题为例,首先定义调查核心内容——即“高职学生对翻转课堂的接受度”;其次确定调查的三个层次结构——分别是微课的有用性,翻转课堂中每个不同教学阶段的学生接受度,学生对翻转课堂的态度和看法;最后分解每一个层次结构的因素,做好具体问题编辑。以第三个层次结构即“学生对翻转课堂的态度和看法”为例,可以设置以下具体问题:
(一)综合性。第一,是美术和音乐的结合。如果说美术是一种视觉盛宴,那么,音乐则是一种听觉盛宴。当小学音乐教师在培养学生的审美能力时,就可以将视觉盛宴与听觉盛宴结合起来,并在视听结合的课堂氛围中调动学生的多种感官,以激发学生的创新意识,凸显奥尔夫音乐教学法的综合性。
(1)翻转课堂有利于英语综合应用能力的提升
有时候为了鉴别被调查对象是否采用了真实答案,编制者还应该在问卷中设置必要的重复性问题以求验证,重复性问题的设计和心理活动密切相关。例如第五个问题是“我喜欢观看英语课件、视频等”,在第十五个问题处可以再设置“我认为丰富多彩的电子类教学资源(如电子文档、视频、音频等)让英语课堂变得有趣”来判断答题者回答的有效性。因为两个问题的意义接近,却有不统一的表述方式,通常,问卷编制者将一至两个大同小异的问题排布在问卷不同位置,可以作为判断问卷有效性的方式之一(罗家德,2010)。
编制者要确保问卷的题目涵盖了研究课题的所有方面。完整性直接影响着调查问卷的效度。例如,“学生对翻转课堂接受度的调查”不仅要对现状进行调查,还要对造成学习现状的成因探寻究竟。为了达到问卷完整性,必须采用层次分析法,自上而下逐层分解问题,以最具体的题支结束设计,完成完整分量表。
这座博物馆小巧精致,通过丰富的展品向人们展示了厕所的发展历史、厕所文化的方方面面以及厕所技术的革新等内容。
高职学生已经是成年人,当问卷涉及高职学生的敏感问题时最好不要直接发问。比如,“你感到在英语课上集中注意力困难吗?”“你课后抽烟吗?”诸如此类也许会触及学生敏感区域问题,可以采用间接法假定情景,借第三人称之手提出问题。这样的问题可以改为“周围的同学感到英语课集中注意力困难”,“身边的高职学生是否用抽烟排解学习压力”。
(九) 规范性
问卷的设计要符合规范。导语详略有当,开头简明扼要介绍调查目的,讲明问卷是否替答题者保密,作答方式等,问卷结尾致谢。在作者的课题中,采用的是李克特五点量表法计量。在实践研究中,属于序列尺度的五点量表法是被允许使用的,五点量表尚且会存在统计误差,四点量表及三点量表就更难达到问卷设计的规范了。在教育问卷设计中,不乏诸如此类的问卷出现,如“你们学校经常组织工会活动吗?A.经常组织 ;B.偶尔组织”这样的问卷根本不具备信、效度。当然,问卷的开头也十分考究,有的编制者一来就问答卷人年龄、性别、婚否、家庭背景等,像公安局调查户口一般的语气与问题设置,开篇就不讨喜,达不到很好的调查效果。
二 问卷的效度、信度检验
(一) 效度检验
问卷效度是指它测量出的特性的有效程度,高效度表示测验结果越接近检测真实目的。高效度的问卷代表着问卷的正确性和有效性(柴辉,2010),并能够正确反映答卷者的此项特质。效度有内容效度和结构效度两类,由于内容效度是由专家评价的一种主观指标,所以作者在编制问卷过程中使用的是客观检验法即结构效度检验法。具体操作如下:使用SPSS17.0中的KMO对第一版问卷进行检测,KMO值越大,则偏相关系数平方和远远小于全部变量之间的简单相关系数平方和,这表明越合适进行因子分析(李灿,辛铃,2008)。选择Analyze下拉菜单中的 Dimension Reduction,随后点击Factor,跳出对话框后选择KMO and Bartlett’s test 进行因子适用性验查;进入Extraction图框点击Method,下拉菜单中选择主成分分析法Principal Components,Extract对话框中选择Eigenvalues over 1。
依据1974年Kaiser的研究结论,KMO值如若小于0.5则不能作为因子分析,说明问卷是无效的;KMO值大于0.7属于中等效度;大于0.8效度则比较高;如若KMO值高于0.9就是非常有效的问卷。对于Bartlett’s球形检验而言,因子分析过程中P值必须小于0.05,即存在显著性差异,才能进行因子分析(Dareen George,2006)。后人的问卷研究依旧在此基础上展开、探索。
天理图书馆收藏17号敦煌写卷,主要来自李盛铎、许承尧、张大千等旧藏,其中张大千旧藏构成了天理图书馆藏品的主体。这批文献的主要内容是汉文佛典,还有藏文、回鹘文等佛教、道教经典,以及论语、诗经、开蒙要训、社司转帖、本草等残卷等。除写本外,该馆还藏有大谷探险队带回的敦煌纸本绘画“玄奘三藏像”,但入藏途径尚未明。
(二) 信度检验
信度反映了检测工具的可靠性、稳定性,对相同事物进行反复测量且结果越是一致,说明检测工具的信度值越高,检验结果越真实。SPSS采用Cronbach’α系数,计算出来的信度数值范围在0-1之间,数值越大说明信度越高,学术界认为0.8以上的问卷才有调查价值,0.9以上的信度被视为最佳调查问卷。再初测时,如果信度不高需要修改问卷题目,一般情况下α数值随题目数量的增加而增加;如果删除部分问题反而使得α系数提高,说明剔除的问题与其他题目相关性很少,所以删除这部分问题反而使整一份问卷的总相关性提升了。
具体操作如下:SPSS17.0 菜单栏里选择Analyze,点击Scale,子菜单里选中Reliability Analysis;在跳出的对话框里选中需要分析的问卷18个变量,随后单击Model选项,出现五个选择(Cronbach α,Split-half,Spearman-Brown,Guttman,Parallel, Trict Parallel)作者采用的是Cronbach α即内部一致性来检测该问卷信度,选中相应按键,得到最终信度结果。
三 结语
问卷传达了课题研究者心之所想,是调查命脉所在。设计问卷一方面需要遵守最基本的原则和流程,要能准确、科学地检测出测量结果;但另一方面被调查群体是人,还需要了解受测试群体的文化背景、情感动机,接受能力等,并将其艺术性地融入每个问题的语言表述当中。所以编制问卷对教师们来说既是一项科学技能,也是一门语言艺术。
参考文献
[1] 钟柏昌,黄峰.问卷设计的基本原则与问题分析——以某校2011年教育学硕士学位论文为例[J].学位与研究生教育,2012(3):67-72.
[2] 柴辉,调查问卷设计中信度及效度检验方法研究[J].世界科技研究与发展,2010(4):548-550.
[3] 李灿,辛铃.调查问卷的信度与效度的评价方法研究[J].中国卫生统计,2008,25(5):541-544.
[4] 罗家德.社会网分析讲义[M].北京:社会文献科学出版社,2010.
[5] Dareen George, Paul Mallery. 心理学专业SPSS 13.0步步通[M].北京:世界图书出版公司,2006,256.
本文引用格式: 段圆园.教育调查问卷设计的基本原则及信效度检验方法[J]. 教育现代化,2019,6(28):101-103.
DOI: 10.16541/j.cnki.2095-8420.2019.28.041
基金项目: 红河州教育局“十三五”规划第二批课题一般课题“‘一带一路’战略下翻转课堂模式在高职英语中的构建与应用”(课题编号1352130)阶段性成果之一。
作者简介: 段圆园,女,云南曲靖人,红河卫生职业学院,讲师,本科学历。研究方向:英语教学。
标签:教育问卷论文; 基本原则论文; 信度论文; 效度论文; 红河卫生职业学院论文;