研究生管理科 650118
【摘要】
目的:1.分析云南省某肿瘤专科医院科研水平现状及现行绩效评价指标体系。2.建立新的某肿瘤专科医院科研绩效评价指标体系，选取代表性科室进行指标评价，并与现有评价体系做对比。3.将研究结果向某肿瘤专科医院相关部门反馈，为建立和完善新型医院科研绩效评价体系提供参考依据。
方法:1.收集整理某肿瘤专科医院2008年-2012年科研绩效评价资料及某肿瘤专科医院现行科研绩效评价体系资料。2.参照卫生部关于医院科研评价的相关规定及云南省现行使用的医院科研有关规定，在某肿瘤专科医院十余年的实践经验基础上，通过Delphi专家咨询法建立某肿瘤专科医院科研绩效评价指标体系。3.通过层次分析法计算各指标权重，并确定指标信度、效度。
关键词:医院科研绩效评价、指标体系、Delphi专家咨询法、层次分析法
1研究背景
科研是医院发展的根本和动力，如何在有限的资源下，达到效率的提高，得到一个好的绩效，是每一位科研管理工作者值得深思的问题。
1.1科研绩效评价的建立
目前医院科研绩效评估工作具有复杂性、滞后性等特点，为提高医院科研管理能力，探索一套科学合理、可操作性、符合医院特性的的科研绩效评价体系已成为科研管理者面临的核心问题。
医院科研绩效评估是对医院开展科学研究工作的投入与产出的全过程及成果做出客观、公正和真实的价值判断，是医院科研管理的重要手段[2]。
科研绩效评估指标体系是对科技活动和科研成绩效果的评估。医学科研绩效评估是提高科研管理的效率和水平的重要因素[3]。科研绩效评价是对专职或兼职科研人员从事科研工作的表现做出评价。合理的科研绩效评价指标体系能合理地鉴定科研工作者的的实际贡献，为实施科研奖励提供准确的依据，从而有效地激发科研人员的创造潜能。真实反应科研工作者的科研能力和专业素质[4]。从而促进医院科研工作发展。
科研绩效评价的方法是在评价实践中逐步发展和完善的。最初基本都采用定性分析的方法进行，受主观因素影响较大。为此，人们逐渐把一些数学、统计学、运筹学和经济学等学科的方法引入到科研评价中来，增强评价结果的客观性。科研评价逐渐进入定性分析和定量分析相结合的阶段，评价质量有了质的提高。目前，很多国家科研评价是以定性分析为基础，以定量分析为手段，采用定性与定量相结合的方法进行评价。常用的定性评价法主要有同行评议法，常用的定量评价法主要有文献计量法、科学计量法等，而综合评价法主要有层次分析法、多指标综合评价法等。而评价的过程中更多的需要要对诸多定量和定性的不确定性指标进行综合评价。综合评价的方法比较多，简单的有专家评价法、打分法、排序法、平均指数法、功效系数法等，复杂的有主成分分析法、因子分析法、层次分析法、模糊数学法、神经网络法以及灰色系统等，各种方法各有特点，有其适用范围，但也有应用的局限性。
科研绩效评价指标的选取遵循以下几个原则[5]：
科研绩效评价指标构建时，应遵循科学性、合理性、整体性、导向性、可操作性、可比性、兼顾性和可验证量化性等原则[6]。
1.3 某肿瘤专科医院开展科研评价后的对比优化
某肿瘤专科医院是一家集医疗、教学、科研为一体的肿瘤专科医院，科研力量相对薄弱，医院医护人员精力主要放在临床和教学工作中，对科研的认知和重视程度相对不足。从1992年建院以来，重大科研项目相对较少，科研成果不多。因此，为某肿瘤专科医院建立一套的科研绩效评价体系具有以下几方面意义：
(1)科学评价医院科学研究的结题绩效水平，有利于提高医院科学研究的质量，提高医院科研工作的效率，减少重复工作，提高医院的整体竟争力。
(2)科研绩效评价的结果为医院内部人员的晋升、选拔、奖惩等人力资源管理决策提供依据。通过科学合理的绩效评估，医院科研人员科研劳动成果得到认定，可以调动科研人员的积极性。同时为医院奖惩、晋升、选拔等多种人力资源管理决策提供重要的信息依据，因此其导向作用、激励作用、监督作用、鉴定作用的意义十分明显。
(3)科研绩效评价能使医院科研管理部门明确医院科研建设目标的实现情况，为其制定管理决策提供科学的依据。
2 研究目的
2.1 研究目的
(1) 分析云南省某肿瘤专科医院科研水平现状及现行绩效评价指标体系。
(2) 建立新的某肿瘤专科医院科研绩效评价指标体系，选取代表性科室进行指标试用，并与现有评价体系下做对比。
(3) 将研究结果向某肿瘤专科医院相关部门反馈，为建立和完善医院科研绩效评价体系提供参考依据。
2.2 理论框架
2.3 技术路线
3 研究内容
3.1研究对象
3.1.1调查点
某肿瘤专科医院。搜集某肿瘤专科医院2008年至2012年科研绩效水平及现行绩效评价体系资料。
3.1.2访谈对象
某肿瘤专科医院部分科研科工作人员4名、临床科室主任、科研秘书35名。
3.1.3咨询对象
昆明医科大学各个附属医院的专家25名。
3.2研究方法
3.2.1文献资料法
对CBM、CNKI、万方、Pubmed、FMJS等数据库相关文献进行检索，从政府网站上收集整理相关的法律法规和政策文件，系统回顾国内外关于医院科研绩效评价的相关理论和研究成果。
3.2.2 定性访谈
对某肿瘤专科医院科研科工作人员4名、主要临床及医技科室主任及科研秘书35名采用半结构式访谈进行个人深入访谈。访谈主要内容为：对现行科研绩效评价体系的评价、意见和建议。
3.3.3 Delphi专家咨询法
本次研究采用Delphi专家咨询法，对某肿瘤专科医院科研绩效评价指标及其权重进行专家咨询，建立某肿瘤专科医院科研绩效评价指标体系。
(1) 成立Delphi预测小组
预测小组由5人组成，包括内科主任、外科主任、医技科室科主任、医院管理学专家、统计分析人员各1人;主要任务为:根据专家咨询的主体编制调查表、确定咨询专家的条件、选择专家、对咨询结果进行整理。
(2) 确定咨询专家
结合科研统计指标体系和Delphi专家咨询法的要求，对于某肿瘤专科医院遴选专家范围，应该选择本院及省内对医学科研较为熟悉，具有一定的医学科研实践经验或管理经验丰富的专家25名。涉及临床各科室及各职能管理部门，专家的选择原则是需要从事医学相关专业；具有中级或中级以上职称；所从事专业领域工作时间10年以上。按照以上条件同时注意学科、年龄、性别的分布，拟定咨询专家的名单，从昆明医科大学各附属医院专家库中抽调。
(3) 咨询表的设计
结合某肿瘤专科医院科研评价的要求制定本次研究的专家咨询表，内容和指标见附录1。
(4) 预测轮数
一般Delphi专家法采用两到三轮为宜，一系列预测实践表明，通过两轮意见已相当协调，因此本研究采用两轮咨询。
(5) 调查表的发放和回收
调查表直接由调查人员送交专家本人，三天内由调查人员收回。
(6) 依照专家咨询结果建立考核指标体系。
3.3数据处理与统计分析
结果采用Epidata3.1软件录入，双人核实，保证录入无误。运用SPSS、Excel 统计软件进行层次分析、聚类分析等统计分析。
3.4质量控制
3.4.1 调查前
调查前对课题组成员进行培训;建立指标预测小组，结合要求参考某肿瘤专科医院实际情况征求各临床、医技科室主任意见，设计考核模块及指标、专家咨询调查表。
3.4.2调查中
所有调查表于送出三日内收回，当场核查是否符合规范，不合要求退回重填。保证了所有调查表的有效性。
3.4.3调查后
采用spss建立数据库，录入调查结果的数据；运用SPSS、Excel软件进行统计分析。
4 研究结果
4.1 某肿瘤专科医院科研水平现状及现行绩效评价体系
某肿瘤专科医院是云南省唯一一家集医疗、科研、教学、预防于一体的肿瘤专科医院，是云南省肿瘤防治研究、人才培养及肿瘤学术交流的中心。医院始建于1984年，于1992年正式开诊。现有编制病床1500张，设有23个临床科室，11个医技科室。
4.1.1 某肿瘤专科医院科研水平现状
(1) 科研人员
医院现有职工1400余人，其中高级职称148人，博士26人，硕士176人；博士生导师4人，硕士生导45人；云南省医学领军人才2人，云南省学科带头人5人。省级学术技术带头人2人、市级1人；省级学术后备人才1人；参与科研人员116人。
(2) 科研投入情况
经费投入方面，由2008年的324.10万元增长至2012年的1051.40万元，涨幅达224.41%。人力投入方面，2008年至2012年呈上升趋势。科研项目方面，2008年至2012年获得立项科研项目总数呈小幅上升趋势，2010年有所下降，国家级项目明显增多。详见表1。
(3) 科研产出情况
发表期刊论文方面，发表论文总数由2010年的357篇增多至2012年的398篇，增多11.48%，其中SCI文章由2008年的0篇增多至2012年的6篇。取得专著及专利方面有小幅增多。取得科研成果方面，2008年至2012年均为国家级科技成果，省部级科技成果小幅上升。详见表2。
4.1.2 某肿瘤专科医院现行科研绩效评价体系
(1) 科研绩效评价组织机构
某肿瘤专科医院科研绩效评价主要是在医院年度责任目标考核领导小组及主管副院长领导下，医院科研科对临床、医技科室进行具体考核。详见图3。
(2) 科研绩效评价指标体系
①指标体系的建立
首先由主管副院长提出建立一套相对公平、能体现科室科研工作水平的指标。随后科研科按照其意见制定详细指标体系。指标体系经主管副院长审核、院长办公室通过后交由各临床科室执行。在执行及评价过程中若发现问题，由科研科组织科室人员讨论，制定相应整改措施，调整指标，经主管副院长审核通过后，在下一年的考核中执行。
②现行指标
目前某肿瘤专科医院科研绩效评价指标包括13项，主要内容为：申报科研项目、完成成果鉴定/评定/评审、参加及举办继续医学教育培训班、举办学术讲座、健康教育活动、发表论文、外派学习交流等。指标评分由基础分和加分组成。基础分总分为50分，完成者得分，未完成或完成不全者不得分或扣除一定分数。部分指标存在加分条目，完成者获得相应加分。考核表详见附录2。
(3) 科研绩效评价方法
具体考核由科研科负责。科研科抽出3名工作人员根据考核评价标准对科室科研年度完成情况进行客观、公正评分，考核周期为一年。主要工作流程见图4
4.1.3调查对象对现行科研绩效评价体系的评价
针对科研科工作人员的访谈显示，普遍认为现行科研绩效评价体系组织结构、评价操作方法基本合理，而评价指标由他们主要确立显得很主观，不够科学。
针对主要临床、医技科室主任及科研秘书的访谈显示，普遍认为现行科研绩效评价体系指标制定未广泛征求意见，建立不够科学；评价指标存在不合理之处，如指标内容及分值不考虑科室具体情况不同，小科室及医技科室认为评价不够公平；同时被考核科室没有统一、正式的渠道向科研科反映意见。
4.2 某肿瘤专科医院科研绩效评价指标体系构建
4.2.1专家咨询结果及评估
(1) 咨询专家的情况
研究共进行了两轮专家函询。第一轮专家函询发出问卷25份，收回问卷21份，有效问卷2l份，有效回表率为84%；第二轮专家函询发出问卷21份，收回问卷20份，有效问卷19份，有效回表率为90．48%。专家中，两轮函询工作年限20年以上者分别占66．67%、73．69%；副高以上职称者分别占95．24%、94．74%；硕士研究生以上学历者分别占90．48%、89．47%。
(2) 专家的权威程度
专家权威程度根据专家自填的“判断依据及其影响程度量化表”及“专家对问题的熟悉程度表”得出，判断标准见表3和表4。
权威系数为判断系数和熟悉程度系数的算术平均值，专家的权威程度由专家对方案做出判断的依据和专家对所调査内容的熟悉程度这两个因素同时决定，计算公式为：
专家权威系数大于0.7即认为本次调査结果可靠。从表10可见，对于两项一级指标，两轮函询判断依据对专家的影响程度系数在0.8以上，影响程度为中等；对于两项一级指标，两轮函询熟悉程度系数均在0.6—0.8之间，表明专家对所函询的问题较熟悉或熟悉。对于两项一级指标，两轮函询专家权威程度均在0.7—0.9之间，两轮函询专家权威程度的平均值分别为0.761和0.738，说明专家权威程度较高，可保证指标的可靠性。
(3)专家的积极系数
专家的积极系数是指专家对本项研究的关心、合作的程度。这是进行专家咨询的关键性问题，如果专家对咨询的项目及内容积极性不高或不合作，此次咨询就失去了意义。其计算方法为，参与对j方案咨询的专家，占全部专家数之比。
本次咨询Caj=80.10%;第一轮专家函询发出问卷25份，收回问卷21份，有效问卷2l份，有效回表率为84％；第二轮专家函询发出问卷21份，收回问卷20份，有效问卷19份，有效回表率为90．48％。充分说明了所咨询的专家对本项研究的关心、合作程度很高。
(4)专家意见的协调程度
协调系数反映专家彼此之间对各指标给出的重要性得分是否存在较大分歧，通过计算肯德尔和谐系数并进行显著性检验反映专家意见的协调程度。肯德尔和谐系数W在0-1之间波动，W越大，意味着专家协调程度越高。本研究第一轮函询四项一级指标协调系数w在0．11—0．23之间，第二轮函询协调系数w提高到0．45—0．52之间，,两轮函询的协调系数经检验差异具有统计学的显著性(均为P<0．01)。结果见表6。
4.2.2 科研绩效评价指标体系形成
(1)指标体系形成过程
本次针对专家的科研绩效评价指标问卷调查研究遵循科学性、可比性、引导性、可搡作性的原则选择具体的绩效评价指标，同时参考其余关于医院发展科研绩效指标体系的研究与建立的研究，结合某肿瘤专科医院的科研特点，确定了指标雏形，包括投入、课题产出及非课题产出3项一级指标，11项二级指标。
在第一轮调查问卷中，专家对一级和二级指标都可以提出增、删、改的意见。其中第一轮25位专家中有三位专家对指标体系提出了意见，其中两位专家为科研管理专家、一位专家为临床科室专家。第一轮调查中专家提出意见人数过少，原因可能是专家选择多是来自临床科室的主任医师，日常诊疗工作比较繁忙。具体意见如下：
①应增加对项目的总体评价，例如用优、中、差来评价；应增加二级指标的评价标准，并咨询专家意见。对项目的总体评价，在应用确定的指标体系评价医院整体科研水平时可以根据最后的得分进行定性评价，例如分为优、良、中、差4个等级。
②某肿瘤专科医院的医院科研评估中投入情况中人力、物力、财力情况最重要，项目的产出应以培养人才和发表论文为主，专利的申请对于课题来说难度较大，应删除。但根据有关专家的意见又给予保留。
③应充分考虑到科研课题的创新性。考虑到医院科研课题的主要目的不是创新性，而是偏基础的培育类课题，同时创新性较难定义和评价，所以暂时未加入该指标。
第二轮调查问卷的形式与第一轮调査问卷基本保持一致，去掉专家一般情况的调查和专家对各个指标熟悉的选项，向各位专家反馈的结果为第一轮调査中各个指标各重要性得分的构成比。
(2)指标最终确立
综合两轮专家函询意见，最终确立三级指标。一级指标3项：投入、课题产出、非课题产出；二级指标8项：人力、经费、人才培养与研究基地、论文、著作、专利、技术转让、获奖。三级指标49项。具体指标及编码见图5。
(3)指标权重的确定
指标权重是某被测对象各个考察指标在整体中价值的高低和相对重要的程度以及所占比例的大小量化值。指标权重可以反映出决策者对于指标本身和评价目标本身的主观意见。指标权重的分配将影响到评价的结果和评价的有效性。鉴于绩效评价指标有定性和定量之分，同时对于定性判断的指标要尽量避免由于主观评价带来的各种偏差以及对其他因素的影响，本次研究选用层次分析法来确定各评价指标的权重。
通过德尔菲两轮问卷调查，25位专家的第二轮问卷调査结果具有较好的权威性和一致性。第二轮问卷调査后确定的指标体系3项一级指标和8项二级指标形成层次结构，确定的各指标的重要性得分用来确定基于指数标度的层次分析法的判断矩阵，最终可以得到各指标的权重系数。
参考文献
[1]Berbee RG,Gemmel P,Droesbeke B,Casteleyn H,Vandaele D.Evaluation of hospital service level agreements[J]. Int J Health Care Qual Assur,2009,22(5) :483-497.
[2]Shadbolt B,McCallum J,Bourne M,Singh M .Hospital outcomes management: the Care Continuum and Health Outcomes Project[J]. Aust Health Rev,1998,21(3) :150-167.
[3]吴志华，田书墨.大学附属医院的科研绩效评估研究进展[J].现代医院,2013,13（7）:118.
[4]刘志敏.医学科研绩效评估现状[J].卫生软科学，2004, 18 (6): 318.
[5]王芳.改革现行科研考核制度的必要性与对策[J].科技管理研究,2006,(8).
[6]龚旭，夏文莉．美国联邦政府开展的基础研究绩效评估及其启示[J].科研管理，2003，24(2)：1—8．
[7]Beisiegel U .Motivation of young academics for medical research. Position of the German Council of Science and Humanities[J]. Bundesgesundheitsblatt Gesundheitsforschung Gesund,2009,52(8) :850-855.
[8]秦哲，张明山，朱昌明，等．科技计划绩效评价的文献综述[R]．科技创业月刊，2009(11)：101—104．
9]李正风．基础研究绩效评价：现代科研管理的重要手段[J]．科学论坛，2001，(6)：36—37．
[10]戴国庆，李丽亚．国外科技项目绩效考评研究与借鉴[J]．中国科技论坛，2005，33(5)：45—48．
[11]Gibberd RW .Performance measurement: is it now more scientific[J]. Int J Qual Health Care,2005,17（3） :185-186.
[12]顾雪松，迟国泰，程鹤，等．基于聚类一因子分析的科技评价指标体系构建科学学研究[J]．科学学研究，2010，28(4)：508— 514．
[13]秦哲，张明山，朱昌明，等．科技计划绩效评价的文献综述[J]．科技创业月刊，2009(11)：101—104．
[14]孙毅，徐土松，徐长明，等．地方科技计划项目跟踪监测及绩效评价方法研究[J]．科技进步与时策，2010，27(4)：111一l15．
[15]刘海林，姚树印．医学科研管理学[M]．北京：人民卫生出版社，1991．
[16]杨一风，范兰英，范晨芳．军队医学科研项目评价指标体系的构建[J]．解放军医院管理杂志，2002，9：14—16．
论文作者:苏 艳,黄妍 杨斌 黄云超
论文发表刊物:《医师在线（学术版）》2019年第16期
论文发表时间:2019/10/28
标签：科研论文; 专家论文; 专科医院论文; 指标论文; 肿瘤论文; 指标体系论文; 医院论文; 《医师在线（学术版）》2019年第16期论文;