跨学科研究成果评价标准、指标体系及评价方法研究_定性指标论文

交叉学科研究成果的评价标准、指标体系和评价方法研究,本文主要内容关键词为:指标体系论文,研究成果论文,评价标准论文,学科论文,评价论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。

[中图分类号] G304[文献标识码] A[文章编号] 1008-245X(2007)05-0039-06

交叉学科(Interdisciplinary)是指由不同学科、领域、部门之间相互作用而形成的一类学科群。美国促进交叉科学委员会的《促进交叉学科研究》(FIDR)定义:交叉学科研究(Interdisciplinary research)是团队或个人的一种研究模式,它把来自两个以上学科或专业知识团体的信息、数据、技能、工具、观点、概念和理论综合起来,加深基本的认识,或解决那些不能用单一学科或研究实践领域来解决的问题[1]。

现代交叉学科研究有六种基本类型[2]:比较学科、边缘学科、软学科(又称软科学)、综合学科、横断学科(又称横向学科)、超学科(又称元学科)。

交叉学科研究的成果具有两个学科以上的学科知识,对于学科分类体系来说是形成新学科分支的元素,包含与单一学科研究成果不同的特殊成分,因而对它的评价标准、指标体系和评价方法也是不同的。

一、交叉学科研究成果的评价标准

为了评价交叉学科研究成果,我们采用描述性信息、定性数据和定量数据的方法[3]。

(一)描述性信息

交叉学科研究成果的描述性材料包括:交叉学科的类型、新颖性、性质等方面的详细信息。

1.交叉学科的类型。即交叉学科研究成果在比较学科、边缘学科、软学科、综合学科、横断学科、超学科的归属。

2.交叉学科的新颖性。即学科交叉的程度(或交叉创新程度),反映该项成果对促进交叉学科发展、解决社会实践问题的贡献程度。

新颖性的另一个指标是该项成果向社会公开之日以前,没有同样的成果在国内外公开过,或者以其他方式为公众所了解。如果不同的研究者对同一交叉学科研究结果向社会公开的时间接近,但公开方式存在明显的区别,可判明不存在互相抄袭的可能,则可以认为各自独立的得出该成果[4]。

3.交叉学科的性质。即从实践方面具体阐述该项成果产生的作用。可从科学理论的更新、科学理论突破的应用、技术的重大创新、技术改进或技术变化、技术向不同的学科转移、为了新的市场需求调整已有的产品等。

(二)定性数据

1.成果的实践价值。交叉学科研究成果的价值,应符合当代社会经济发展的要求,有利于研究和解决重大的现实问题,有利于促进科学上的新理论、新发明的产生,能够被人们理解、接受、掌握、应用。

2.成果的创新程度。创新程度在描述性信息的“交叉的新颖性”条目中已经提到。在定性数据中,学者应当以具体的实例,阐述交叉学科研究成果总结的新经验、新规律,提出的新思路、新方法,建立的新理论、新学说,所解决的新问题,为新的实践提供新的科学理论指导等。创新性不排斥前期研究基础和参考引证,可以是已有成果的改进与发展,但必须有显著的不同并有实质性的新特点和显著的进步。

3.形成成果的动力。交叉学科研究是在单一学科研究无法单独解决问题时产生的,需要进一步区分内生动力和外生动力的情况。内生动力属于主动型动力,它滋生于某一学科内部。当穷尽本学科的知识而无法解决问题时,人们就会借用其他学科的知识,探索新的途径来解决问题,而这种借用的成果又具有了新的学科属性。外生动力属于被动型动力,它源于某一学科的外部。在外部需求的吸引下,本学科与其合作从事与本学科常规做法不同的研究,而这种合作的成果又具有了新的学科属性。

4.成果的影响能力。交叉学科研究成果,通过若干不同学科的相互作用,得到解决特定性问题的思路、理论或方法,为社会带来影响。同时,交叉学科研究的成果可在一定程度上沟通不同学科之间的联系,促使不同学科在新形态下的整合,增长人们的知识,改变人们的思想观念。

5.成果的扩散。交叉学科研究成果在学术界和产业界,乃至整个经济中扩散的重要性是不容忽视的。一项交叉学科研究成果只有超越它的发祥地(在世界上首次出现)而被其他的国家、学术界、产业界,甚至同一产业的不同企业所承认并被广泛应用,才有可能产生作用,才能实现研究这项成果的初衷。

6.成果的逻辑关系。交叉学科研究成果体现在科学理论上要符合逻辑的基本规律。在交叉学科研究成果所建构的科学理论若干个基本假设之间,基本假设和由这些基本假设逻辑地导出的一系列结论之间,以及各个结论之间必须是相容的,不相互矛盾的,所运用的逻辑推理和数学演算正确无误。

成果的逻辑关系还体现在交叉学科研究成果的包容性和普适性上。根据交叉学科研究的定义和集合论,交叉学科研究成果是参与交叉的学科领域知识的交集,这个交集体现出更高级别的一般性(普适性),它对参与交叉的具体学科无疑具有指导意义。随着交叉学科研究的不断深入,客观真理将会不断地从个别上升到一般,对整个学科体系的解释能力和概括能力不断地增强。这一现象在横断学科(数学、力学等)中表现得尤为突出。

二、交叉学科研究成果的评价指标体系的设计

(一)指标体系设计的原则

1.与目标的一致性。指标是目标的具体化、行为化和操作化,应充分地反映目标,要与交叉学科研究目标或科研管理目标相一致,要求不能把两组相互冲突的指标放在同一体系中。

2.直接的可测性。指标的直接可测性是指标作为具体的目标,可用操作化的语言加以定义,它所规定的内容可通过实际观察加以直接测度,以获得明确的结论。

3.体系内指标的相互独立性。评价的指标体系是由一组相互间有着紧密联系的指标结合而成的。但体系内的各组指标要相互独立,在同一层次的各组指标必须不存在任何包含与被包含的关系,相互不重叠,不存在因果关系,不能从一组指标推导出另一组指标。

4.指标体系的整体完备性。指标的整体完备性是要求指标体系的全面性。指标体系不应遗漏任一重要的指标,能够全面地、毫无遗漏地再现和反映交叉学科研究和科研管理目标。

5.指标的抽象性。指标的抽象性是要求指标必须反映评价客体的共同属性。在交叉学科研究中,每项具体的课题都会有自己的特殊性,作为对评价客体共同使用的指标,不能反映这些特殊性;对于特殊性,可以通过自报、自填项目的方式加以弥补。

6.指标可接受性。指标的可接受性有两层含义:第一,符合我国的国情,从实际出发;第二,按指标的设计进行评价是可行的,要有足够的信息、足够的人力物力和切实可行的量化方法。

(二)目标分解

在简化的情况下,一个目标可直接对应一组指标。对于复杂的系统,可在目标与指标之间设置若干中间过渡环节(称为次级目标),这样,一个目标要通过一组(或若干组)次级目标分别与各自的指标对应。一般情况下,可把目标分解为三个基本层次:总体指标(零级指标)、结构指标(一级指标)、单项指标(二级指标)三部分。

(三)建立评价标准

评价标准的形式常见的有三种:描述式标准、期望评语量表式标准和可数等级式标准。在实际进行评价研究时,往往是同时使用几种标准形式。

1.描述式标准。运用文字来描述每个不同要素的等级,并赋给每个等级的分值。

2.期望评语量表式标准。是根据目标要求,写出期望达到的评语或要求,同时把该项指标分为若干等级,每个等级赋以分值,评判者根据达到期望评语或要求的程度逐项打分。

3.可数等级式标准。对于某些条件指标,可以采用客观、可数的定量数值作为标准,标准分成不同的等级,凡达到一定的数额者则可归属到某一等级之中。

(四)指标加权

1.加权的含义。在评价研究中,根据不同的测度目的、测度对象、测度时间和测度角度,对不同的指标指派不同的比例系数,即评价研究的指标加权。一个良好的计量体系必然有良好的加权方法和加权数学模型。加权是使评价指标体系取得可比性和客观性的基本保证。权数分为两种:自重权数。以权数作为指标的分值(或分数),或者以权数直接作为等级的分值;加重权数,在各指标的已知分值前面设立的权数。

2.加权的方式。在评价研究中,通常可以归纳为三种基本方式,即总体加权(对评价的总分加权,分前测和后测加权)、局部加权(对一级指标加权)和单项加权(对二级指标加权)。

3.权数的获得。经验加权,由富有经验的专家和有关研究人员商定,把人们长期的工作经验和丰富的学识作为指派权数的依据。

统计加权,设计一项重要程度意见表,让一部分有关人员对各项指标的重要程度进行投票,把投票结果按统计公式进行计算,以确定权数值。

三、交叉学科研究成果评价的指标体系

(一)成果类别

成果类别综合考虑学科交叉的复杂程度以及产生作用的大小给予不同的评价。共分成五种不同的类型,对各种类型的研究成果分别作出恰当的评价,给予不同的评分范围。该指标的取值方法为多选一。

1.交叉萌芽类。此类是指通过对各种现象的调查研究、数据资料的搜索、整理、汇总和不同学科常规理论的一般运用,所取得的能够反映现象基本情况的成果,处于发生学科交叉的萌芽状态。此类成果的评分范围可在10-50分之间。

2.简单交叉类。此类成果是指通过对同一门类两个不同学科的交叉研究,运用相关学科的基本理论,充分发挥其综合优势,通过新颖的途径,采用新颖的办法,有效地解决问题。一般情况下,获得这类成果所进行的研究难度不是很大,创新的成分也不多。如果交叉发生在二到三级学科之间,评分范围为50-100分;如果交叉发生在一级学科之间,评分范围为50-150分。

简单交叉类成果如果直接或间接地转化为现实的生产力,可给予10-30分的附加分。如果由此产生了新的学科位置,可给予30-50分的附加分。这样,简单交叉类成果的理论评分范围为50-200分。

3.广度交叉类。指通过对同一门类内2个以上一级学科之间的交叉取得的成果。这类成果交叉的范围更宽,参与交叉的学科边缘比较清晰,主要研究者需要有较高的学术见识和组织能力。一般情况下,获得这类成果所进行的研究难度比较大,创新的成分比较多,影响也比较大,评分范围为200-250分。

广度交叉类成果如果直接或间接地转化为现实的生产力,可给予30-50分的附加分。如果由此产生了新的学科位置,可给予50~80分的附加分。这样,广度交叉类成果的理论评分范围为200-230分。

4.复杂交叉类。指除了简单交叉和广度交叉以外,围绕着科学和社会问题,在同一门类内,完全打破学科之间的界限,不受传统和常规的限制,创造性地设计解决方案,综合运用各个学科的知识,有效地解决问题。这类成果具有系统性和综合性,取得这类成果的通常是大型科学研究活动或技术开发工程。研究者需要有深厚的学术造诣,知识面广,组织能力强。一般情况下,获得这类成果所进行的研究难度很大,创新的成分多、影响大,评分范围为230-300分。

复杂交叉类成果如果直接或间接地转化为现实的生产力,可给予50-80分的附加分。如果由此产生了新的学科位置,可给予80-100分的附加分。这样,复杂交叉类成果的理论评分范围为230-400分。

5.外向交叉类。前四类交叉均发生在同一学科门类之内,称为内向交叉。对于不同学科门类之间的交叉,称为外向交叉。这类成果通过自然科学、农业科学、医药科学、工程与技术科学、人文与社会科学等门类的交叉,在各种学科基础理论和应用理论研究中取得的重大突破。外向交叉类成果更能体现科学综合性发展的趋势,促使新理论、新发明、新技术的产生,使科学本身向着更深层次和更高水平发展,更加符合自然界的客观规律和人类的认识规律,或者提出了新的观点、思想、理论和学说,或者对传统理论进行质疑、补缺、完善,或者在学科的交叉融合和创新方面有新的设想和进展,或者选题有特别重大意义,研究难度大,填补了某项专业的空白,在理论上具有开拓性创见等,研究难度大,需要经过长期的努力和艰辛的探索,创新程度高,评分范围为400-500分。

外向交叉类成果如果直接或间接地转化为现实的生产力,可给予50-80分的附加分。如果由此产生了新的学科位置,可给予80-100分的附加分。这样,外乡交叉类成果的理论评分范围为400-600分。

(二)成果形式

形式评价主要是对成果的来源、项目的级别和成果发表(出版)刊物(著作)的级别、档次以及获奖等级进行评价计分。未产生交叉学科成果的科研项目,不予评价。

1.项目来源。指产生交叉学科研究成果的科研项目的来源,可分为国际合作级、国家级、部省级、企业级、自选级5类。在立项时没有规定必须采用交叉学科方法进行研究的分别给以10分、8分、6分、4分、2分的评分;在立项时就规定必须采用交叉学科方法进行研究的分别给以20分、16分、12分、8分、4分的评分。

2.项目级别。指科研项目在研究中的层次,分为重大合作项目、重点工程项目、重大项目、计划项目、一般项目5类。在立项时没有规定必须采用交叉学科方法进行研究的分别给以10分、8分、6分、4分、2分的评分;在立项时就规定必须采用交叉学科方法进行研究的分别给以20分、16分、12分、8分、4分的评分。

3.成果发表(出版)等级。指交叉学科研究成果发表的刊物或出版社的等级。一般认为,刊物或出版社的等级越高,其价值也越大。将刊物分成国内外检索刊物、国内核心刊物、省内一级刊物、其他公开刊物、内部刊物5类,分别给以10分、8分、6分、4分、2分的评分;将出版机构分为中央级、省级、普通级、学术组织、内部5类,分别给以10分、8分、6分、4分、2分的评分。

鉴于目前交叉学科期刊数量很少,而受学科专业的局限,交叉学科研究论文在专业期刊又难以发表的情况,可在专业期刊发表研究动态短讯,在评价时附加原文作为原始数据。

4.获奖的奖项和等级。指交叉学科研究成果已经获得奖励的奖项和等级。奖项一般分为国际奖、国家奖、省部级奖、厅局级奖、行业奖。每种奖项又分为若干等级,只计前三等。这样,获奖奖项按等级评分的分值分别为:国际奖100、95、90分;国家奖85、80、75分;省部级奖70、65、60分;厅局级奖55、50、45分;行业奖40、35、30分。

5.成果的创新程度。该项指标是对交叉学科研究成果内容创新性的评价。数据采集时可从参考文献来源学科、成果的应用学科角度加以甄别,与研究者所属学科以外的学科发生关系的可作为采集数据。《中国学术期刊网》可以查询具体学者、论文或著作的引用率。

(1)首创性。指成果中提出的理论、思想、观点或方法,在国内或国际属于第一次提出。国际首创的成果评分100分,国内首创的成果评分50分。

(2)前沿性。指成果中提出的理论、思想、观点、方法,虽然不是首创,但属于较早提出或较早对其进行阐述、解释、论证的以及较早应用这些理论、思想、观点、方法来解决实际问题,科学性较强,有可能较早应用于实践,产生社会效益。根据填补空白、国际领先、国内领先、局部创新、较早应用等5种类型分别给以10分、8分、6分、4分、2分的评分。

(3)转引率。指成果中引证其他成果与本成果被其他文章所引用次数的比率。转引率越大,说明引证他人多,自己被别人引用少,创新力度不强;转引率越小,说明引证他人的少,自己被别人引用多,创新力度强。根据转引比率的数值大小分别给以0-100分的评分。

6.成果的交叉程度。该项指标是对交叉学科研究成果内容学科交叉性的评价。

(1)引证量。指从研究者所属学科以外转引的参考文献数量。数量越多,说明成果参考文献分布的领域越广。根据引证量的数值大小分别给以0-100分的评分。

(2)成果归属度。研究成果被研究者所属学科完全包容,从学科体系角度来看没有出现变化,评分为0分;被研究者所属学科以外的某个学科完全包容,评分为10分;被研究者所属学科以外的多个学科共同包容,评分为20分;无法被研究者所属学科以外的学科完全包容,需要扩充学科体系,增加新的位置,评分为50分。

(3)他引量。指研究这所属学科和成果归属学科以外的其他学科引用该成果内容的数量。数量越多,说明成果在其他学科领域的扩散能力越强。根据引证量的数值大小分别给以0-100分的评分。

(三)成果影响范围

这里遵循科学影响重于市场影响的原则。(1)国内科技和企业界,评分为10分;(2)国内学术界,评分为20分;(3)国外科技和企业界,评分为40分;(4)国外学术界。评分为80分。

(四)仪器设备的改装和制造

科学仪器设备在交叉学科研究中发挥的作用可作为评估的一个指标。仪器设备的进步标志着实验手段的进步,对于不同的尖端学科领域,所采用的仪器设备是不同的,因此,仪器设备的变化从一个侧面反映交叉学科研究的性质和水平。仪器设备可分为:普通仪器设备、专业仪器设备。专业仪器设备又可细分为:标准仪器设备、非标准仪器设备、专用仪器设备。与学科特性相关联的非标准仪器设备和专用仪器设备是评价的重点。

1.仪器设备的使用。(1)等价使用。即按照工具的原设计意图和性能范围使用,评分为0分。(2)在研究中,使用了其他学科的专用仪器设备,并完成试验检验任务,评分为5分。(3)超限使用。改变仪器设备的原有性能,扩大或延伸仪器设备的作用程度、精度和场合,以适应新学科的需要,评分为10分。

2.仪器设备的改造和创造。(1)加工、改造、移植。加工:对现有仪器设备进行局部加工;改造:更高一级的加工;移植:将其他仪器设备的功能合成到现有仪器设备上。这些活动如果发生在不同的学科之间,可分别评分为2分、5分、10分。(2)创造可供多个学科共用的新型仪器设备,评分为20分。(3)为采用新理论、新方法而专门设计、制造的新型仪器设备,评分为30分。

(五)课题组结构

整个课题组一半以上成员不属于同一个三级学科,评分为5分;课题组一半以上成员不属于同一个二级学科,评分为10分;课题组一半以上成员不属于同一个一级学科,评分为20分。

(六)研究难度

在综合其他学科力量参与的前提下,问题十分复杂,理论难点多,学科基础薄弱,可供借鉴的材料缺少,评分范围为900-100分;问题复杂,有理论难度,学科基础薄弱,评分范围为70-80分;问题较复杂,有一定难度,评分范围为50-60分;难度很小,评分范围为10-40分。

(七)普适性

交叉的深度一般与普适性成正比。交叉的深度非常深,普适性就非常高,评分范围为90-100分;交叉的深度较深,普适性就较高,评分范围为70-80分;交叉的深度一般,普适性就一般,评分范围为50-60分;交叉的深度较浅,普适性就较低,评分范围为10-40分。

指标体系如表1所示:

总得分=

四、交叉学科研究成果的一般评价方法

(一)直观判定法

直观判定是根据成果的描述性信息,参考定性数据和定量数据所进行的轮廓性快速评价,评价对象主要是交叉学科研究的阶段性成果,目的是为后续的研究工作提供参考。

1.组织评价专家组。根据成果形态(理论、方法、实验结果、原型样机)、成果的预期应用领域以及成果已经涉及的学科,聘请专家组成专家组。如果学科领域不易确定,可考虑根据成果的预期去向,使用排除法,先选择门类,然后在一级学科、二级学科……中再选择定位,最后确定评价专家组。专家组的成员应具有至少覆盖二级学科的综合学科知识,对交叉学科有一定的了解。

2.提交评价材料。评价材料由课题组编写,介绍成果的形成过程和成果状态,对成果的交叉的类型、交叉的新颖性、交叉的性质等方面提出明确的自我评价和逻辑阐述,对成果的实践价值、成果的创新程度、形成成果的动力、成果的影响能力、成果的扩散、成果的逻辑关系等作出详尽的说明,列出必要的附件。

3.专家组进行直观判定。根据评价材料,进行由宏观到微观、由粗到细的评价。

第一步需要判定成果是不是交叉学科性质的。参照系统的原点是研究者所属学科。如果成果无法在原点找到位置,即可判定是交叉学科研究成果;否则,判定过程终止。

第二步是评判评价材料中的诸项内容,形成判定结论。评判结论取值为:肯定、难以确定、否定。

专家组意见不一致时,在结论后面可附加投票比例,如“是(5/7)”,即专家组7人,5人持肯定意见。

4.复议。对于结论不是“肯定”的评价内容,允许课题组修订材料后,请求专家组对这部分进行复议,复议的重点是“难以确定”的内容。请求复议不超过2次。

(二)定性评价法

由于交叉学科研究成果自身所具有的模糊性特点,难以像单一学科成果那样通过容易判定,无法用单一学科的实验来加以验证。因此,定性评价是对交叉学科研究成果进行评价的重要方法。

定性评价法与直观判定法相似,是以评价者的主观判断为基础的一种评价方法,充分利用专家的学科知识、经验以及调查分析能力,对要进行的评定成果进行定性评价。定性评价的形式分为会议评价和通讯评价,会议评价是为会议组织者聘请相关专家召开会议,听取被评人员对其成果的汇报,进行面对面的质询、答辩,然后给出评定;后者是以信函形式送审成果,聘请有关专家进行背靠背的评价。

(三)定量评价法

定量评价是借助科学计量分析指标来评价交叉学科成果的方法。根据量化指标体系,对成果的各项指标进行考察、评分(或加乘、加权计分),根据总分(或分项得分)作出评价结论。在对多项成果进行评价而且需要排序时,定量评价是不可或缺的。

组织评价时,应先成立专家组,由课题组提交评价材料和原始资料附件,专家组对评价材料进行审核,对各项指标给予评分,最后给出评价结果。由于是对成果进行评价,要设立得分评判的基准线,否则,无法得出“肯定”或“否定”、“优”或“劣”的结论。

定量评价法的优点:由于采集的数据是公开的、可复核的,因此具有较强的科学性和严谨性,不受个人主观因素干扰和其他非科学因素的影响,有助于规范评价行为。

定量评价法的缺点:许多统计指标的采集上有时间滞后效应,不可能对成果进行及时的评价。另外,量化指标还有漏项效应,如对于那些不宜公开发表,或因学科交叉的新颖性导致的发表困难的指标将无法采集,对反映成果全貌产生不利影响。

(四)综合评价法

由于交叉学科研究的特殊性,目前交叉学科研究成果的评价以定性评价为主。但随着交叉学科研究和相应管理工作的发展,一些定量评价方法也会在交叉学科领域得到广泛运用。各种新兴交叉学科不断产生,将导致交叉学科研究成果的因素愈来愈复杂,特别是对理、工、农、医与人文社会科学交叉,影响成果价值的标准除了要考虑其学术价值外,还要考虑其社会价值、经济社会效益以及其他相关的外围因素,需要引进综合性评价的方法。这些方法主要有综合评分法、综合指数法、层次分析法、Topsis法等。

标签:;  ;  ;  

跨学科研究成果评价标准、指标体系及评价方法研究_定性指标论文
下载Doc文档

猜你喜欢