社会科学成果评价指标体系的建立(注:本课题是河北省哲学社会科学规划研究项目(1997年))_评价指标体系论文

论建立社会科学成果评价指标体系(注:本课题为河北省哲学社会科学规划研究项目(1997)),本文主要内容关键词为:河北省论文,指标体系论文,社会科学论文,课题论文,哲学社会科学论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。

分类号 C34

社会科学成果是人们研究社会现象、探索社会发展规律的创造性劳动产生的精神产品,是社会科学工作者聪明才智的结晶。科学、客观、准确地评价社会科学成果,是对社会科学工作者的劳动价值进行同行肯定和社会承认的重要手段。长期以来,我国一直采取国际通行的“同行评议”制的形式来完成这种评价,且收到了较好的效果。但是,由于规范的、实用的能反映社会科学成果多项指标的评价体系还在探索之中,使评价多停留在单纯的定性评价阶段,而这种评价形式在评价实践中又总使人感到具有某些缺憾。为弥补这些不足和缺憾,本文拟就建立社会科学成果评价指标体系作一探讨。

任何一项社会科学成果,不管它属于哪门学科或领域,也无论其载体形式如何,都应具有一定的价值,否则,就不能称其为成果。然而,社会科学成果的价值又有质与量的差别。在质的方面,可以从成果是否有充分的经验基础或理论基础,逻辑上是否完备一致,结论是否真实可靠等方面进行考察;在量的方面,可以从成果的科学创造性大小,研究难度大小,社会反响大小等方面作出评估。目前有讨论评议、投票表决、外部送审、双盲法等多种评价形式,但方法上多是单纯定性的。如果把量上的比较与定性的区分结合起来评价社会科学成果,则更能准确地评价社会科学成果的价值,特别是在相同或相近学科的成果中,其质量和水平的可比性就更强。当然,量是一个综合性指标,总量由不同指标的分量组成。通过对社会科学成果不同方面的量化指标进行分析综合,得出一项社会科学成果价值的评判结果,比单纯的定质或定性评价更准确可靠。这种方法已广泛应用到科技成果的评价之中,而社会科学成果评价运用的范围却很有限。社会科学成果的鉴定、评奖,以及社会科学研究项目的评审、验收等,仍然以采用单纯的定性评价为主,而很少采用量化的评价指标体系,这在评价实践中已暴露出一些弊端。

首先,不采用量化的社会科学成果评价指标体系,强化了评价标准的模糊性。科学研究的目的是认识世界和改造世界。科学成果的价值主要体现在认识世界的深度和广度,以及改造世界的能力上。前者是检验科学成果的真理性标准;后者是检验成果的价值性或效益性标准。这两种标准是衡量一项科学成果质量与水平的重要尺度。科技成果和社会科学成果都不例外。但是,科技成果反映和描述的对象是自然界,具有可重复用实验证明的特点;科技成果带来的社会效益或经济效益是直观的,甚至是可以量化的。因此,对科技成果的定量评价相对比较容易。社会科学成果正是在这个方面表现出与科技成果的差异,难以用量化的指标去测度,因而使其评价有较大的模糊性。其主要表现是在评价一项社会科学成果价值时,不用数量化的指标体系,而是笼统地说该成果有重大、很大、较大的创造性、突破性,取得了重大、很大、较大的经济效益或社会效益。这些弹性较大、模糊不清的概念,往往造成评价者按个人的理解去认识和把握,加大了评价过程中的非科学因素,在一定程度上降低了社会科学成果评价的准确性。

其次,不采用量化的社会科学成果评价指标体系,加大了评价过程中的主观性、片面性。在评价社会科学成果时,评价者是活动的主体。同行评议就是由从事某学科或接近该学科、领域的专家来评价科学成果学术水平和重要性的一种机制。评价者往往采取经验分析方法,即通过他对某一学科领域有较深入的了解和丰富的感性知识,来对一项成果的价值作出判断。但这种判断若不是建立在分项指标的量化基础上,而是采取单纯的定性评价的话,其缺陷也是明显的。由于没有量化指标体系,加上评价者受知识和水平的局限,以及部门和地域的影响,对成果作出定性评价,很难避免主观色彩;同时,由于是同行评议,同行之间存在的学术观点和学派之别等方面的差异,难免浸透到评价中来,以至对同一成果出现截然相反的评价意见。

再次,不采用量化的社会科学成果评价指标体系,造成了评价工作的失范性。评价社会科学成果,直接关系到成果完成者的劳动能否得到同行专家的认可和社会的肯定,是一件很严肃的工作,应该把它纳入到科学规范的评价指标体系中去完成。如果缺少这个条件,特别是在当前社会上存在较严重的不正之风的背景下,评价很容易出现失范。没有量化的评价指标体系,必然导致评价标准“自由度”过大,增加了竞争的不公平因素。被评成果的完成人可能会采取各种方法和手段,去影响评价人对其成果的评判,以期得到满足个人需要的评价结论;评价者也可能会考虑到各种关系的平衡、行政上的干预、著名专家的权威性影响等因素,来决定自己对某一成果的评价意见。有的社会科学成果在人为因素的作用下得到拔高的评价,有的本来水平较高的成果,却因此被埋没。失范性的偏差,使一些社会科学成果得不到公正、准确的评价,造成评价工作积极意义和权威性的丧失。

建立定性与定量相结合的社会科学成果评价指标体系的可能性在于,社会科学成果本身是一个由多项指标组合的整体。通过分解量化,这些指标可以从不同角度来测度社会科学成果的价值,最后得出对社会科学成果的综合评价。这对于科学、全面、准确地评价社会科学成果是十分必要的和有益的。尽管社会科学成果的质量和水平表现在多方面,评价标准也可以分为真理标准和价值标准、内部标准和外部标准、主要标准和次要标准、规范标准和描述性标准等等,但从总的情况看,大体可以概括为成果自身内在的和成果外在表现的两个方面。与此相联,评价指标可分为直接指标和间接指标。直接指标主要包括:科学创造性、学术水平、成熟性和先进性、可靠性和有效性、研究难度与复杂程度、科学和方法论意义、学术贡献和社会效益、逻辑的严密性和完备性、科研效益等等;间接指标主要包括:发表的刊物和出版社层次、引入领导决策的含量和层次、被报刊转摘介绍的情况、他人研究的引用率、获奖情况、课题来源、选题水平、规模大小等等。就目前来说,以文字形式为主的社会科学成果,其基本载体是文章或书籍,任何一种形式的社会科学成果,都包含着上述指标内容,都可以按上述指标进行相应的分解评价。如果给每项指标设定一定的数量标准,不同的社会科学成果在每个指标上的数值会有所差异,并由此统计出一项社会科学成果各项指标的综合数据。这个由不同方面对社会科学成果进行分解量化与综合统计相结合的评价系统,就是社会科学成果评价指标体系。运用该体系对社会科学成果进行定性与定量的评价,得出的结论就能够较科学准确地认定一项社会科学成果的真实质量和水平。

建立科学的社会科学成果评价指标体系,是准确、客观地评价社会科学成果的一项基础性工作。它既涉及到对社会科学成果众多指标的取舍、指标层次的划分、指标权重的定位、统计数学模型的设计等一系列复杂问题;也关系到评价者对指标体系能否易于理解和把握,能否便于运用和利于操作;还应考虑到用这样的指标体系得出的评价结论,是否能得到社会科学界同行专家的认可。因此,有必要明确建立社会科学成果评价指标体系的原则。

从国内各地开展社会科学优秀成果评奖的情况看,凡采用量化评价指标的,指标的设计和解释不尽相同;从国内对社会科学成果评价指标体系的研究成果看,指标的立项和统计方法也繁简不一。根据实践的需要,我们认为,建立评价指标体系应遵循以下原则:一是有利于保证社会科学成果评价的公正性原则。建立社会科学评价指标体系的目的,就是为了消除或减弱评价过程中的人为因素,使同行评议制在更为明确和公正的条件下运行,从而使评价的结论能够经得起时间和实践的考验,得到社会科学界同行专家的承认,保证评价结论的权威性和严肃性。二是直接指标和间接指标相结合的原则。一般来说,社会科学成果的质量水平,主要体现在直接指标上,这是社会科学成果内在价值所在。因此,有的专家认为只有直接指标,才是评价社会科学成果的可靠依据。然而,社会科学成果的特点也表明,间接指标同样在一定程度反映着成果的价值水平,起到了十分有效的佐证作用,特别是在社会科学成果评奖、鉴定实践中,间接指标的客观性更是不可否认的。三是定量分析与定性评价相结合的原则。通过对评价指标的量化分析,求得对社会科学成果的定性评价,是建立评价指标体系的出发点,即根据对各个单项指标的定量评分,经过计算,实现对一项社会科学成果的整体定性评价,在这个过程中定量分析与定性评价是密不可分的。四是简单易行,便于操作的原则。如果指标体系过于复杂,使人难以操作,即使再科学全面,也难以实施。这就需要对指标进行优化,即用较少的指标(数量较少、层次较少),全面、系统地反映社会科学成果的质量水平;用较少的成果分类,包含相同或相近成果的共同特征,减少类别划分上的过于庞杂;用简明精炼的表述,阐述各项指标层次上的含义,使评价者感到简单明了,易于操作。

按照上述原则,社会科学成果评价指标体系可划分为三大类,构架如下:

根据三种类别成果的指标划分, 各类成果的评价指标体系见:表1——社会科学学术专著和学术论文类成果评价指标体系表;表2 ——社会科学编著类成果评价指标体系表;表3 ——社会科学调研报告类成果评价指标体系表。

表1 社会科学学术专著和学术论文类成果评价指标体系表

序 评价 权 评 价 指 标 内 容

号 指标 重A级(10—9) B级(8—4)

创 理论上有新的突破;

理论上有一定创见;

1造

3.0

学科建设上有重要贡献;

提出新的观点和结论;

性 研究方法上有创新. 研究方法有新意.

科 知识系统科学完备;

知识系统较全面完整;

2学

2.5

资料翔实可靠新颖,引证

资料引用较准确规范;

性 规范;

逻辑一致,文字简炼.

逻辑严密,文字精炼.

难 学科跨度大; 学科跨度较大;

3 1.5

理论难点多; 有一定理论难度;

度 资料搜集与处理困难.资料搜集或处理困难.

选 国家级科研立项课题或省部级科研立项课题

4 1.0

选题有重要理论与现实或选题有较重要意义.

题 意义.

层出国家权威性出版社出版一般性出版社立项出版

5 版 1.0

的专著或国内权威性报的专著或社科中文核心

发刊发表的论文. 期刊、省级报纸发表的

次表论文.

社 获国家级奖励;

获省部级奖励;

会 专著由正教授级专家在专著由副教授级专家在

6反

1.0

权威性报刊上评介;

报刊上评介;

响 论文被国家级权威报刊论文被国家级报刊摘要.

转载.

序评价指标内容 评审人 得分

号 C级(3—0)评分

理论上阐述清晰;

1 提出有启发性的见解;

研究方法无创新.

知识系统基本完整;

2 资料引用尚规范;

基本合乎逻辑,文字通顺.

理论难度一般;

3 成果规模较小;

资料的搜集与处理简单.

市级立项或选题有一定

4 意义.

一般性出版社出版的专著

5 或一般报刊发表的论文.

获市、校级奖励;

6 专著有评介或书讯;

论文被转摘或列要目

表2 社会科学编著类成果评价指标体系表

序 评价 权 评 价 指 标 内 容

号 指标 重A级(10—9) B级(8—4)

科 知识系统严密、完整;资 知识系统完整;

1学

3.0

料翔实可靠新颖,编排科 资料引证确切,编排合

性 学;逻辑严谨,表述准确、 理;

精炼. 逻辑一致,表述准确.

应 对教研工作有重要价值; 对教研工作有较大作用;

2用

2.5

传播社科知识作用明显; 传播社科知识效果较好;

性 被列为全国推荐图书.

被列为省内推荐图书.

难 涉及学科多、领域广;涉及领域较宽;

3 1.5

资料搜集与加工整理规

资料搜集或加工整理有

度 模大、难度大. 难度.

选 国家级立项课题或选题

省部级立项课题或选题

4题

1.0

有重大意义.

有较重要意义.

出版国家权威性出版社出版. 一般性出版社立项出版.

5

层次 1.0

社会获国家级奖励;

获省部级奖励;

6

反响 1.0

正教授级专家在权威性副教授级专家在报刊上

报刊上评介.评介.

评价指标内容评审人

得分

号 C级(3—0) 评分

知识系统基本完整;资料准

1确,编排基本合理;

基本合乎逻辑,文字通顺.

对教研工作有参考作用;

2有助于传播社科知识;

被列为市级指定用书.

涉及学科、领域单一;

3资料搜集与加工整理难度

较小.

市、校级立项或选题,有一

4定意义.

一般性出版社出版.

获市级奖励;

6 报刊上有评介或书讯.

总计得分:

表3 社会科学调研报告类成果评价指标体系表

序 评价 权 评 价 指 标 内 容

号 指标 重A级(10—9) B级(8—4)

社 发现现实生活中的重大发现现实生活中的重要

1会

2.0

问题;

问题;

价 有深刻的理性分析;

对其作出理性分析;

值 提出有创见符合实际的提出有新意的对策与建

对策. 议.

真实性

事实清楚,数据准确; 主要事实、数据属实;

2或

1.5

对策可行,适用范围广.

所提对策基本可行.

可行性

难 问题复杂,调研规模大、

问题比较复杂,调研工作

3 1.5

难度大; 有难度;

度 资料搜集与数据处理困资料搜集或数据处理工

难.作量大.

选 国家级立项调研课题或省部级立项调研课题或

4 1.0

选题为现实重大难点、选题为现实难点、热点

题 热点问题. 问题.

应用被中央、国家领导批转被省级领导批转采纳或

5

层次 2.0

采纳或主要内容形成省基本内容形成市厅级机

部级机关文件. 关文件.

经济取得明显经济或社会效取得较大经济或社会效

6或

1.0

益,在中央新闻媒体作益,在省级新闻媒体作

社会宣传报道(无涉密的).宣传报道(无涉密的).

效益

评价指标内容 评审人

得分

号 C级(3—0)评分

正确描述现实生活中的事

1实;

对原因作出分析;

提出解决办法.

2主要事实、数据基本属实;

解决办法有参考价值.

问题不太复杂,调研便利;

3资料搜集和数据处理难度

较小.

市、校级立项或选题有一定

4意义.

被市厅级领导批转采纳或

5有关内容形成县级机关文

件.

6取得经济或社会效益,在本

系统有一定影响.

总计得分:

评价者按以上三个评价指标体系表,对社会科学成果分类分项评分,经计算求出一项成果的最后得分,就是评价结论。100分为满分。 计算办法是:先用每项指标的权重乘以专家评价组对单项指标评分的平均值,得出单项指标得分;再将各单项指标得分连加求和。

其数学模型是:

式中:S=成果综合评价得分;W[,i](i=1-6 )=各项指标的权重值;[,i](i=1-6)各项指标的数量评价平均值;1-6 =指标序号。

这组社会科学成果评价指标体系的特点是:首先,三大类别基本涵盖了社会科学的各个类型的成果。社会科学研究活动的类型,大体可分为基础研究和应用研究。与此相联系,社会科学成果的形式有学术专著、论文、调研报告、咨询建议、教材、普及读物、工具书、译著等。如果用同一个指标体系去评价不同形式的成果,则如削足适履,难以确切地认定其价值和水平;相反,若根据每一种形式的成果特点,都设计一个评价指标体系,又显得过于繁杂。本指标体系按成果的共同特征分为三大类,较好地解决了这个问题。学术专著与学术论文大多属于基础研究的成果,其最大的和最主要的价值在创造性、科学性和研究难度等指标上体现出来,用同一指标体系进行评价是完全可行的。编著类成果的共同点是编的成份大于著,重在对已有的知识的运用,强调编写内容的科学性、资料的完整性和新颖性、语言的可读性和价值的实用性,把教材、通俗读物、工具书、译著、古籍整理出版物等成果容到编著这个大范畴中去评价,能异中求同,指标分项也基本适合。调研报告、咨询建议重在实际应用,指导工作,为决策提供参考,讲究经济效益或社会效益,用相同的指标进行评价,既可以减少分类的复杂化,也能使评价公正、合理。

其次,指标设计反映了社会科学成果的主要价值。社会科学成果的价值和水平是从众多的指标中表现出来的。在这个指标群中,有主要指标,也有次要指标。主要指标又表现在直接指标和间接指标两个方面。按照指标优化的原则,在众多的直接指标中,根据成果类别不同,分别选择能反映社会科学成果最大价值的指标,也就抓住了评价的关键。对于学术成果来说,创造性和科学性,是成果的主要价值,这是衡量此类社会科学成果的主要指标;对于应用性强的编著和调研报告,除科学性外,社会价值、应用性和可行性等是这类成果的基本价值所在。研究难度作为一项重要指标,在很大程度上反映着社会科学成果的量级。即使是质量水平大致相当的成果,其难度也不一样。有的难度大,但不复杂;有的规模大,难度并不大;也有的既复杂,规模和难度也大。因此难度指标在各类成果中同样是重要的。在较多的间接指标中,选题情况、社会反响、出版或发表层次、被应用的层次及含量等,也从客观上佐证着社会科学成果的价值和水平。比如选题,有国家立项课题,也有省(部)级立项课题,还有自选课题,被列为国家立项课题的价值当然要大,起码它经过了国内有关部门组织的专家论证;此外,选题的确认还关系到国家对社会科学研究的导向。社会反响和被应用情况,表明成果被社会重视和带来的经济与社会效益的程度,也是一项很具体、客观的主要指标。

再次,各项指标的权重明确了其在指标体系中的轻重定位。在成果评价体系的六项指标中,每个单项指标在整个指标体系中的位置是不同的。为有所区分,引入了权重的概念,以确认它们之间重要程度的大小。对不同类别的成果指标划分不同的权重值,从而把最能反映社会科学成果价值和水平的指标提到重要位置。在学术专著和学术论文类的成果评价指标体系中,创造性、科学性、研究难度的权重值就占了7.0; 在调研报告类成果中,应用层次、经济或社会效益两项占4.0。 需要说明的是,有的专家认为,间接指标中成果的发表或出版层次,对评价社会科学成果的意义不大。其实,在社会科学发展中,社会科学以及各分类学科已经在实践中形成了一系列由低到高、水平不一的报刊和出版社。由于这些出版单位编稿、审稿的严格程度、专业水平不同,发表或出版成果质量也不尽相同。因此,报刊或出版社的层次,在一定程度上折射着论文和著作的水平,有必要把它单独列为评价指标,只是在权重上取值要适当。

建立社会科学成果评价指标体系,为准确、科学、全面、客观评价社会科学成果创造了前提。但是,运用评价指标体系又具有主客观二重性。一方面,它一经建立,对评价者而言则是外在的、同一的、客观的;另一方面,用它去评价社会科学成果,又是评价者的一种主观判断。可见,实际中运用社会科学成果评价指标体系的过程,就是主客观相互作用的过程。在这个过程中,需注意以下几个问题。

首先,运用评价指标体系,要全面和完整地加以把握。社会科学成果评价指标体系是由不同指标组成的有机整体,运用它的过程是一个由分析到综合的过程。要防止只注意各项指标之间的相对独立性,忽视各项指标之间的相互联系的倾向;防止只关心个别单项指标的评价,或用个别指标去套评其它指标的作法。一项社会科学成果的最后评价,一定是对各单项指标的综合评价的结果。为利于从整体上把握和运用,一方面,应发挥专家评价组的作用,使评价结论体现出专家评价组集体的意见。另一方面,由于评价指标体系中的直接指标,较容易受到评价者主观因素的影响,因此,应避免专家评价组中同行成员单一或过少,一般不宜少于3人,以保证整体评价的准确性。如果专家评价组成员较多, 可以考虑在统计评分时去掉最高分和最低分。

其次,运用评价指标体系,要把定量分析与定性评价结合起来。评价指标的量化,把对社会科学成果的评价向纵深推进了一步。然而,社会科学成果自身的复杂性,又决定了很难用一个精确的数量来评价,这本身就是一对矛盾。与科技成果评价相比,这正是它的难点所在。因此,指标体系中在分层、分级的处理上作了简化,分作两层三级,把对社会科学成果的定性评价放到不同的数量关系之中。正如定性评价若没有定量分析作基础是不完备的一样,量化的评价指标也不能完全取代定性评价。这里,定性的评价以定量的分析为前提,定量分析以定性评价为目的。把二者结合起来,一是要认识评价指标体系本身就是定量与定性的统一体,每个单项指标的等级划分,都体现着这种统一关系;二是评价者在运用时要把握定量与定性的结合。实际上,当一项成果的单项指标,如创造性定为A级须评多少分时, 评价者已经把定性评价蕴涵在定量分析之中了;三是评价的结论也是定量与定性相统一的产物,不管评价者如何理解和把握评价指标体系,一项成果最终是否通过验收、鉴定、获奖等标准,才是最根本的问题,定量最终还是为定性服务的。只有正确认识定量分析的相对性才能更完整、全面地运用评价指标体系。因此,指标体系分保留一位小数即可。

再次,运用评价指标体系,应妥善处理那些未包含的指标因素。如果把社会科学成果评价指标体系进一步细化,可以有十几种甚至几十种指标。若将所有的指标均列项,或向下再增加一层指标,无疑增加了操作的复杂性。为了便于操作,这个指标体系只分了三类,每个类别只列六项重要指标。要解决指标少的局限,有必要在解释指标含义时增加每个指标的内涵,使那些未列项,但较为重要的指标也能有所体现。可考虑把学术水平、先进程度等归到创造性;把科学与方法论意义、可靠性和有效性等放到科学性;被报刊介绍索引情况、他人引证率可归入社会反响等等。另外,编著是一个类的范畴,包括的社会科学成果形式较多,若每种形式的成果均建立一套评价指标,会出现较大的雷同。因此,只要在编著类成果的评价指标体系表中作相应的对照,评价完全可行。需要指出的是,在各类成果评价指标体系中,都没有把政治标准单独列项。这是因为我国当代社会科学必须以马列主义、毛泽东思想和邓小平理论为指导,凡违反这一指导思想的作品,不能称其为社会科学成果,当然不在评价之列。

最后,运用评价指标体系,应最大限度地削减评价者主观因素的影响。评价社会科学成果是评价者运用主观知识测定、判断成果客观价值的行为过程,这一过程处处反映着评价者的主观意识对评价对象的认识力和洞察力。建立评价指标体系的思路,就是在坚持同行专家评价的同时,千方百计地限制、削弱评价者非公正因素的干扰,提高评价结论的可靠性。这就不能不对评价的主体作出相应的要求,一是组建好评价组织系统,不仅要注意系统与外部环境的关系。而且要注意到系统内部的种种关系,既要注意评价者的基本素质,又要充分考虑到系统的学科结构、年龄结构、组织结构的合理性和层次性。二是评价者在学术上要有较高的学术造诣和高水平的科研成果,精通所评成果的学科或领域的理论和方法,对该学科或领域的前沿动态了如指掌,有能力、有资格对参评的成果作出判断;同时,也要吸收那些有丰富业务经验和社会经验,熟悉应用性研究成果的内容,能鉴别这类成果的真实性、可靠性,了解应用的外部环境的实际工作部门的专家参加评价工作。三是参加评价组织的专家必须具备较强的科学道德和政治素质,学术胸怀宽广,既不因学术观点、学派上的相同或差异,对评价对象产生主观倾向性的评判,也不能因私人关系、行政压力,对所评成果作过誉或压低的评价;同时,要有较高的政治鉴别力和秉公办事的作风,能识别作品的政治倾向,能自觉抵制社会上不正之风对社会科学成果评价工作的干扰。

收稿日期:1998—01—12

标签:;  ;  ;  ;  ;  ;  ;  

社会科学成果评价指标体系的建立(注:本课题是河北省哲学社会科学规划研究项目(1997年))_评价指标体系论文
下载Doc文档

猜你喜欢