基础理论成果评价研究评述，本文主要内容关键词为：基础理论论文,成果论文,评价论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
中图分类号：G311 文献标识码：A 文章编号：1007-4937(2003)01-0050-05
我国对评价理论的研究，是从成果评价开始，研究时间不长，大约只有二十几年的历 史。二十几年来，学者们从不同角度、不同层面，探讨评价机制，研究评价方法，制定 评价标准，设计指标体系，介绍国外经验。20余年的历程，形成了一支有一定理论基础 的研究队伍，发表了一批有价值、有实用性的论著，对实际评价起到了一定的指导作用 。但总的看，理论还不成熟，与国际先进水平相比，还有差距。国际上普遍采用的是同 行评议制和文献计量学指标。我国是以同行评议为主，但某些同行评议中挤进了过多的 行政评价；文献计量指标才开始运用，但指标不完善，数据不全，有时出现尴尬局面。 特别是社会科学评价，用了较多的间接指标，且又简单化、绝对化，评价结果常令人迷 惑，不愿接受。可见，我国的评价理论与方法的研究尚需管理学界继续艰辛探索。
综观20余年的研究道路，大致可分为两个阶段：第一阶段从1980年前后至1993年左右 ，为自发分散研究阶段；第二阶段从1994年前后至现在，为有组织、系统研究阶段，从 发展程度上说可称之为初步发展阶段。
一、自发分散研究阶段
1.研究概况
1980年前后，评价问题进入了管理学界的研究视野，同行评议是最早讨论的问题之一[ 1]。自然科学界在1980年召开的全国科学学第二次学术讨论会上就有成果评价方面的文 章交流[2]。《科研管理》、《科学学与科技管理》等刊物陆续刊登研究文章。社会科 学界的管理学者们从另外的视角啃这一骨头的时间也很早、很投入。在成果评价(鉴定) 前面冠以社会科学字样的文章最早见于《科学学与科技管理》杂志1983年第9期。会议 研讨始于1982年。1982年东北三省社会科学院第三次协作会议，1984年罗台山庄社会科 学研究改革座谈会(东北三省社会科学院第四次协作会议)，1988年社会科学院系统科研 管理学术讨论会哈尔滨会议和成都会议，议题之一是成果评价。之后，社会科学院系统 、高校系统又进行过多次研讨。这时的会议研讨也纳入自发分散类研究，是考虑到它并 不是专题研究，而是几个议题之一，有时是与会人员感到成果评价是科研管理中非常重 要却又没有很好解决的问题，建议议论一下。有些发言者是根据在管理中遇到的问题有 感而发，摆出现象，但缺乏有理有据的分析；对如何评价，只提出原则意见，未能深入 探讨。虽然如此，研究还是在深入，即使是简单的议论，也为研究者提供了信息，乃至 思路。
成果评价关系到社会对科研人员劳动的承认与承认程度，所以从一开始就备受学者们 的关注。就是说，科研实践要求有评价。在科研实践的推动下，评价研究在深化、在扩 展，研究内容由成果界定与分类、评价原则、方法发展到评价标准、指标体系；研究范 围由成果评价扩展到项目、人才、绩效、科研机构、大学等的评价，再到非公正因素的 排除及对越轨行为的批判与防范。应该说，评价理论的有关方面都涉及到了，只是理论 深度不够，一些指标体系的可行性差，不能满足实际评价的需要。
2.研究内容分析
研讨成果评价理论诸项内容中，应属标准和方法最为重要。
评价标准是评价的前提和基础，如果标准模糊不清，就很难保证评价的科学、准确、 公正。所以，学者们首先把注意点集中在评价标准的研究上。一开始，大家认识不尽一 致，对各指标含义的解释不一样，研讨会上争论得很激烈。随着研究的深入，对几个基 本点有了大致相同的意见。归纳大家的说法，有这样几点：(1)创造性。表现在两方面 ：一是开拓新领域，解决未知问题；二是补充、修正、发展已有理论，纠正原有理论的 错误。表现形式是提出新观点、新概念、新见解，或对已有理论提出新解释、新论证， 发掘出新资料。总之是言他人所未言，是科研人员以创造性的科学劳动取得的、以崭新 面目出现于人类知识宝库中的精神产品。(2)科学性。科研是揭示事物发展规律，发现 真理，积累知识，解决问题，惟有实现了这一点，才表明一项成果有价值，起到推进经 济社会发展的作用，实现文明的升华。(3)先进性。先进性是衡量成果在学术界领先程 度的一项指标。理论性成果最先进的水平是国际领先。鉴于我国科学技术发展程度落后 于发达国家，所以在评价时有时是看在国内的先进程度。至于社会科学，更有中国独特 的理论，又受国情、民族特点、意识形态等的影响，故更多的成果是看在国内处于何种 位置。(4)学术价值和社会价值。这是衡量成果对科学发展和经济社会发展进步所起作 用的评价指标。主要看对解决理论和现实问题有什么样的推动作用，对科学发展做出怎 样的贡献。其他一些标准，如逻辑性、资料的完备程度、难易程度等，有人也进行了分 析和论述[4]。
一般说来，评价标准有几项指标，每项指标又有几个方面，这就形成了一个指标体系 。在有些文章中，标准和指标体系交替使用。这里的标准或指标体系，基本上都是从定 性评价角度提出的。在实际评价中，定性评价暴露出一些问题，评价的准确性、公正性 受到质疑，有人开始求助于外在的硬性指标，评价的量化方法提出来了。量化方法是将 每项指标细化为若干小项，每小项给出分数，有的还定出权重系数。这是从另一个角度 提出的评价指标体系。设计这种体系的原则是：科学性、可行性、可比性、相关性、可 区别性、非矛盾性等。具体说来就是表述准确，内容科学，定义确切，指标间非并合、 无重复，指标权重合理、有一定弹性，指标之间不能相互包含或从属，整个体系简明易 懂，容易掌握，便于操作。
较早采用量化方法评价成果的是解放军某部研究所[5]，较全面设计量化指标体系的是 四川省智力开发与专门人才研究所的几位研究人员[6]，之后又有人提出定量评价指标 体系[7]，间接评价指标体系[8]，直接—间接评价指标体系[9]，这些方法都是给每项 指标列出分数，评价时逐项指标打分，最后以总分多少来认定成果质量。应该说，这种 设计思路的出发点是应该肯定的，目的是克服软性标准的缺点，寻求一些硬指标，以减 少主观性，尽量排除干扰，以求评价科学、合理、公正。但用于实际评价，没有预想的 那么好。所以这种指标过细的量化评价难以实现初衷。
评价方法之所以是评价研究的另一重要内容，是因为方法关系到评价质量，自然位置 重要。
这一阶段，人们认可的方法是同行评议法。同行评议有不同的形式：鉴定会方式，通 信方式，答辩会方式等。很多人就什么是同行评议，为什么采取同行评议，进行研究。 同行评议之所以成为国内外普遍采用的评价方式，是因为只有同行专家才了解本学科、 本领域研究状况，被评成果有新意，同行专家是会承认的。你只要提出了新观点、新思 想，用了新资料，有了新见解，同行专家只要不怀偏见，是不会被埋没的，如果有越轨 行为，同行专家也是不会放过的。当然，专家的知识不可能覆盖相关专业的整个领域， 所以对新见解不一定认识到，有的专家在评价时有意无意掺杂进了感情因素，这是评价 之大忌。针对同行评价中存在的问题，人们剖析了产生的原因，提出了改进办法。
鉴于同行评议中存在的不足，定性评价的局限性，以及量化评价的可操作性差，部分 学者开始借鉴国外的文献计量法，提出以引证分析法作为同行评议的补充。问题是那时 采取引证法的条件不成熟，我国缺乏引证统计数据。不过，提出这一方法，给人们指出 新的思路，意义是重大的。进入90年代，引证统计着手进行。在评述第二阶段时，再具 体分析。
十几年的研究，已进展到什么程度，有必要进行一下小结。这是很难做的一件事，它 不仅需要大量的资料，而且要有很高的理论分析能力。时至今日，尚未见到这方面的论 著。笔者为了对这一工作做点贡献，曾做了一些基础性工作：收集、整理了1980—1992 年的有关评价问题主要文章和相关著作，从收集到的大量文献中节录出部分资料，分成 14个专题编辑成册，书名为《学者论成果评价》，于1993年出版。由于本人视野和水平 所限，文献收录不全，节录不一定都合适，但此项工作为学术界进一步研究铺了一块砖 。本书在征集资料过程中得到同行的大力支持，都觉得这是项有意义的工作。我在前言 中说，为使评价研究“有个新的起点，对前几年的研究状况做一番整理，很有必要…… 大家看了此书，对前段研究概况会有个大致了解，也会发现成果评价工作在实践上还存 在哪些问题，在理论上还需要解决什么。”这一粗陋的资料集，对有志于深入研究的人 ，会有一定的参考价值。
二、系统研究阶段
科研评价这一长期未解决的理论问题，完全由学者们自发分散去研究，要取得重大突 破是要耗费相当时日的。如果个人潜心研究与有关管理部门立项支持相结合，解决评价 难的问题会大有希望。在学者们的呼吁以及评价实践的推动下，有关部门开始了正式立 项，组织专题讨论，使评价研究进入了新的阶段——有组织的、系统的研究阶段。这一 阶段以国家自然科学基金会和中国社会科学院分别立项为标志。
1.研究概况
(1)课题研究。国家自然科学基金会先是对评价研究课题给予资助，如郭碧坚、韩宇发 表在《科学学研究》1994年第3期的《同行评议制》，梁立明等发表在《科研管理》199 4年第4期上的《改进科学基金项目评审方法的两点设想》等文章就是得到资助课题的成 果。接着是设立国家自然科学基金项目，如陈德棉等在《科研管理》1996年第1期上的 《科技优先领域的概念、评价方法及应用》，即是立项课题的一项成果。国家自然科学 基金会立项课题一般不是单纯的研究成果评价，而是整个评价理论，面较广。(注：因 本人掌握资料不全面，讲的不具体，敬请熟悉情况的专家修正、补充。)
社会科学评价研究的立项始自中国社会科学院。1994年，中国社会科学院设立了“社 会科学成果评估指标体系的研究与设计”重点课题，由新闻所和科研局分别成立课题组 ，从不同角度、不同思路设计评估指标体系。经过近一年的研究，设计了两套指标体系 ，分别在院内试行。经两年的试行、修改，于1997年通过了专家鉴定，1998年正式执行 。黑龙江省社会科学规划办公室也曾设立“社会科学成果管理研究”课题，由笔者组织 了几个社科院同行研究，1995年出版了《社会科学成果管理》一书。
(2)数据库研制。该研制起因于：第一，为克服同行评议制的缺欠，人们一直在探索新 的评价方法，寻求新的评价工具。第二，国外普遍采用的文献计量方法在评价中的积极 有效作用引起学者的注意，认为应当引入。但国外的检索系统，如SCI等，不完全适用 于国内，而建立以国内文献为主要来源的数据库则可能有力地推进理论研究，使评价获 得新的工具。这样，建立国内数据库以纳入评价体系成为必然的选择。
国家自然科学基金委员会在对国内外检索工具作了认真了解后，与中国科学院一起资 助“中国科学引文数据库”研制课题。资助开始于1990年，到1995年以国内核心科技期 刊为素材的《中国科学引文数据库》(CSCD)问世，1996年推出光盘版，1997年11月通过 了专家鉴定。这是一个具有多种优势的权威性检索系统。1998年的数据库以文献集中定 律为指导，共收录国内重要科技核心期刊582种，积累论文数据近30万篇，引文数据85 万余条，并以每年6.5万篇的论文数据和近20万条的引文数据的规模递增。其系统功能 和规模化的数据量基本能满足国内多种需求，是一个很有应用前景的数据库，对完善我 国各级科技评价指标体系做出了积极贡献。
引文数据库对社会科学评价来说，也是必要的，但因社会科学评价有更多的复杂因素 ，加上技术、人力、财力的困难，这一工作的着手较晚。1998年，南京大学与香港科技 大学决定合作研讨“中文社会科学引文索引”(CSSCI)，南京大学正式立项。1999年， 教育部社政司批准该研究为教育部人文社会科学重大项目。经过两年的艰苦努力，终于 研制成功。该数据库1998年版，选用社会科学期刊496种为来源期刊，来源文献6万余篇 ，被引文献近28万篇，光盘版于2000年出版发行。CSSCI作为社会科学文献信息检索工 具，已提供服务。该项研究正在深入中。
(3)会议研讨。根据改革发展和知识创新工程的需要，中国科学院于2000年成立了评估 研究中心。它的目标是不断加强评估理论和方法的研究，使其成为我国科技评估高水平 的研究基地和权威机构。为推进全国科技评价研究与科技评价工作水平的提高，促进科 技评价机构和评价研究人员的交流与合作，该中心与有关单位于2000年和2001年召开了 两次全国科技评价学术研讨会。研讨会讨论了评价中的各种重要问题，包括评价的基本 理论与方法、科研机构评价、人才评价、成果评价、项目评价、政策评价、战略评价、 绩效评价等。两次专题研讨会对评价理论研究将起到一定的推进作用。
(4)报刊专题讨论。2001年，《科学时报》开展了“谁来决定中国基础研究方向”专题 讨论。这项讨论是由一些科研单位和大学将适用于宏观分析和评价的SCI应用于微观层 次上，从而带来一些片面性而引起的。讨论的实质是在评价中应如何运用文献计量方法 。参与讨论的很多是著名学者、两院院士，这是一场高水平的讨论，对我国评价理论研 究将起到指导作用。
2.研究内容分析
从上述情况概述可以看出，这一阶段的研究深度大大超过第一阶段，为评价实践提供 了较深的理论基础和更科学的评价工具。国家自然科学基金资助课题和中国社会科学院 设立的重点课题，集中了人力、财力，在大量收集资料，深入研讨，广泛征求意见基础 上设计的评估指标体系和研究成果，对评价问题做了较为科学、系统的总结，使评价理 论研究前进了一大步。特别是中国社会科学院评价指标体系，贡献更大。它虽是针对社 会科学评价问题设计的，但就其基本精神来说，对自然科学评价也有参考意义。该指标 体系在用于课题结项、成果评价、评奖等方面优于单纯定性评价，比以往的指标体系更 实用一些。但它也存在一些缺陷：第一，量化评价的科学性在于指标的选取和指标权重 的取值上，科学性应来自科学论证，非经验认可。而这一指标体系所有指标及权重都是 依据经验提出的，因此是否完善、合理有待讨论与实践验证。第二，各项指标都是定性 描述的，有些不好把握。如指标说明中的“重大”与“较为重要”，“某种重要学说” 与“某种重要理论观点”，“问题十分复杂”与“问题复杂”等，其区分不是很明显， 给评分带来一定困难。第三，以得分高低来给成果水平排序，肯定会有不科学之处。实 际评价时，会有这种情况：一项成果由这几位专家评审，得了90分，如换其中一、二位 专家，得分可能是84分(优与良的分限线)，该成果是优秀类还是良好类?我院去年曾用 该指标体系评定每个研究人员当年的代表作，结果85分以上(优秀分)的成果数太多，后 来领导决定将优秀标准提到90分。这固然表明第一次用该体系没有经验，评得过宽，同 时也说明以经验来量化指标是避免不了主观性的。
中国社会科学院这一经反复征求意见、多次修改、几年试评、很有可行性，且易操作 的评价指标体系仍是不完善的，说明评价用打分式的量化方法，可用，但不是最佳，必 须再找新的方法。中国科学院和南京大学分别研制的CSCD和CSSCI，是又一选择。
CSCD、CSSCI选刊集中在核心期刊上，核心期刊不是少数人指定的，而是在实践中形成 的。这样，来源期刊就集中了我国基础研究领域中的大多数重要文献，收录的论文总体 上应是科学研究中质量较高、影响较大的。因此，这两个数据库可作为评价基础研究能 力的工具。目前它们还处在数据积累，经验摸索阶段，需要大家支持和扶植。
用CSCD、CSSCI作评价工具，方向是对的，应注意的是，不能过于夸大其作用，特别是 当前。这是因为：第一，这两个数据库用于宏观评价，如评价学科、单位、地区，能比 较准确，如用于评价个人、单篇文章，就可能出现片面性。2002年2月15日出版的美国 《科学》杂志，由总编辑唐纳德·肯尼迪写的社论《锦标赛、奖金和<科学>杂志》指出 ：“《科学》杂志上发表的一些优秀论文很少被引用，而一些不那么重要的论文却被广 泛引用。”《科学》是国际权威杂志，连它上面的优秀论文都不一定全是引用率高的， 说明对待引用确实不能简单从事。第二，建立数据库的时间不长，数据积累不多、不太 成熟，运用起来应慎重一些。第三，不是数据库统计源的期刊，也会刊登高质量的论文 ，这类论文的价值不能因没进数据库来源期刊而被埋没。数据库的运用必须、也只能是 同行专家评价的工具，而不能代替。第四，虽然引用不是平白无故发生的，客观上反映 了被引用论文的质量，但不同的学科引用率是不一样的，有的学科引用率高，有的学科 引用率低，引用情况又是各式各样，所以仅以引用来认定质量容易发生偏差。论文是否 有创新，必须认真阅读原文，这要靠同行专家整合性的定性评价，而不是由数据库来完 成，数据库不能全面地反映成果的影响力，更无法反映前沿水平。CSCD、CSSCI是新生 婴儿，还是不太过硬的工具，就是若干年后，成熟起来了，也无法包揽一切。但它们的 产生是有坚实基础的，前景是可观的，学术界正确的态度是扶植其健康成长，合理运用 。
三、借鉴国外经验，加强评价研究
国外在评价理论研究上起步早，有的已形成了较为完善的评价程序和方法，一些国家 把科技评价作为政府科技管理的重要环节。国外关于评价理论的研究有以下特点：一是 评价活动既是通过立法保障的、制度化的工作行为，又是专业性很强、技术含量很高的 研究活动。二是为决策服务是评价活动的宗旨，独立性、客观性是评价活动的首要原则 。三是评价目标明确。四是重视评价理论方法的创新。但评价问题毕竟是一个难题，国 外的研究并非尽善尽美，其理论与方法也还存在着许多不足。如同行评议的评审专家不 是通晓一切，受知识面限制，可能会把被评价人的知名度作为评价的依据。就是说，其 评价理论与实际有脱节，评价标准有不便掌握之处。有的专家下的评语表面上是赞许， 实际上是否定，致使评价不够客观。国外的文献计量方法虽有多年的数据积累，也同样 存在局限性，统计数据本身也有误。形势在发展，变革在深入，再成熟的理论在新形势 下也需要进一步发展、改进，不然就不能适应21世纪的管理变革。国外的评价理论也是 这样。
当前的主要问题还是从改进同行评议制和正确运用统计数据上找出路。改进同行评议 制有两条，一是选择同行的范围要广，不要只局限于本地本系统。二是从制度上、机制 上加以规范，有对专家监督的机制，有让专家负责的制度，有检验评价公正性、准确性 的措施。这样即使不能彻底解决现在大家常提的那些弊端，至少会向科学性、合理性上 前进一大步。正确运用统计数据，我们已有不少国外正反经验，只要我们不搞绝对化、 简单化，就会少走弯路，使它成为有效的工具。
收稿日期：2002-09-23