评价机制：同行评议制与间接指标体系的融一，本文主要内容关键词为：指标体系论文,同行论文,机制论文,评价论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
中图分类号：G311 文献标识码：A 文章编号：1007-4937(2004)02-0117-04
科研评价有着很强的导向性，因此备受学术界的关注。但评价机制尚不完善，使一些单位的评价工作出现简单化倾向，评价的科学性、准确性受到影响。有人说当前的学术失范，高水平成果相对少，与此有直接关系。看来，建立科学、有效的评价机制确实是学术界的一件大事。怎样的评价机制才是科学有效的?同行评议制与间接指标的融一应是一种选择。这种选择是针对评价的现存问题提出的。
一、实际评价工作出现简单化倾向的根源
在社会科学成果评价中，存在的主要问题是：数量标准明确，质量标准弹性大；一些单位以刊物、出版社的“级别”代替质量评价；资历有时重于学术；行政长官的意见介入评价等。学术界曾从理论上作过改变这种现象的研究，并提出过改进的对策，但效果不显著。产生这些问题有两方面的原因。
第一，理论上的误导。部分管理学者看到从成果的学术性上去评价比较复杂，同行专家的水平不都那么理想，素质也并不都是很高，评价的准确性、公正性受到质疑，于是开始寻求新的评价方法。看到国外采用的文献计量指标有可取之处，力求往这方面努力，但苦于国内缺乏统计资料，无奈只好求助于其他的硬性指标，以减少主观性。这样，量化方法提出来了，间接指标很自然地用于评价之中。结果有人设计了很详细的量化指标体系。这种设计有两种，一种是从直接指标，即成果的创新性、学术价值、社会价值、科学意义、方法论意义、逻辑性等方面去设计，另一种是从间接指标，即发表刊物(出版社)“级别”、课题来源、文字量、获奖等方面去设计。前一种设计应该说更科学一些，但有人觉得“缺乏操作性”，应该用后一种设计。这后一种设计表面上简化、易操作，实际上漏洞较多，缺乏科学基础，它基本上可抛开被评成果，不用看原作，只凭刊物(出版社)“级别”、篇幅长短、课题来源、作者资历就可认定质量。而且“效率”非常高。在我国科研管理水平不高、管理的学术性不强的情况下，这后一种设计的确为不熟悉科研的管理者、领导者带来评价上的方便。在专家做起来很难的事情，他们很轻松地就“解决”了：每人每年发表几万字，每万字给多少分，发表在哪级刊物上的文章给多少分。一篇文章的质量、一位科研人员的水平，一算就知道了。发表在大刊物上的文章就是高水平的论文，在“国家级”出版社出版的书就是高质量的著作，发表文字量多的人就是优秀科研人员。对这种做法，有人很明确地说：“对研究人员年度考核的质量标准，还应当更简明、更易操作一些，要使每一级科研管理机构都可随时操作，而不必临时组织专家评审组。按照研究人员发表作品的刊物档次，来衡量该作品的学术质量。这一方面虽不尽合理，但却不失为一种操作简易的办法。”(《社会科学管理》1996年第2期)操作性强的不一定就是科学的，多人在用的不一定就是合理的。可以人为地给刊物定档次，但不能人为地定质量。所以不组织专家评审组，而只由管理人员以杂志的“档次”来分成果优劣的做法，实难称之为评价，充其量是一种统计。我们不否认高层次的单位主办的刊物，其编辑人员水平相对较高，发表的论文多是高水平的，把它誉为名刊物，当之无愧。但反过来，把凡是刊载在名刊物上的文章一律称为高质量的，学术界就不认可了。所以，以间接指标设计的评价体系，用刊物“级别”、名气来判断一项成果的质量是一种误导。这种评价理论是不成熟的理论，这种评价机制是不科学的。
第二，管理体制行政化。主要表现是主管部门的非学术化，科研部门领导层沿袭行政管理方式。在我国，社会科学属于文化事业，其研究机构归“宣传口”，就是列入政府序列的研究单位，主管单位也是党委宣传部门。谁主管倒不是主要的，问题是管理体制是以学术管理为主，还是以行政化管理为主，这对科研评价有直接影响。社会科学评价的几个主要方面，如社会科学基金课题的评审、成果评奖、职称评定，很多地方是由宣传部主持。且不说其管理习惯是行政化的，就从思维惯性上来说，一时也不好转到学术管理上来，所以接受不成熟的评价理论是很自然的。科研部门的领导由上级任命，是派学者还是派非学者来，带很大的偶然性。在现行体制下，就是学者任院所长也难以全面摆脱行政管理方式。非学者任院所长，接受学术领导方式那是需要相当时日的。有人当了多年院长，还是不了解科研的特性，常以党政机关的工作方式来安排科研工作，搞一刀切、简单化。不成熟的评价理论正好吻合他们的思想。
二、建立以同行评议为主，间接指标体系为辅的评价机制
成果评价有两个方面：一是从成果自身上去评，看其学术价值、社会价值、科学性、创新程度等；二是从学术影响上去评，影响是价值的外在表现。实际上评价就是分析价值，而价值的认定只能由同行专家来完成。专家在认定时一方面靠自己的理论水平，另一方面借助学术界的评论、引用、反映。科学、有效的评价机制只能建立在这样的基础上。
1.改进同行评议制
对由同行专家来评价成果，人们没有异议，各类评价多是请同行专家。但目前的同行评议确实存在一些问题，应引起人们的注意。同行评议出现的问题，有专家自身方面的，如知识面不宽、评价时掺杂了感情因素、个别人素质不高等；也有制度方面的，如评审时间过短、聘请专家的范围过窄，造成二流专家评一流成果、外行评内行等；还有体制方面的，行政领导主持评审，领导与专家意见不一致时，以官位来裁决。所以改进同行评议制要从几个方面去解决，单纯解决专家的问题，而不从制度上、体制上去改进，是不能使同行评议制完善起来的。当然专家问题是首先要解决的，可从队伍的建立与监督机制上解决。
建立一流，至少是让广大学者信任的评审专家队伍，是必须做到、也不难做到的。只要扩大选择同行专家的范围，不搞“地方保护”，不局限于本地本系统，完全能聘请到一流专家，本地没有，国内找，国内没有，国际找。这里需说明的是，聘请哪个层次的专家，要视评价的需要而定。重要的评价，解决重大问题的评价，必须请国内外一流的专家。地方性的一般评价，不一定全部聘请国内外著名专家，一部分、甚至大部分可以是本地系统的学者。只要把学术水平作为选择专家的依据，就不会出现二流评一流、外行评内行的现象。专家的层次高了，特别是外地、外国专家，人情因素相对少，学术视野宽，又有自身的荣誉感，会认真负责地评价，评价结果的准确性、公正性会高一些。监督机制，是过去较弱的，现在必须加强。评价是对科研人员劳动成果的认定，一项成果对知识增长有无贡献、贡献大小要由评价来昭示。专家是代表社会对成果进行评价的，一旦公布于世，就不再是专家个人的意见，而是社会的裁决。因此，专家要对评价意见负责。所以，为使评价准确、公正，必须有让专家对自己的意见负责的制度，有检验评价公正性、准确性的措施。这就是监督专家行为、工作的监督制度。
2.改革评价制度和方法
目前社会科学的评价，全国性的较少，多数是在地方和单位，如省、市、科研部门、高校或某一系统等。评价主要用于课题结项(评最终成果)、职称评定、成果评奖、年度考核。在不少地方或部门，无论哪级评价、哪种评价，评价人基本上是固定的一些人，人员变动不大。有的人已当了十几年的评委了，形成了一套模式。应该说这些专家都有一定的知名度，多数是够格的。问题是守旧有余，创新不足，而且评价的面太广，有些已超出了他们的专业范围。某省2002年的优秀成果评奖方案中明文规定，将“初评入选的成果分成专著、编著译著、论文、青年奖四大类，分别组建评选组进行复评”。这四大类中什么专业都有，每组都有各学科的专家，但每个学科的专家人数不多，就算是一流的专家，在评到他不熟悉的三级学科时，也很难再说他是一流专家的水平了，至于去评超出他专业范围的成果，恐怕就变成外行评审了。这种评价制度和方法必须改革。
第一，建立专家库。以省为例，“入库”专家可以先从省内考虑，由广大学人来推荐。谁的水平如何、素质怎样，同行学者心中是有数的。多数人推荐、省内外同行认可的，就可以“入库”。为保证评审专家组的高水平，无论哪个学科，都应有外省的国内知名学者参加。这里必须强调的是，如果哪个学科在省内没有高水平的专家，决不能由其他学科的“名”学者来代替，全是外省的也无所谓，这并非省内无光，而是评价的需要、学科发展的需要。另外，专家库中要有一定的管理专家(非行政人员)。每次评价时，从专家库中随机抽选。专家库可设在省社科院或社科联，领导小组由省内最知名的几位专家组成，入库人由他们定夺。领导小组成员有一定的任期，最多任两届。入库专家不是固定不变的，多数学者强烈要求撤掉的，有一两次出现明显不公，经查确实有越轨行为的，坚决撤换。
第二，加强科研管理部门专业性，提高科研管理人员素质。科研管理部门在评价中起着重要作用，其成员多数应为专业人员。他们要有广博的知识、宽阔的视野，了解更多学科和自然科学的基本知识，同时掌握管理学知识。其能力应是多方面的：要具备组织才能，胸怀大局，有战略眼光，善于调动各方面的积极性；要具备创造才能，勇于探索，有创新意识，善于发现、发挥他人的思想；要具备科研能力，是某一方面的专家，只有本身是学者，才能了解、理解科研人员，制定符合科研规律的制度、方案、方法，才不会像行政人员那样搞行政评价，搞外行评价。在品德与工作方面，作风正派，有较强的奉献精神，坚持公正、公平、公开的原则，工作上尽心、尽力、尽责。加强科研管理部门的专业性、强化其职能、提高科研管理部门人员的素质，这是提高评价质量、保证评价科学有效的一项重要措施。
第三，评议以小同行为主。每项成果都是某一专业、某一领域的研究结晶，只有小同行的专家才能真正评价其价值。当然，随着知识的剧增，学术领域的划分越来越细，要每篇成果都由专业方向完全一致的专家来评，是不太可能的。因此，对小同行不能做绝对化的理解。相同专业、相近专业的专家可做小同行专家抽选。为了从多方面、多角度评价，学科评审组中有少数一级学科专家和管理专家，是必要的。但应避免行政人员参与，小同行之外的人员不能过多。
第四，科学地运用间接指标。关于间接指标，有两种倾向应克服：一是简单的运用，用一两项就去评价，失于偏颇；二是过于轻视，什么都不想用。实际上，间接指标并非可有可无，那些不规范的、带有偶然性的不便采用；那些具有科学性、可行性，确能反映成果质量的，如其他同行专家、编辑专家、管理专家从某一方面做的评价、评论，应该采用。笔者认为，完善评价机制的重要方面就是摆正、用好间接指标，如引用、转载等。出版层次、获奖等指标，在评价时也并非一点意义都没有。下面对此作一具体分析。
(1)引用。引用在评价中往往是被忽视、然而却是一项很重要的指标。在很长一段时间，一些未受过专业训练的人在撰写论文或著书立说时，没有规范地引用，明明用了别人的观点，也不注明。加上对引用未像国外那样有专门的统计机构，所以对引用这种严肃、负责的指标未引起人们的重视。任何一篇合格的研究成果，都必须在某方面或某些方面有创新之处，同时又是建立在他人研究基础之上的新进步。因此在研究中引用、参考他人成果，指出有关知识、观点、思想的出处，这既是对他人贡献的尊重与鸣谢，肯定了与本人研究直接相关的工作，表明研究的连续性、继承性，也会使人了解到该成果的创新在哪里。不然就会是一笔糊涂账，似乎一切都出自自己之手。一项成果被他人引用了，而且是正引、不止一次的引，是带有充分肯定性的引用，说明该成果引起同行的重视，在该领域及相关领域产生了影响，这从一个方面反映了其学术水平和价值。所以在评价中将引用作为一项指标，作为同行专家评价的参考，是不可缺少的，对此有所忽视是不对的。问题是在评价时对引用不能不加分析地同样对待，不能认为凡引用都同等重要。引用有他引、自引、正引、反引、充分肯定性的引用、简单的提到，它们的作用是不同的。反映被引成果水平的只能是他引、正引、带有肯定性的引用。正是从这个意义上说，“引用他人论文著作的做法就是科技评价的最基本形式，也是科学共同体运行的基本机制。”[1]
为使引用这一评价指标能正确地运用于评价，仅靠学者个人、评审专家、科研管理部门逐项去查找，是困难的，必须建立数据库。南京大学研制的CSSCI就是这样的数据库。对该数据库，现在还没被普遍认识，应加强宣传，为学界所接受。相信随着评价机制研究的深入，它本身的逐步完善，这一既符合国际惯例，又是从中国实际出发的评价指标会逐渐得以广泛应用。
(2)出版层次。出版部门因主办单位不同、编辑力量有强弱、审稿严格度不一样，所发表的文章、出版著作的质量差别很大。常刊载高质量成果的刊物、出版社，受到学术界的重视。在这种出版单位发表的成果，被人高看一眼是正常的。评价时给予更多的关注并没错。错的是不加分析地认为凡是在名刊物发表、大出版社出版的成果就一定是高质量的。这是有悖于评价原则的。原因很简单，名刊物、大出版社的编辑水平再高，审稿制度再严，也会有疏忽的时候，很难保证所发成果篇篇、部部都是上乘之作。更何况社会上的不正之风对编辑部不会一点影响都没有，人情稿、关系稿、名人的非心血之作，无法全部拒绝。对不知名的刊物小视是不对的，不出名的刊物上的文章并非没有高质量之作。有些很有价值的论文没在名刊物上发表，却在不知名刊物上发表，并非个例。可能是该文与名刊物的选题范围不太相符，或者如美国《科学》杂志总编辑唐纳德·肯尼迪所说：“我们希望发表的很多文章由于其必须用于解释的篇幅超过了我们的字数限制，因此未能在《科学》上发表；另外，一些优秀的文章适合于更专业化的杂志。”[2]这样，有些高质量的文章就发表在不知名的刊物上了，但其价值不因刊物不知名而受影响。所以出版层次只能是专家评价的参考，评价时，专家首先是看原作，成果质量不高、在名刊物发表，专家也不会给予高评价；成果质量高、在不知名的刊物上发表，也不应贬低其价值。
(3)获奖。现在人们、尤其是领导层，很重视成果是否获奖，好像凡获奖的肯定比没获奖的质量高。实际上，我国目前社会科学的奖励缺乏规范性，各地有各地的做法，评出的获奖成果，有的能得到学术界的公认，有的得不到学术界的承认。因此简单的以是否获奖来认定成果质量是不能说服人的。但获奖成果毕竟经过了一轮评价，完全无视也不妥。对获奖成果首先要看它是由什么部门、怎样评定的，如确是经严格评审评出的高层次奖，应该参考；至于一般性的奖，不必看得那么重。无论出自何处的奖励，都不能“免检”，都必须由评审专家重新评价，不能以奖代评，以奖压专家。
(4)社会反映。这里说的社会反映是指报刊转载、书评等。当前人们看重的是《新华文摘》和《复印报刊资料》转载。有转载、书评比没有好。一本书出版后，无任何反响，不好说社会作用大。如确实是同行给以的实事求是的评论，应作为评价的参考；但找几个熟人写写言过其实的所谓书评，再找关系发表出去，这种“反映”说明不了什么问题。在真正的书评与熟人应邀而写的“书评”无法区分的情况下，评审专家像对待获奖一样，不要花费太多时间去品味，还是要把精力用在分析原作上。对《新华文摘》转载的文章，一方面要看到多数是质量高的，另一方面也要看到有些与形势有关。也不排除转了不必转的，如1981年第3期转载的《马克思主义以前没有唯物史观吗?》就是这种情况。另外还要看到，它的编辑人员及所聘专家受知识面的限制，对某些新学科文章的学术水准把握得不一定都那么准确，有时不免使那些介绍国内外研究情况加作者个人“思考”的文章比具体研究性论文更容易被转载，如关于评价研究方面的论文转载情况就是如此，这显然不是以学术价值为选文标准。因此以《新华文摘》转载来比较被评价文章的质量，是以偏概全。评审专家不能被其左右，管理部门在设计指标时不宜将其列入。这里我们仍然强调，评价时先看原作，转载不作先决条件。
(5)领导批示。这个问题更复杂。一篇研究报告或论文，被国家、省市领导批示了，说明领导重视了，但要看领导批示的具体内容和产生的效果。如只是说文章写得好或无实质性的内容，就不值得大书特书。一篇应用性研究成果的价值在于对社会实践的作用，看它对实际问题揭示的深度和解决的程度，提出问题的思路正确性，对策的可行性，是否被采用并被运用于实际。领导如能从这些方面去批示，批示后被有关部门用于实际并产生了效果，在实践中得到验证，这种批示才是有意义的。实践是检验真理的标准，真正的价值要由实践来证明。如果批示与实践验证不一致，还应服从实践。
第五，给专家充分的评审时间。评审专家是根据原作进行评审，因此必须有充足的时间审阅原作，这就应改变目前这种“高效率”。“科技评定的专家们最重要的还是要根据作者的原始论文来评定他的水平。而要做到这一点，评定时间应放长一点……使评定的专家有足够的时间能读完提交的代表作，并且能直接调查它的重要性，做出独立的判断。给评定科技成果的专家时间过短，就只能使他们主要是参照别人的意见和引用来下判断。”[3]时间太短，看都看不上一遍，不想以刊物“级别”、文字量为依据，又怎能完成“任务”?如再有人递条子、打招呼、请关照，就更让专家为难了。这里不是说以往的评价都有问题，但不该出现的问题出现了，与评审时间过短有直接关系。适当增加评审时间，不仅可以使专家能细细品味原作，而且可以在评审期间广泛听取学术界的意见。广泛听取意见，有助于评审。
第六，避免行政干预，减少新闻介入。评价成果价值，是学术界的事，行政领导不应轻易过问，新闻媒介不应中途介入，以免使问题复杂化。评审结果是要公示的，有问题在公示期间由学术界来纠正。
以往那些有效的做法，如回避制、只评代表作等应继续坚持。
收稿日期：2004-01-18