基于同行评议的复合型人文社科学术评价，本文主要内容关键词为：同行论文,学术论文,评价论文,人文社科论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
中图分类号：G231 文献标识码：A 文章编号：1000-5242(2016)05-0138-07 学术评价历来是人文社科领域科研管理的重点、热点与难点，也是学术发展、学科建设中的重要一环。目前，同行评议法和文献计量法是学界通行的主要方法。文献计量法更适用于自然科学；人文社会科学具有更强的自由性研究特征，成果转化时间长，社会价值难以在短时间内显现，因此，同行评议更符合人文社会科学的研究特点和规律，也有利于及时发现成果。 同行评议产生于17世纪中叶，它是指学科专家利用自己的专业知识对评价对象的内容做出专业性的评价。英国皇家学会在评议会员的学术论文时，率先采取了类似于今天同行评议的方法。20世纪30年代，美国把同行评议使用在科研项目的经费评审中，此后一直作为一种有效的学术评价机制存在，“成为科学界的一个惯例，而且始终处于科学检查、评审过程的中心地位，深深根植于科学的结构和活动之中”①。但之后由于计量工具的引进导致了过度追求量化指标的趋势，对量化评价的质疑声也越来越大，2012年，美国科学促进会等几十家科研机构和百余位科学家签署了《旧金山宣言》，认为应停止使用影响因子评价研究产出，要针对科学内容而不是计量指标进行评价，提出了同行评议的重要性问题。我国学术界和科研管理部门也越来越意识到学术评价必须从重数量过渡到重质量的阶段。2011年，教育部《关于进一步改进高等学校哲学社会科学研究评价的意见》指出，要“完善以同行专家评价为主的评价机制”。与此同时，相关学者也围绕同行评议的定义、同行专家的遴选、同行评议的局限及改进对策、网络同行评议等问题进行了探讨。但他们的探讨偏重理论问题而较少实证研究，而复印报刊资料基于同行评议的复合型人文社科学术成果评价的实践引起了社会和学术界的广泛关注。 本文即以复印报刊资料选文过程中定性、定量相结合的评价理念和指标体系为例，探讨基于同行评议的复合型人文社科学术评价体系。 一、中国人文社会科学学术评价发展概况 近20年来，人文社会科学各领域对学术评价越来越重视，使学术评价在推动人文社会科学繁荣发展中的作用越来越凸显。南京大学、北京大学、武汉大学、中国社科院、中国人民大学、中国知网等机构相继成立了评价研究机构，凭借各具特色的理论体系推出了各自的评价产品，一定程度上反映了中国人文社会科学学术期刊评价的概况。 (一)学术评价推动人文社科繁荣发展 众多科研机构已将学术评价作为管理科研活动、提升科研生产力的重要手段，尤其是在SSCI、CSSCI、大学排名等评价成果出现之后。高等院校、社科院、党政干部院校等学术研究机构都设置了专门的科研管理部门或人员，开展了大量科研项目评审、各类成果评审与评奖、职称评审、科研人才发展评估等学术评价活动，评价的导向、理念、标准、方法，也逐渐成为科研部门和学者关心的重要内容。与此同时，许多人文社科学者成为评价活动中的评审者、被评审者、评价组织者，学术界对评价活动的关注度也越来越高。在这一过程中，相关学者开始审视和反思学术评价对于人文社会科学发展的影响，不断提出质疑、疑问、优化建议，使学术评价在科学性、合理性、公信力等方面进一步完善。 2011年，教育部颁布多项促进人文社会科学学术发展的重要文件，将学术评价列入《高等学校哲学社会科学繁荣计划(2011-2020年)》，明确要求完善以创新和质量为导向的科研评价制度，并建议选择部分地区和高等学校开展学术评价改革试点；②在《教育部关于进一步改进高等学校哲学社会科学研究评价的意见》中指出，充分认识以创新和质量为导向的科研评价对繁荣发展哲学社会科学的重要意义，强化注重理论创新和实际应用价值的质量评价导向，实施科学合理的分类评价，加强同行评议为主的评价方式，完善诚信公正的评价制度，并采取有力措施将改进科研评价工作落到实处。③这与中国学术评价在推动学科繁荣发展的作用越来越凸显、各级科研管理部门对学术评价要求越来越高的客观实际相符。在今后相当长的一段时期内，学术评价对提高科研管理水平、优化资源配置、全面提高中国科研实力还将发挥更加积极的作用。 (二)专业评价机构对人文社科学术评价产生重要影响 近20年来，南京大学、北京大学、武汉大学、中国社会科学院、中国知网、中国人民大学等纷纷成立专业评价研究机构，对人文社科学术评价的理论方法开展了深入研究，一系列有影响力的评价成果也相继发布，对中国人文社科学术评价的发展产生了重要和深远的影响。 首先，专业评价机构建立了中国人文社科学术评价基本理论方法。这些评价研究机构对国内外的学术评价理论方法进行了大量的梳理总结和对比分析，从不同视角探讨了文献计量和同行评议、定性评价和定量评价、外在指标与内在指标、直接评价与间接评价等各类评价理论方法的内涵与实用性及其相关关系；同时，结合评价实践，对人文社科学术评价中面临的一系列问题，从理论层面展开了大量讨论，得出了诸多有价值的判断和结论。比如，如何控制同行评议专家的主观随意性，如何改进并科学地使用引文计量指标，等等。这些努力使中国人文社会科学学术评价基本理论方法体系得以形成，也直接确立了当前中国人文社科评价“以文献计量为主、同行评议为辅”的基本框架。 其次，专业评价研究机构推出了一系列评价产品，为中国人文社会科学的管理部门、出版者、政策制定者提供了大量可用的评价工具和数据，为各项活动提供了基本依据。如南大评价中心CSSCI、武汉大学的大学排名、中国人民大学复印报刊资料的转载数据等，成为高校机构与基地评估、成果评奖、项目立项、名优期刊评估、人才培养等方面的重要依据；同时，这些机构的评价数据库积累的丰富的评价数据，也为政府改进学术管理政策、为学术研究和学术评价工作提供了有价值的数据支撑，尤其是文献计量方面的数据支撑。 再次，专业评价机构提升了中国人文社会科学的国际话语权。一方面，这些评价研究机构发布的符合中国人文社科发展需要的评价成果，在国内得到了广泛应用，使我们具备了与国际上其他国家和地区在学术评价上进行平等对话的条件；另一方面，一些评价研究机构通过举办国际性的学术会议，探索国际化学术成果评价的方式，为其他国家和地区了解中国的学术发展提供了便利，促进了我国与世界各国的学术交流，同时也在一定程度上提升了中国在全球的学术影响力和话语权。 (三)学术评价存在的问题和改进方向 尽管学术评价已在推动中国人文社会科学发展方面发挥了不小的积极作用，但其弊端和不足也十分明显，受到来自学术界尤其是学者的颇多质疑和诟病。评价研究者、评价组织者、科研管理者也开始对学术评价进行反思和修正。 中国高等院校和科研机构推行的量化考核，使数字指标为核心的考评体系已成为学术管理的重要依据。学者的研究成果被量化为一个个具体的数字，这些考核与每一位学术研究者的切身利益直接挂钩，职称评定、科研经费划拨和行政升迁等都与所完成的科研数量紧密相关。中国发表的学术论文总量名列世界前茅，但每篇论文的被引率却和世界平均水平有着很大的差距。由于过分追求科研项目和论文数量，助长了论文抄袭、专利造假等不良学术风气，造成了数量激增与高水平成果稀缺的尴尬反差，制造了大批低水平重复的“学术垃圾”，更影响了评价结果的准确性与公正性，严重损害了中国的学术形象和学术竞争力。 另外，用发表载体判断成果质量一定程度上恶化了学术生态。突出表现是利用核心期刊开展学术评价，把对学术期刊的评价等同于对学术论文的评价。核心期刊的原始研制目的及其应用领域引入中国后发生了异化，尤其是多家评价研究机构定期发布各类核心期刊之后，其用来评价科研工作者业绩的功能日益凸显。国内各大评价机构发布的核心期刊目录已然成为一种评价学术成果的尺度。但期刊质量和影响力不等于论文质量，“以刊评文”方式的科学性具有“先天缺陷”，其负面影响蔓延到了期刊界和整个学术界，本该慎重对待的论文内容质量评价被简化为“期刊等级”，评价的公正性和准确性大打折扣；科研人员竞相在核心期刊上发表文章，致使非核心期刊稿源稀缺，核心期刊杂志社以核心期刊作为金字招牌，发人情稿或收取高额版面费，等等，这些随之而来的问题说明学术评价已走到非改不可的境地。 同时，过于强调文献计量影响学术评价尤其是人文社科学术评价的科学性。文献计量方法是通过计算期刊在一定时期内所载成果的被引用数据，如影响因子、他引频次等对期刊进行评价的。这种方法的局限在于，由于期刊来源范围广阔，一些论文由于种种原因发表在非统计源的期刊上，各评价机构均不可能完全收集涉及本学科的所有论文；由于引用动机不同，被引用并不完全等于被认可，更有期刊部门为提升引文指标，人为干涉引用数据导致自引、互引、循环引等恶劣行为不断。不仅如此，人文社会科学学术成果具有研究范式多样、真理性与价值性显现慢、大量运用思辨方法、影响很难辨识和测量等特征，将适合科技成果评价的文献计量学方法运用在人文社会科学学术成果评价上，评价的科学性必然有偏差。 不论是对论文的评价，还是对期刊的整体评价，最终都应回归到对其学术质量的评价，评价的主体应当是文章内容所涉及学科领域的同行专家。而在当前的学术评价过程中，偏重文献计量的方式使同行专家在学术评价中缺位，未能充分发挥其主导作用，同行专家的定性评价仅仅起到补充说明作用；即使在同行专家参与的评价活动中，评价流程和规范也常常较为粗糙，失范、失当、失效现象比较严重，常常不能确保较科学的评价效果。实际上，对人文社会科学学术成果而言，由于其复杂性和多样性，同行评议更适合其发展规律。同行评议虽然容易受到主观因素的干扰，但其智能性、灵活性、直接性、综合性更强，更适合人文社会科学成果的评价，应当突出专家与同行在成果评价中的主导地位。当然，在定性评价中，如何保证评价专家的透明性、评价过程的公平性以及评价结果的权威性，也是亟须解决的问题。 当前人文社科学术评价理论方法的研究和实践，总体水平仍是停留在20年前甚至更早时期的认识，多数只是对文献计量和同行评议两大方法进行细枝末节的补充和完善，能够实现理论方法突破或超越的情况非常之少。这种状况直接导致评价实践缺乏理论方法的必要指导、效果严重偏离初衷，一些重要的实践问题在现有的理论框架内很难得到解决。比如，评价体系简单照搬理科评价和工程评价，对人文社会科学来说适用性较差；由于样本范围不一，评价指标数量、权重分配上存在差异，不同评价体系在方法上同质化严重，而且评价结论耦合度差，使一线管理者不知如何选择和应用；针对不同的评价对象、不同的学科领域、不同的研究类型的评价对象，分类评价体系不科学、不健全甚至非常混乱，忽视了不同对象的特性、规律等，这些问题的解决仍然任重而道远。 国际化是学术评价的大趋势，科研机构、评价机构都比较重视国际化的探索，加强国际间的合作。中国现行的学术期刊评价体系，主要是以欧美学术界主导的几大引文索引为参照模式和评价标准而制定的，虽然引进西方的评价体系客观上对中国的人文社会科学发展产生了一定的积极作用，但这一评价体系与中国学术的不适应性也逐渐显示出来，尤其是导致了一些学科在国际化过程中丧失话语权和评价标准的制定权，不利于中国人文社会科学的自主发展。 总之，加强学术评价的创新和质量导向，完善公正开放的同行专家评价制度，实施科学合理的分类评价，注重国际间的合作共赢发展，应是我国学术评价的发展方向。 二、复印报刊资料的论文精选 复印报刊资料系列学术刊是从中国公开出版的报刊上搜集、精选人文社会科学学术论文和相关信息，由学科专家和学术编辑共同遴选，并按学科门类进行转载的规模化、专业化、标准化、体系化的精品刊群。它汇集中华学术、精选千家报刊的特性，使它从20世纪60年代创立之初就具备了评价的雏形，其转载量(率)被学术界和期刊界视为人文社科领域中影响广泛、客观公正的学术评价标准之一。 (一)人文社科学科覆盖齐全 目前，复印报刊资料每年收集、整理国内公开出版的近4000种报刊上约40万篇人文社科学术论文，从中精选出1.5万-2万篇优秀论文转载。复印报刊资料学术系列期刊按学科门类编辑出版，基本覆盖了中国所有人文社会科学二级学科，对于一些交叉性较强的学科和边缘性学科，也设有相应期刊或栏目与之对应。复印报刊资料包括了马克思主义理论类、哲学宗教类、社会学民族学类、政治学类、法学类、经济学类、管理学类、语言文学类、艺术学类、历史类、文化类、新闻传播学类、图书情报档案类、教育体育类以及专题类的期刊，近百种复印报刊资料学术刊群组成了一个有着内在紧密逻辑联系的整体，综合、全面地反映了中国人文社科各学科的研究现状和发展趋势，这为以复印报刊资料转载数据为基础开展的学术成果评价，提供了全面的数据样本。 (二)专业的学科编辑和编委 复印报刊资料依托的中国人民大学书报资料中心拥有100多名各学科高水平编辑组成的专业队伍和150余位学界知名专家顾问组成的专业团队，这种通过编辑和专家共同选文、评文的过程是直接对单篇论文进行专业化、标准化、规模化、持续性的评选过程，实质上就是对学术成果进行同行评议，为中国人文社科成果评价提供了崭新视野。 (三)同学科比较的科学评审 人文社科各学科之间在研究方法和研究性质上均存在较大差异，必须针对内容之间的差异性进行分类评估、同类比较。复印报刊资料学科编辑首先要将同一专题、同一时间段内的所有论文汇集齐全，在此基础上再将其中同学科、同专业论文进行反复比较、评选，确定优质论文进行编排。中国人民大学人文社会科学学术成果评价研究中心根据选文经验，按照论文体裁和所属学科的不同，设置多套不同的权重分配方案进行分类评价、同类比较，使质量越高的论文越能得到精细的评价。 (四)层层精选的规范流程 复印报刊资料拥有一整套完整、严格的编选流程和质量监控机制，按照学术共同体公认的评价指标体系，注重论文的学术创新程度、论证完备程度、社会价值、难易程度，经过各学科的责任编辑、学术顾问，通过内评、外审等多个流程对论文质量进行比较、评价，每一篇论文的确定都经过了多环节、多评委，相互制约，确保所选论文的学术水平。 三、定性定量相结合的评价理念和指标体系 (一)同行专家的定性评估 复印报刊资料的选文标准采用的是“人文社会科学论文质量评估指标体系”④。该体系由评价研究中心自主研制而成，它将人文社会科学论文作为直接评估对象，坚持“同行评议为主、文献计量为补充”的评价原则。 首先，评估指标体系以学术论文为直接评估对象，有效规避“以刊评文”带来的种种弊端。指标体系的设计强调对论文内容质量的评估，把“有效反映论文质量”作为遴选指标的必要条件，主要表现在：以直接反映论文内容质量的定性指标为主，如学术创新程度、论证完备程度、社会价值、难易程度；以间接反映论文质量的指标为辅，如课题立项、发表载体等。 其次，坚持同行评议的主体地位。当前，我国各学科论文水平评估中，文献计量评估占据主导地位。然而，实践表明，同行评议更符合人文社会科学的研究特点和规律，更有利于及时有效地发现优秀成果。文献计量评估则有利于弥补同行评议主观随意性的不足。“人文社会科学论文质量评估指标体系”坚持同行评议定性评价的主体地位，兼顾论文数据定量评估的优势，既顺应了学术评估领域的客观需求，又有利于弥补当前我国人文社会科学论文评估的不足。 再次，“指标通用、分类设置权重、分步评估”。同行评议指标是本体系的重点，为使该指标体系既能较为合理地体现不同学科和类型论文的特质，又具有较强的可操作性，体系采用了“指标通用、分类设置权重、分步评估”的评价模式。从学术共同体的“共识性评估标准”中，提取出普适性较高的标准，设置通用的指标，用于评估所有论文。针对论述体裁和学科领域的差异，分类形成不同的指标权重分配方案。设置三个评估实施环节，首先通过“初评”评估论文的学术性质和基本水平，筛选掉非学术性论文；之后通过“复评”判断论文基本的“优劣等级”，筛选掉质量较差的论文；最后通过“终评”对质量较好的学术论文进行再次评估。 (二)量化的评估指标体系 同行评议是对主观印象的表达，为对主观判断进行量化分析，体系把主观印象通过设定的打分表予以量化。打分表解决的核心问题是尽量准确地获得评估主体印象，减少主观印象表达和量化过程中的损失。心理学研究表明，人的短时记忆从4-9个信息单位不等，评分过程也符合短时记忆容量的规律。⑤因此，分表选择了两个5分量表嵌套的“21分量表”⑥(见图1)，要求评委在打分时，先判断论文水平处于五个基本等级中的哪一级，再左右微调论文的最终得分。这种方法避免了因分级过少而强行做出选择时造成的评估信息丢失，或因分级过多导致超出评委判断能力造成的失误。
标签：人文社科论文; 定性指标论文; 量化分析论文; 量化管理论文; 文献分析法论文; 科学论文; 学科评估论文; 理论体系论文; 定性研究论文; 中国社科院论文;