引文法既是定量又是定性的评价法,本文主要内容关键词为:又是论文,引文论文,定量论文,评价论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。
1 引言
长期以来,国内许多论著认为引文分析法仅是定量评价法,或称为“间接评价法”[1] ,我国科研管理界、图书情报界、期刊界也基本认同这一看法。因此,人们只从定量的 角度看待引文分析法在评价上的作用。但是经过深入思考,就觉得这种看法并不全面, 这种看法对于充分认识和发挥引文分析法在学术评价中应有的独特的重要作用极为不利 ,因此有必要对引文分析法的属性进行全面的阐释。
2 定性评价的定义、作用和局限
所谓定性评价是指评价者根据其价值观与历史观对研究成果进行概括性评价。同行评 议(peer review)是定性评价的一种主要方法,亦称专家评审,是指同一个学科或研究 领域或同一个研究方向的专家按照一定的标准对研究成果进行的评价活动。同行评议始 于17世纪最早学术期刊创办之时。如1665年出版的英国《哲学汇刊》就实行同行评审制 度。以后发展到评审项目,决定经费的分配。20世纪40年代美国开始采用同行评议制度 ,以决定分配巨额科研经费。美国高等院校的研究拨款90%是通过同行评议来决定的。 虽在20世纪70、80年代经历过两次否认同行评议的严厉批评,但其现在仍为主要的评价 方法。美国曾对4300名科学家的调查表明,80%的科学家赞成在项目评审中采用同行评 议的做法[2]。
然而同行评议仍具有一定的局限性。首先,同行评议假设评审人都是公正的,评价主 体没有差别,但在实际上这是不可能的,尤其在学术评价制度不健全,评审专家的遴选 机制不完善的环境下更是如此。评价专家之间的差别很大,某些评审人不公正,往往造 成评价错误,即所谓“命运决定于评审人而不是成果质量”。其次,评审专家对共识项 目有更多的发言权,对某些一般超前项目也有比一般学者更多的认识,但是对超前很多 、新兴、交叉学科的项目、非共识项目很难评价,有的不被同行理解而遭否定。再次, 在同行评议中,著名研究单位、与评审专家同一国别、同单位及熟人会被优先考虑。为 了克服这些弊病,可以采取增加评审人数量(交叉学科专家),实行匿名评审,考核评审 人的可信度,公开评审意见等对策。
目前在我国,同行评议也仍然是学界广泛使用的评价方法。但由于包括专家遴选在内 的学术评价体系正在建立,学术失范及学术腐败现象十分严重,因此同行评议的局限性 就十分明显。
3 定量评价的定义、作用和局限
所谓定量评价是指评价者根据数据对研究成果进行具体精细的评价。一般说来,定量 评价比定性评价更客观、更具体、更精确、更具操作性。但学术评价不同于一般的工作 评价,有些可以定量评价,有些则不能或很难量化,这在人文社会科学评价方面更是如 此。因此对于不能量化的成果不恰当地运用定量评价法,其评价结果就不会公正,当然 这并非是定量评价法本身之过,而是运用者之错。
4 引文、引文索引及引文法的属性分析
所谓引文,即引用文献(citations),又称参考文献(bibliographic references)或文 献注释(notes),是专业人员为撰写或编辑论著而引用或参考的其他专业人员有关的文 献资料。所谓引文索引(citation index)是一种以文献之间的引用关系为基础的文献索 引,即它以被引用文献即引文为标目,其下列出引用过该文献的全部文献(来源文献)的 检索工具。它不同于从作者、题名等为标目而编制的索引,除了一般查询外,它能提供 文献之间的内在联系。通过一篇具体的被引论文,可以检索到同领域的不同时期的各种 论文。引文索引创始人、美国著名情报学家尤金·加菲尔德(E.Garfield)曾经指出,由 于引文能够“把全部科学论文编织成一个统一的网系”,在大多数情况下,“引文是学 者付给同行的硬币工资”。“引文测度被证明是一种同行专家评议的有效方式,它把一 些有用的、客观的因素引入到评价过程中,而且只涉及少量的使用调查技术的费用。而 引文分析与凭直觉判断相比,有时花费的时间和工夫,则显然要多得多。但是,专业的 评价肯定是十分重要的,足以表明这种投入是正确的。”[3]可见,引文索引可以帮助 确定知识或科学的结构,反映学科的渗透情况,可以从一个重要侧面评价被引用论文、 刊载被引论文期刊以及学者、学者群体的影响程度和水平。而引文分析法则是对专业人 员论著之间的引用与被引用的现象进行统计、归纳、比较、抽象、概括等分析,以揭示 各种文献集合以及与文献交流有关的各种集合特征和集合之间联系的方法。
从上论述可以看出,引文分析法既包含定量评价,又包含定性评价,详细分析如下。
4.1 引用文献的前提是同行专家的阅读和认同
成果被引用的前提是同学科的专业人员要阅读,要读懂,且认为它有价值,不是同行 是不能胜任的,即同行专家必须先对论文进行评审,而后才有可能引用该论文。同行专 家阅读和评审则完全符合同行评议的含义,实际上这就是定性评价。根据同行的引用, 又能计算出被引用的次数,根据数据进行评价,这又是定量评价。
4.2 引用文献的同行既有小同行专家,亦有大同行和相关专家
在引用文献的同行中,既有小同行,即同一研究领域或同一方向、专题的同行,亦称 真同行,也有同一学科的大同行和相关学科的同行,只要他们能够获得该论文,并阅读 且认为有意义,就可以引用,即评价。换言之,凡引用文献一定是被同行评审过的。而 且引用文献的同行面比一般的同行评议的同行面要广泛得多,因为一般的同行评议是从 专家库中选出少量同行专家。如果专家组中少数专家也是引用文献的同行专家,那么二 者同行专家中有个别重合。但一般说来,二者介入的同行专家有多与少之别,当然二者 的评议也可以相互补充。
4.3 引文分析中有抽象、比较等定性分析法
引文分析时,涉及到大量的统计数据和各种数学方式,但同时又需要对各种数据进行 归纳、比较、抽象、概括。例如,一篇法学论文被引用了100次,那么是哪些同行专家 引用的,引用的动机是什么,有哪些差别,说明什么问题,如此等等,回答这些问题都 需要抽象、比较等一些典型的定性分析方法。
从上可知,认为引文分析法是定量法或间接评价法的看法是片面的,它只看到数字、 统计的一面,忽视了同行专家和各种定性方法大量存在和运用的一面,这在思想上和评 价实践上都会造成误解和混淆。
5 准确理解引文法的意义
认识到引文分析法既有定性评价亦有定量评价有如下实际意义。
首先,它有利于提高人们对引文分析法作用的认识。将引文法仅看成定量方法,与同 行评议等定性方法相对立,这就低估了引文法的作用。大家知道,定性与定量评价在一 定的条件下均有其合理的因素及不足,只有将定性与定量评价密切结合起来,取长补短 ,才较为公正和合理。因此引文分析法既有定性又有定量评价的观点必将大大提高人们 对引文法作用的认识。
其次,它有利于提高人们对引文索引重要性的认识。世界上最早出现的引文索引是美 国学者谢泼德(Shepard)于1873年创办的《谢泼德引文》(Shepard's Citation),该索 引是一种供律师或法学家查阅法律判例及其引用情况的检索工具,它以最早的判例为线 索,分别列出后来引用过这些判例的其他判例。20世纪60年代,尤金·加菲尔德
(E.Garfield)等人加以发展和完善,他所领导的美国科学信息研究所(ISI)于1963年创 办了《科学引文索引》(SCI,Science Citation Index),1973年、1978年又分别创办了 《社会科学引文索引》(SSCI,Social Science Citation Index)和《艺术和人文学科引 文索引》(A&HCI,Art & Humanities Citation Index)。20世纪90年代末,《中国科学 引文索引》(CSCD)、《中文社会科学引文索引》(CSSCI)相继出现。以往人们仅把引文 索引看成定量评价工具,因此对引文索引的重要独特作用重视不够,这在人文社科引文 索引的编制方面更是如此,因为人文社科最大的特点之一就是其许多现象不能或很难量 化。认识到引文法也包含定性评价,这无疑将有助于提高对引文索引地位的认识。
6 引文法的评价作用的恰当认识
尽管引文分析法既含有定性亦含有定量评价,但这并不意味着引文法已十全十美,它 仍然具有同行评议和定量评价所固有的某些局限性,对引文分析法的评价作用仍然不能 绝对化。在目前我国学术界,由于学术引文规范和评价制度远落后于国外,因此引文法 的定量与定性评价问题更多。比如,同行专家的引文动机十分复杂,许多引用行为尚不 规范,存在伪引(未用而引)、漏引(用而不引)、过度自引、负面引用、中性引用等问题 ,一些作者和期刊社,违反引文引用规范,罗列、照抄现成的目录、索引编成参考文献 表,许多文献后不注具体页码,正文中也无标注。引文(或注释)的不规范,则直接影响 到引文数据的准确性,而数据的准确性又直接影响到评价的科学性。因此“必须了解引 文统计的微妙性和局限性”,必须加强同行作者、编者在引文规范方面的教育,严格遵 守教育部2004年8月26日刚刚发布的《高等学校哲学社会科学研究学术规范(试行)》和 有关国家标准中有关学术引文的规范,并用其他的定性方法,如精审同行专家会议评审 法对引文法中所体现的一般同行评议的局限性加以弥补。当学术引文规范得到较好的遵 守时,引文法的定性定量评价作用将得到更好的发挥。