开放存取学术期刊质量评价方法的比较分析，本文主要内容关键词为：学术期刊论文,评价论文,质量论文,方法论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
开放存取(Open Access，OA)运动于20世纪90年代末在国际学术界、出版界和图书情报界兴起。开放存取学术期刊采用“作者付费出版，用户免费获取”的经济方式，可能会导致“只要出钱就可以发表而不管论文质量”等现象的发生。特别是国内尚未出现高水平的开放存取学术期刊，有些开放存取学术期刊只对文章进行形式上的审查而导致期刊质量良莠不齐，从而影响开放存取学术期刊的整体声誉。可见，开放存取期刊质量保证，制定有效地开放存取学术期刊质量评价方法已经成为迫切需要解决的问题之一。本文首先介绍了六种开放存取学术期刊质量评价方法，然后分别对其特征进行比较分析，以期探寻一种更为有效地开放存取学术期刊质量评价方法。
1 开放存取学术期刊质量评价方法
1.1 同行评审法
同行评审(peer-review)是国际上惯用的学术成果评价方法，也是评价科研技术成果的一种重要方法。同样，笔者认为同行评审法也可以用于开放存取学术期刊质量的评价，并且根据同行评审所采用的方法的类型可以分为定性同行评审法和定量同行评审法。定性同行评审法是指专家通过阅读一定数量的期刊后，依据经验进行比较分析，并评价出各种期刊的优劣。定量同行评审法是根据评估的目标和评估的内容建立一个合理的可操作性较强的评价指标体系，体系中包含若干项指标，每项指标设置几级评分标准，当专家审读一定数量的期刊后，针对每项评分标准进行对比打分，再综合权重和打分情况计算出量化的评价结果。同行评审法是目前最为科学、最具权威性的评价方法之一。由于同行对本专业的学科发展趋势、学科领域的热点问题等都比较了解，大多数情况下都可以较为准确地判断期刊的质量，在传统印刷型期刊评比中，通常都采用这一方法。很多学者都认为开放存取学术期刊的质量评价也可以采用这种方法，如：Peter Suber在Open Access Review一文中提出，如果同传统期刊一样，使用相同的评价过程、标准甚至相同的同行评审人，开放存取期刊质量评价的同行评审也能保障公正性和有效性[1]。
1.2 引文分析法
引文分析法是利用各种数学和统计学方法以及比较、归纳、抽象与概括等逻辑方法对科技论文、著作、期刊等评价对象的引用与被引用情况进行研究，揭示其数量特征和内在规律的一种文献计量分析方法[2]。引文分析法的数据来源为JCR《期刊引用报告》，由美国ISI出版，全称Journal Citation Reports。引文分析法的主要指标有影响因子、即时因子以及平均被引频次。
(1)影响因子。影响因子(Impact Factor，IF)是表征期刊影响大小的一项定量指标，也就是某刊平均每篇论文的被引用数。它实际上是某刊在某年被全部源刊物引证该刊前两年发表论文的次数，与该刊前两年所发表的全部源论文数之比。计算公式：
(2)即时因子。即时因子(Immediacy Index，Ⅱ)也是JCR统计和评价期刊的重要参数，它是根据某种期刊当年发表的论文在当年的被引比率来反映期刊的影响程度的。计算公式：
期刊的即时因子越大，说明该刊当年被引的频次越高，也相对地说明该刊的核心度和影响力较强，其所发表的论文品质较高、较为热门。影响即时因子的因素之一是一年内论文多久可获得。因此出版频率和收稿与出版之间的时滞都可影响即时因子。这个指标说明了论文得到快速引用的模式，受论文获取时间的影响。
(3)平均被引频次。论文的影响力主要体现在被引用上，为了从总体上反映开放存取学术期刊与非开放存取学术期刊之间影响力差异，一般采用平均被引频次[3]，即某一期刊一定量的论文被其他文献引用的总次数与论文量之比。被引频次的高低，反映论文被同行重视的程度以及该期刊论文在科学发展和学术交流中所起的作用和影响力，也间接反映该期刊的学术水平和价值。一般认为，被引频次与期刊质量成正相关，某一期刊的平均被引频次越高，说明该期刊受人关注的程度越高，学术影响力越大。
1.3 网络计量学方法
网络计量学方法中的链接分析法已成为各种网络信息资源评价通用的方法，其中网络影响因子已是网站评价的重要指标。此外，访问量、点击率和下载率也是网络计量学方法中的重要网络影响力评价指标。由于开放存取学术期刊是以网络和计算机为存储介质的一种特殊出版理念下的电子期刊，因此，开放存取学术期刊不同于传统学术期刊，其网络性、开放性与共享特性等特征成为其质量评价过程中不容忽视的因素。另外，为客观、准确、科学地评价开放存取学术期刊，引入链接分析法有着重要的意义。 Alastair G.S.在Citation and Link as a Measure of Effective of Online LIS Journals一文中提到，采用链接分析法对网上开放获取的LIS学术期刊网站的外部链接数和网站网页进行了统计，然后根据网络影响因子将期刊进行排序，统计ISI收录的相同期刊的引证指标(如被引频次、影响因子等)，通过对比分析揭示网络影响因子与期刊影响因子的相关程度以及在开放存取期刊质量评价中的不同功效。研究发现，“期刊影响因子与期刊网络影响因子之间存在意义相关关系，影响因子高的开放存取学术期刊网站会吸引更多的外部链接，其网络影响因子也高”[4]。因此，将开放存取学术期刊网站的网络影响因子和外部链接数作为评价其网站的指标，网络影响因子的高低将有助于我们全面了解开放存取学术期刊的影响力。网站外部链接数越多，开放存取期学术期刊的影响力就越大。因此，链接分析方法、统计网站的外部链接数和网页被链接数都是评价开放存取学术期刊质量比较客观有效的评价指标。可见，网络计量学方法也不失为评价开放存取学术期刊质量的方法之一。
1.4 权威性二次文献和全文数据库收录评判法
开放存取学术期刊在二次文献和全文数据库中进行揭示和传播，有助于确立开放存取学术期刊的地位和权威性。因此，也可以通过判断某开放存取学术期刊是否被权威性二次文献和全文数据库收录来评价其质量的高低。1994年《OCLC时事动态》上曾报道，美国费城科技信息所(Institute for Scientific Information，ISI)决定将开放存取学术期刊The Online Journal of Knowledge Synthesis for Nursing编入索引而受到该刊编辑的极大关注。该刊编辑指出，ISI在其产品中包括了开放存取期刊有助于作者的投稿，也会促使学术评价机构对其学术地位的认可和肯定。据 Thomson Corporation 2004年的报告显示，2004年2月被ISI引文数据库收录的开放存取学术期刊数量为192种，2004年6月为239种。到2005年6月已增至270种。被ISI引文数据库收录的开放存取学术期刊在数量上持续增长，表明开放存取学术期刊的学术影响力不断加强，质量越来越高。
DOAJ(Directory of Open Access Journals)是由瑞典隆德大学图书馆创建和维护的一份权威性的开放存取学术期刊列表，该列表涵盖17个学科领域，在收录开放存取学术期刊方面有严格的选刊标准，其所收录的均是经过严格评审的高质量期刊。笔者分别于2008年6月和2010年8月对DOAJ网站收录的期刊分学科领域就进行了统计，2008年6月 DOAJ共收录开放存取学术期刊3334种，2010年8月DOAJ共收录了5113种开放存取学术期刊，DOAJ网站收录的开放存取学术期刊分学科数量变化情况如表1所示。
从表1的收录可以看出，DOAJ收录的开放存取学术期刊数量总量增长很快，从2008年6月的3334种增加到2010年8月的5113种，增长数量为1779种，增长百分比为53.36，这表明开放存取学术期刊越来越受到研究人员的欢迎，是一种受欢迎的学术论文出版发行模式。另外，我们从表1可知学科分布差异很大，Social Sciences、Health Sciences、Technology and Engineering以及Earth and Environmental Sciences等对信息的实效性及准确性要求较高的学科，其开放存取学术期刊的数量较多，且增长速度较快，与2008年相比，分别增长了46.42％、41.45％、76.34％以及80.80％。这些学科领域开放存取学术期刊数量增长快速表明了该领域研究工作者对开放存取学术期刊的重视与利用程度较高，这也从侧面反映出开放存取学术期刊能够提供高质量的论文，对研究人员的科研有较高的参考价值。同时，我们可以看出，有些学科的增长趋势也非常的迅猛，比如：Business and Economics、General Works、Science General等，与2008年6月的数据相比，其增长百分比分别为90.23％、106.38％以及118.18％。
1.5 网站性能测评法
开放存取学术期刊的出版需要依靠网站，将出版的期刊论文通过网络免费提供给用户浏览、检索、下载和合理使用，并承诺提供永久服务。因此网站提供的相关服务的性能和稳定性与其出版质量之间存在一定的联系，从而就可以将网站性能评价的指标作为开放存取学术期刊质量评价的指标对其进行质量评价。经过与网络数据库的功能与目标对比后，参照网络数据库的评价指标对开放存取学术期刊做出质量评价。网站性能测评法可以考虑开放存取学术期刊网站的可靠性和运行稳定性，系统提供的浏览/检索功能的完善性(如：是否提供高级检索功能)和返回检索结果的准确性、相关性等，开放存取学术期刊网站对其出版期刊的以往论文获取功能的提供，期刊论文的组织方式、揭示方法是否符合用户的查找习惯和信息需求以及期刊网站描述学术论文所采用的元数据格式标准规范化程度以及是否具有通用性等。具体而言，可以从以下几个方面进行测评，如图1所示。
图1 网站测评法指标体系
1.6 下载影响因子评价法
经过国外研究人员Michael J.Kurtz等[5-7]在多个学科领域研究后表明，期刊论文的被浏览及下载次数与后期的被引次数之间存在一定的正比例关系。因而可以通过统计期刊的论文的被浏览次数、被下载次数、用户的国家机构分布等指标对开放存取学术期刊质量进行相关评价。开放存取学术期刊作为电子期刊的一种，应用论文的下载量对期刊质量进行评价是一种比较重要和可行的方法。2003年12月在北京召开的中国科学文献计量与评价研究学术研讨会上，中国电子杂志社的万锦堃提出了“根据电子期刊下载统计数据建立期刊评价模型”的观点，并指出可以利用电子期刊的下载影响因子来评价期刊质量。具体步骤如下：①建立期刊下载量模型。统计出近两年所有待评价期刊的文章被下载数量，并按期刊名称排序；统计出每种期刊被下载的总次数；对被下载过的期刊增加级别属性；对每一类期刊按照被下载的总次数倒排序；确定期刊下载量梯度模型。②建立期刊下载影响因子模型。对①中初步确定的期刊下载量梯度中的每类中的期刊，用期刊近两年的文章被下载的总次数除以该刊近两年发表的文章总数，得出该刊最新的下载影响因子，再利用下载影响因子评价期刊。
2 开放存取学术期刊质量评价方法比较分析
2.1 同行评审法分析
开放存取学术期刊在保持出版快捷和成本低廉的前提下，能否真正履行高质量的同行评审，并保持编辑的完整性和期刊的高质量，这是学术界、出版界、图书情报界以及广大作者和读者最为关心的问题。虽然开放存取期刊具有网络共享特性，评审人可以通过网络交流、评价来保证同行评审法在开放存取期刊评价中保持公正、客观和高效，但是由于同行评审本身的缺陷和不足，例如评审人自身的水平与倾向性等主观因素依然影响着各指标权重分配；受人力、物力的限制，评审人无法审读期刊的所有文章，只能选取部分作为样本，这都不可避免地为选取样本和确定样本量带来片面性。同时，开放存取期刊的经济保障问题也是制约同行评审高效运转的一个重要因素。因此，同行评审用于开放存取期刊的质量评价并非尽善尽美，并不是适合所有的开放存取学术期刊。在很多时候，同行评审方法需要和别的评价方法相结合来进行综合评价，才能获得理想的评价效果。
2.2 引文分析法分析
与同行评审法相比，引文分析法排除了主观判断及人为因素的影响，因而其评价结果比较客观和可靠。很多开放存取学术期刊也被SCI收录，有自己的影响因子和即时因子等数据，因此也有一些学者认为可以用影响因子来评价开放存取学术期刊。如：Biome Central报告[8]，BMC Bioinformaties的影响因子为5.42，成为生物信息学学科领域顶级期刊之一，仅次于Bioinformatics(5.74)。BMC Genomics的影响因子为3.25，排在生物工程学科领域的第三；Lawrence S.对119 924篇公开发表的计算机科学方面的会议论文调查发现，开放存取学术期刊论文的平均被引次数为7.03，非开放存取学术期刊论文的平均被引次数为2.74，相差2.6倍[9]；Antelman K.报道[10]，在哲学类论文中，发表于同一种期刊中开放存取论文的平均被引次数为1.60，非开放存取论文的平均被引次数为1.10；在电子工程学科中，发表于同一种期刊中开放存取论文的平均被次数为2.35，非开放存取论文的平均被引次数为1.56。这表明，利用开放存取模式的期刊的数量在增加，多数学科在高端期刊中至少有一种是开放存取学术期刊。
但引文分析法用于开放存取期刊质量评价仍存在不足之处：①影响因子在收录期刊方面存在一定的局限性，它只反映某些期刊在“源期刊”范围内的影响[11]。即使是ISI发表的年度JCR，它所选取的开放存取期刊还是由ISI主观所选取的，不够全面、准确，带有其自身的局限性。研究发现，有超过三分之一的开放存取期刊是在亚洲——太平洋地区出版发行的；北美和西欧(包括英国)大约占期刊总数的40％。从整体上看，这种分布完全不同于ISI数据库中收录的情况。在ISI的引文数据库中，虽然期刊分布在70多个国家，但美国和西欧地区占了接近总数的90％。②由于开放存取期刊地域分布和国别的差异，开放存取运动的发展存在较大差异，比如开放存取运动在我国、印度等发展中国家的发展远不及美国等发达国家迅速。国外已经开放了许多高质量的全文期刊数据库，如HighWire、PLoS、PubMed Central等收录了大量的英文期刊，而收录开放存取期刊较为全面的DOAJ中几乎没有中文期刊。因此，由于开放存取期刊在发达国家和发展中国家发展的步伐不一致，将势必导致发展中国家的开放存取期刊的影响因子，其偏低的影响因子对发展中国家非英语语种开放存取期刊的评价有失公正。
2.3 链接分析法分析
链接分析法不是直接的开放存取学术期刊质量评价指标，其在很大程度上存在着局限性：①受网站时限性的影响，网页更新速度很快，统计开放存取期刊的数据不够稳定。A Noruzi在进行大学综合评价中对大学网站的统计纪录精确到分钟[12]。但通过统计链接到开放存取期刊引文的人次会因某种原因使引文计数有一定的误差。②通过选择网站和搜索引擎对期刊进行评价完全依据主观愿望，人们无法对因特网上收录的开放存取期刊或转变为开放存取模式的传统学术期刊的网站进行全面的评价，因为有些期刊的网址已更换或不复存在。此外，A Noruzi还发现，对不同的学科类型和地域范围，各大搜索引擎搜索到的网页链接数大不相同。这些因素都将导致通过链接分析法收集的数据的准确性，影响开放存取学术期刊质量的评价效果的准确性。
2.4 权威性二次文献和全文数据库收录评判法分析
开放存取学术期刊能被世界著名文摘索引数据库收录，说明这种免费资源具有较高的学术质量，已开始得到传统的文摘索引服务商的重视和认可。在开放存取学术期刊得到权威性二次文献系统和全文数据库的认可并收录的基础上，可以通过“是否为权威性二次文献系统和全文数据库收录”这一指标来判断该开放存取学术期刊在专业领域的地位和影响力。但由于语言、地域的限制，文摘索引数据库同样也存在局限性的问题，仅依靠该方法来评价开放存取学术期刊的质量有失公平性。比如：SCI收录的期刊主要取自美、英等发达国家，以1995年第6期印刷版为例，美国期刊占38％，美、英两国期刊占56.8％，来自发展中国家的期刊很少，因此单纯地采用权威性二次文献和全文数据库收录评判法来判断开放存取学术期刊质量的高低并不是一种理想的方法，其适用范围需要具体问题具体分析，视情况而定，很多时候需要与其他方法相结合才能取得较好的评价效果。
2.5 网站性能测评法和下载影响因子评价法分析
网站性能测评法是在参照网络数据库的评价指标对开放存取学术期刊做出质量评价，网站提供的相关服务的性能和稳定性虽然与开放存取学术期刊质量评价存在一定的联系，但是这些非直接的开放存取学术期刊质量评价指标会影响质量评价的效果。而下载影响因子虽然能从一定的程度上反映开放存取学术期刊受欢迎的程度，但是并不能准确反映开放存取学术期刊的质量，因为具有争议的质量较差的开放存取学术期刊也有可能具有较高的下载率。因此，我们可以认为网站性能测评法和下载影响因子评价法是不能单独使用的两种方法，需要与其他方法相结合运用才有意义。
3 结束语
通过以上的比较分析，可以知道开放存取学术期刊质量的评价问题是一个综合性的问题，任何一种评价方法都存在一定的局限性，需要寻求一套适用于开放存取学术期刊的科学、合理、实用的质量评价方法。因此，笔者认为在考虑开放存取学术期刊的质量评价问题时，可以综合以上提到的六种评价方法，从用户需求的角度出发，综合分析用户选择和利用开放存取学术期刊的影响因素，根据评价的目标来设计开放存取学术期刊质量综合评价指标体系是当前开放存取学术期刊质量评价的关键。另外，由于我国的开放存取学术期刊事业刚刚起步，还不成熟，尚处于宣传推广阶段，加上图书馆普遍存在资金短缺等问题，因此，在开放存取学术期刊质量评价的实践中，设计评价方法时还需要综合考虑人力、财力等问题，对评价指标体系进行修正，以便提高开放存取学术期刊质量评价的效率。