基于结果一致度的学术期刊组合评价研究，本文主要内容关键词为：组合论文,学术期刊论文,评价论文,一致度论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
1 引言
期刊评价乃是通过对学术期刊的发展规律和增长趋势进行量化分析，揭示学科文献数量在期刊中的分布规律，为优化学术期刊的使用提供重要参考，同时可以提高学术期刊的内在质量，促进学术期刊的健康成长和发展，因此具有十分重要的意义。
期刊定量评价最早局限于用单一指标评价，传统的评价指标如影响因子、引用半衰期、即年指标等。后来发展到用一些复合指标，包含的信息量较大，典型的有RCR（相对引用率）[1]、RI（相对引用指标）、PW（相对学科影响因子）[2]、NMCR（标准平均引用率）[3]、FCS[,m]（学科论文平均被引用次数）[4]、H指数[5]、ACIF（论文计数影响因子）[6]等。
由于单一指标提供的信息量毕竟有限，因此多属性评价在学术期刊评价中得到了广泛的应用。多属性评价乃是采用一定的技术将反映学术期刊不同侧面的指标进行综合后的评价，它包含的信息量更大。Weiping Yue等[7]利用结构方程的原理建立了一个期刊影响力的分析框架。俞立平等[8]充分考虑到评价指标之间的关系并且采用结构方程进行期刊评价。王小唯等[9]将期刊以往状态的评价结果作为各期刊基础条件的一种度量，再运用数据包络分析方法测算出它们的二次相对评价值。苏新宁[10]采用指标体系赋权进行中国人文社会科学期刊的评价。邱均平等[11]提出了期刊评价指标体系的三维层次结构图，并利用灰色关联法进行评价。王玖等[12]运用秩和比法进行医学学术期刊学术质量综合评价。李修杰等[13]运用判别分析法建立期刊评估指标体系。庞景安等[14]及李凯扬等[15]利用层次分析法对期刊进行评价。陈汉忠[16]应用主成分分析对学术期刊进行评价。李继晓等[17]对各种核心期刊的评价方法进行了介绍和分析，认为选择核心期刊的评价方法并不是一件一劳永逸的事，只能通过不断实践、比较、分析，才能使核心期刊的评价日臻完善。
迄今为止，已经有数十种多属性评价方法在学术期刊评价中得到了应用。多属性评价方法存在的主要问题是，针对同一评价对象，选取相同的指标，采取同样的数据，不同评价方法得出的评价结果不尽相同，结果难以得到公认，因此学术界提出了“组合评价”的思想，即将各种评价方法的不同结果进行组合，从而给出唯一的评价结果。传统的组合方法有Borda法[18]、Copeland法[19]等。俞立平[20]将几种多属性评价方法集中在一起，发挥各种方法的长处，提出了基于排序选择模型的学术期刊组合评价方法。康楠等[21]采用平均值法、Borda法、Copeland法及模糊Borda法这四种组合评价的方法对区域科技资源配置效率进行评价。唐俊等[22]在给出有效性定义的基础上，提出了一种比较平均值法、Borda法、Copeland法等3种组合评价方法有效性的思路。毛定祥[23]提出了一种最小二乘意义下的组合方法，即最佳权重必须与各种主客观赋权评价所得权重的偏差平方和最小，用线性规划求解。徐泽水等[24]提出的组合方法最终评价结果与各种评价方法差距最小。彭猛业等[25]提出了加权平均组合方法，权重采取各评价结果与平均评价值的相关系数确定，最后计算组合评价结果。刘丽等[26]利用遗传算法确定各评价方法的权重，然后计算组合评价结果。马溪骏等[27]提出了一种权重偏差平方和最小的组合方法。陈衍泰等[28]提出了一种两阶段复合的组合评价方法。郭亚军等[29]提出了一种基于整体差异的客观组合评价法，即存在一种评价结果（最佳组合），各评价方法投影到该评价结果后方差最大，体现了少数服从多数的思想。
将不同评价方法的评价结果加以组合，互相取长补短，是一种较好的解决方法，但是存在以下问题：
第一，一些多属性决策的组合决策方法并不适合进行期刊评价，比如利润最大化的组合方法在期刊评价中并不适用，期刊评价的一个重要目的就是根据学术质量或影响力等因素对不同期刊加以区分，并不需要评价值最大。
第二，目前几乎所有的组合评价方法都是一种类似的“平均”方法，要么是权重平均，要么是评价结果平均。然而平均方法一般比单一方法好，但肯定不是最优的方法。
第三，一些基于排序的评价方法，并不适合进行组合评价。如秩和比法、BORDA法等，因为该类方法的评价结果是排序，并不能衡量期刊之间的真实差距。
第四，一些组合评价方法根据某方法与平均值的相关系数确定权重，但这存在重复计算，因为计算平均值时该方法的结果也在其中。
为了尽可能解决上述问题，本文首先构建组合评价的分类体系，然后以《中国科技期刊引证报告》提供的农业学术期刊评价指标为例，分别采用熵权法、CRITIC、主成分分析、因子分析、TOPSIS进行评价，再根据某种评价方法评价结果与其他评价方法评价结果的相似度赋权，最后进行加权汇总，提出了一种新的组合评价方法——基于方法一致度的组合评价。
2 研究方法
2.1 分析框架
为了构建本文的分析框架，首先将期刊评价方法体系进行分类。如图1所示，期刊评价方法包括四大类：
单指标评价 包括简单指标和复合指标。所谓复合指标，就是内涵更为丰富的指标，如论文作者的H指数就是如此。
多属性评价 如主成分分析、层次分析、灰色关联、DEA分析、ELECTRE、TOPSIS、概率权、证据理论等等，这是目前主流的学术期刊评价方法。
复合评价 其特点是将几种多属性评价方法综合运用进行评价，得到唯一的评价结果（这是它与组合评价方法的最大区别。组合评价是将几种评价结果采取一定的方法变成唯一评价结果，而复合评价只有唯一评价结果）。根据其原理不同，复合评价又分为方法复合和权重复合。所谓方法复合，就是将两种以上的多属性评价方法联合运用，比如采用层次分析法AHP计算权重，然后采取加权TOPSIS进行评价。所谓权重复合，就是将几种赋权型的多属性评价方法的权重进行复合，得到一致公认的权重，然后进行加权汇总，如将熵权法、AHP法、概率权三种方法的权重进行平均，然后再进行加权汇总评价。
组合评价 其特点是将几种多属性评价方法的评价结果进行组合，得到唯一评价结果。根据原理不同，又可以分为评价值组合与排序组合。所谓评价值组合，就是各种评价方法的评价结果有相对意义，能反映期刊间的真实差距。所谓排序组合，就是评价结果只有排序意义，不能反映相对差距，如ELECTRE法、秩和比法。当然，也可以将有相对意义的评价值进行排序，然后再进行排序组合，但是这样必然会丢失评价值中包含的大量信息，显然是不可取的。比如采用方法A评价，两种期刊的排序分别为第三、第五名，评价值差距是5.5分；而如果将其只取排序值，期刊间差距到底多大就不得而知了。
根据本文的分类体系，一些文献中的组合评价实际上就是复合评价。由于排序组合的弊病，一般情况下往往只能用于选优，其应用范围受到限制，因此本文重点讨论有评价值的多属性评价方法的组合问题。
在进行组合评价选取单个评价方法时，有一个潜在的大前提，那就是评价方法最好各有特点，比如熵权法和变异系数法的原理就比较接近，此时两种评价方法只能选一种。还需要说明的是，有些评价方法提供了自身是否适用的检验方法。如主成分分析的KMO检验，AHP的CR一致性系数等，当然这是起码的条件。
在多属性评价中，各种评价方法各有特点，因此很难说哪种评价方法好，哪种评价方法不好。本文提出了结果一致度的概念，在此基础上讨论组合评价方法。所谓结果一致度，就是指某种评价方法评价结果与其他所有评价方法评价结果的相似程度，如果一种评价方法的结果一致程度较高，说明它和其他几种方法的结果比较接近，此时应该赋予该方法以较高的权重；反之如果一种方法的结果一致度较低，说明它的结果与其他方法的结果相差较大，比较“另类”，此时理应给予该方法以较小的权重。
在现实生活中，虽然存在着少数人正确的特殊情况，也就是说，少数人的观点与大多数人的观点可能相反，但实际上他们是正确的。但在期刊评价中，由于不同评价方法评价结果之间的相关程度往往都在0.7以上，并不像现实生活中不同观点相差那么大，因此在组合评价中，给予结果一致度较低的评价方法以较低的权重是合理的。
基于结果一致度的组合评价实际上是一种“民主”的组合方法。在现实生活中，公民在行使民主权利时，只要他赞成意愿超过50％，肯定就会投赞成票，但赞成票客观上给人们的感觉就是100％赞成，其实现实情况并非如此。如果在现实生活中，可以进行赞成度和反对度的投票，最科学的应该进行加权汇总，即将赞成的投票相加，其分值可能为0.6、0.75、0.8等等，反对的投票也进行相加，分值可能是0.9、0.85、0.55等，最后进行决策。基于结果一致度的组合评价实际上度量了某种评价方法对其他评价方法的这种“赞成度”，因此比一般的基于平均原理的组合评价方法要科学。
在具体进行回归时，由于各种评价方法评价结果的高度相关性，可能存在多重共线性问题，会导致回归系数的符号有误或者统计检验不显著，但本文重点测度的是拟合优度，因此多重共线性对其影响是有限的。
2.2 评价方法
（1）熵权法
熵概念源于热力学，后由Shannon引入信息论。
（2）CRITIC
（3）主成分分析
主成分分析（Principle Components Analysis）通过线性变换，将原来的多个指标组合成相互独立的少数几个能充分反映总体信息的指标。主成分分析常被用来作为寻找判断某种事物或现象的综合指标，并且给综合指标所包含的信息以合适的解释，从而更加深刻的揭示事物的内在规律。
（4）因子分析
因子分析（Factor Analysis）可以看成是主成分分析的一种推广，因子分析的基本目的是用少数几个变量去描述多个变量间的协方差关系。其思路是将观测变量分类，将相关性较高即联系比较紧密的变量分在同一类中，每一类的变量实际上就代表了一个本质因子，从而可将原观测变量表示为新因子的线性组合。
（5）TOPSIS法
Huang C.L等[29]提出了TOPSIS法，其全称是逼近理想解的排序法（Technique for Order Preference by Similarity to Ideal Solution），它是多目标决策分析中常用的一种方法。该方法的思路是根据各被评估对象与理想解和负理想解之间的距离来排列对象的优劣次序。所谓理想解是设想的最好对象，它的各属性值达到所有被评对象中的最优值；而负理想解则是所设想的最差对象，它的各属性值都是所有被评对象中的最差值。用欧几里德范数作为距离测度，计算各被评对象到理想解及到负理想解的距离，距理想解愈近且距负理想解愈远的对象越优。
以上介绍的各种评价方法各有千秋，表1是五种典型评价方法的特点。是否线性汇总是指评价结果是否进行加权汇总，是否依赖数据是指评价方法与数据是否直接有关，对指标相关性要求是指对指标之间相关性程度高低的要求。
3 实证结果
本文选取中国科学技术信息研究所《中国科技期刊引证报告》2006年的农业科学类数据（删除了部分新期刊和数据缺失期刊，以90种农业期刊为例）进行分析，这些期刊绝大多数是中文期刊。选取的指标有：总被引频次、影响因子、即年指标、被引半衰期、引用半衰期和基金论文比共6个指标进行评价。
3.1 五种方法的评价
首先采用熵权法、CRITIC、主成分分析、因子分析、TOPSIS进行评价，其中主成分分析和因子分析要进行KMO检验与Bartlett检验，这是主成分分析法的适用条件。KMO是对样本充分度进行检验的指标，一般要大于0.5。本文采用SPSS进行数据处理，KMO值为0.691＞0.5，通过了统计检验；Bartlett值为158.449，P＜0.000，也通过了统计检验。换句话说，期刊评价采用主成分分析和因子分析的条件全部具备。前两个主成分的累计贡献率为68.3％，因此采用前两个主成分进行评价。
为了对评价结果进行组合，需要将评价结果值进行标准化，熵权法、CRITIC、TOPSIS的评价结果全部为正值，只要将每个评价结果除以最大值再乘以100就可以了。主成分分析和因子分析的评价结果有负值，进行标准之前，首先将评价值加上极差转换为正值，然后再做标准化。表2是按TOPSIS评价排序的前30种期刊的各种评价方法的评价结果及排序。显然各种评价方法评价结果相差较大。
3.2 组合评价
依次将某评价方法作为因变量，其他所有评价方法作为自变量进行回归，得到回归拟合优度，然后将其进行归一化处理得到权重，结果如表3所示。
将五种评价方法的评价结果标准化后进行加权汇总，得到组合后的评价结果。为了便于比较，同时给出了平均组合的结果。表4给出了平均组合与结果一致度组合排序不一致的期刊，共12种，占整个期刊数的13.33％，应该说比例不高。从排序的差距看，平均组合与一致度组合的差距并不太大，一般也就相差1～2位，但是其他评价方法与组合评价的排序相差较大。
4 结论与讨论
4.1 期刊评价方法正走向复合化、组合化
学术期刊评价方法由原来的单一的多属性评价方法正走向几种多属性评价方法的复合或组合。复合评价中使用得较多的是权重复合，由于复合评价是在评价的不同阶段采用不同的评价方法，因此复合评价能够采用的多属性评价方法的种类总体上要少于组合评价。很难说复合评价与组合评价的优劣，但是它们肯定比单一的多属性评价方法更为全面。在复合评价和组合评价中，应注意选取评价原理不同的多属性评价方法，从而可以发挥各自的优势。
4.2 基于结果一致度的组合评价有其适用范围
在期刊评价中，大多数多属性评价方法的评价结果有评价值，少部分多属性评价方法评价结果只有排序，基于结果一致度的组合评价只能适用于前者。另外，该方法在运用时必须至少有三种多属性评价方法进行组合，因为采用该方法对只有两种多属性评价方法的组合结果是等权重的。当然，在评价对象较少的情况下，难以满足回归基本条件的自由度要求和正态分布要求，是不能采用该方法进行组合的。
4.3 基于排序的组合评价使用范围有限
为了进行排序组合评价，对于一些有具体评价值的多属性评价方法，首先要进行排序，将评价值信息放弃后再进行组合，这样会丢失重要信息。基于排序的组合评价由于只能给出最终的排序结果，没有具体的数量差距，也就是说在百分制的评价中，哪怕评价结果差距为0.01分，排序也会相差一名，但实际上期刊评价的这种差距是可以忽略不计的。因此基于排序的组合可能更加适用于期刊的评优，其用途相对是比较狭窄的。
4.4 平均组合与一致度组合结果不一致是正常的
平均组合与一致度组合结果排序不一致，除了方法本身不同的原因外，深层次的原因是，平均组合中各种评价方法的权重是一致的，而一致度组合中各种评价方法的权重不一致，完全依赖该方法与其他方法的相似度，这种权重是连续的，该方法是一种比较“民主”的组合评价方法。
收稿日期：2010-03-24
修回日期：2010-08-09