基于公信力视角的大学排名研究——对《2010中国大学评价》指标体系及算法的质疑，本文主要内容关键词为：指标体系论文,公信力论文,算法论文,视角论文,中国大学论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
从1983年《美国新闻与世界报道》发布第一个大学排行榜至今，大学排名受到高校、政府、雇主、家长和学生等各方越来越多的关注。大学排名的公共性决定了大学排名需要承担社会责任，需要体现公正性、公开性和公平性，但有研究指出大学排名广受质疑的根本原因正是其公信、公正、公开性有待考验[1]。
中国管理科学研究院《中国大学评价》课题组推出的《2010中国大学评价》主要包括《中国大学评价》指标体系、《中国大学评价》计算公式及指标赋值等内容。同时，该课题组还指出《中国大学评价》指标体系是公开、透明、可重复和可检验的[2]。
该课题组基于《2010中国大学评价》(下文简称《评价》)的指导思想及指标体系[3]8陆续推出《挑大学选专业2011》、《挑大学选专业2012》等书；并宣称大学排行榜给考生提供了不同层次的大学的信息[3]1-5。但经分析研究发现，其所有指标权重对全国高校均是一致的,并没有体现出对高校分类、分层的思想与理念，这也与中国大学生态圈实际构成不符。
如，基于《评价》推出的“武书连2012中国大学总排名”[3]65-77中“本科生培养得分”就存在明显问题。从表1可见：
(1)中国科大、北京邮电大学的“本科生培养得分”[3]65-68排名分别为表中6所高校的倒数第二位和倒数第一位；
(2)中国科大、北京邮电大学录取分数线却排在6所高校的第一位和第二位(以2010年北京地区理科录取分数线为例)；
(3)能够代表社会对人才培养质量认知的就业能力[4，中国科大、北京邮电大学也分列这6所高校的第一位和第二位；
(4)与“本科生培养得分”排名相呼应的是这6所高校的招生数，如中国科大、北京邮电大学招生数排在6所高校中的最后两位。
以上4点似乎表明“本科生培养得分”与“学生数量”之间存在某种强关联。由此，有必要对《评价》指标体系及由此指标体系推出的大学排名的客观性、公正性及与实际情况的匹配度进行反思与质疑。
为此，本文基于《评价》提供的指标体系与算法，进行复演、复算，验证《评价》的可重复、可检验。
一、“人才培养”得分算法复演与复算
为验证上述推断，本研究根据中国管理科学研究院《中国大学评价》课题组公开公布的2011年前4名的人才培养数据[5进行复演，过程如下。
得分越高，最终将“大学本科毕业生数量”规模效应传导至“本科生培养得分”，导致“大学本科毕业生数量”越多的高校，“本科生培养得分”越高，验证了上文推断。
3.《评价》指标体系下部分国外高校人才培养得分实证研究。本研究选取加州理工学院、麻省理工学院、巴黎高等师范学院和剑桥大学4所国外大学,利用《评价》指标体系进行“人才培养得分”实证研究。
《评价》中包括一些中国特有指标,如本科教学工作水平评估、挑战杯获奖情况等。由于这些指标在国外大学是没有的，因此将这4所大学引入到武书连排名体系中计算时，假定对于那些无法统计和进行计算的指标均不予以考虑或设置为最高值。同时为了减少数据统计，部分数据设置与浙江大学保持一致。
经测算，这4所高校在武书连大学排名指标下的人才培养得分如表6所示：
结合表6,根据中国管理科学研究院《2012中国大学总排名》(以下简称《总排名》)，推导出如下观点或结论：
(1)麻省理工学院、加州理工学院、巴黎高等师范学院的“本科生培养得分”均居《总排名》榜单100名之外；
(2)加州理工学院、巴黎高等师范学院“研究生培养得分”也在《总排名》榜单100名之外；
(3)“人才培养得分”方面，剑桥大学居《总排名》榜单第20名到第30名之间，麻省理工学院居第60名左右，巴黎高等师范学校勉强进入前500名,加州理工无法进入前500名。
这4所高校的人才培养得分在《总排名》中的类似高校如表7所示。
二、“科学研究”得分算法复演与复算
这种仅通过对数据进行简单相加测算自然科学研究质量，而不剔除学科差异的方法与国际主流算法存在较大出入(《评价》中测算社会科学研究质量时也存在同样问题)，如：泰晤士高等教育增刊与汤森路透数据库联合推出的《2011 Times Higher Education World University Rankings》中，在利用“论文及论文被引”反映科学研究质量时，将论文、论文被引按照学科进行归一化处理，以反映不同学科领域之间论文及引用量的变化，避免“传统上在某一学科领域从事高水平科研活动拥有高论文量及高被引论文的大学获得不公平的优势”[6]。而《评价》这样操作的直接后果是：容易过高评价论文量高但论文质量低(被引次数低)的高校，过低评价论文量适中或较小但论文质量高(被引次数高)的高校。这对于单科性大学或学科规模较小的高校是非常不利的。
2．《评价》指标体系下加州理工学院科学研究得分实证研究。选取“加州理工学院”，按照《评价》提供的指标与算法,分别以浙江大学、北京大学为参照进行推导计算加州理工学院在科学研究方面的表现。
《评价》中，科学研究得分包括自然科学得分和社会科学得分。由于加州理工学院没有《评价》所提及的部分指标,因此，结合实际情况，对部分指标进行相应的处理，具体如表9所示。
表中指标的数据取值，以中国管理科学研究院开发的“雅学资讯-中国科学评价网”提供的数据为主，同时兼顾高校官方数据。由于在实际数据统计过程中，论文数及论文被引次数统计相对容易且比较权威，因此，本研究主要以3所高校论文及论文被引次数来反映科学研究得分，即：
经测算有如下结果：
(1)以北京大学为参照，加州理工学院科学研究得分如表10所示；
(2)以浙江大学为参照，则加州理工学院科学研究得分如表11所示。
从表10、表11可以发现：
(1)在自然科学研究方面，浙江大学与北京大学均超过加州理工学院；
(2)在社会科学研究方面，浙江大学与北京大学均与加州理工学院相当。
从表面看，浙江大学、北京大学科学研究能力尤其是自然科学研究能力已经超过加州理工学院。加州理工学院是公认的世界一流大学，而现阶段浙江大学、北京大学均将建成世界一流大学设为发展目标，如浙江大学、北京大学分别力争在2017年、2015年进入世界一流大学的行列[7]，《评价》的测算却出现了还没有建成世界一流大学的中国高校的科学研究能力已经超过公认的世界一流大学的结果，让人不可思议。
三、算法复演与复算过程发现的其他相关问题
1.利用“大学科技园”放大某些指标在“自然科学研究得分”中的影响。《评价》中，计算大学科技园对自然科学研究得分的影响时，有如下公式：
2.部分指标折算口径不统一。
(1)人才培养中“本科生”、“研究生”折算口径。根据挑战杯官网，并未将挑战杯分为“本科生组”与“研究生组”，故《评价》中“挑战杯学术竞赛奖”折算系数发生4倍变化的解释性不足。折算系数见表12。
根据“教育部高等教育国家级教学成果奖励”网站，查阅《教育部关于认真做好第六届高等教育国家级教学成果奖励工作的通知》(教高函[2009]8号)，同样没有发现：教学成果奖分为“本科生组”与“研究生组”，故《评价》中关于“教学成果奖”折算系数发生4倍变化的解释性也不足。
(2)硕士、博士生数量折算前后不一致。《评价》中多次对硕士生和博士生进行相互折合，在其相互折合过程中发现不同指标中的折合系数不一致。如：
在生师比计算中，硕士生/博士生=2/1.5=4/3；在大学教师平均学术水平计算过程中，硕士生/博士生=4/40=1/10；在研究生培养得分计算过程中，硕士生/博士生=4/10=2/5。
从以上折合数可以发现其每次折合值均不一样，这样会在某些指标的计算中过高地评价博士生(硕士生)作用，而在某些指标中会过低地评价博士生(硕士生)作用，严重地影响结果的准确性、适用性、严谨性与严肃性。
3.指标操作还不够严谨。《评价》介绍“艺术作品”指标时，提到选取最近5年建筑学和工业设计专业的艺术作品指标，但是后面又提出，计算时未采用该指标。
《评价》还指出，计算自然科学得分时，考虑各大学的军事科研程度确定折算系数R[，6k]，而又没有公开R[，6k]是如何计算的，相比国内外其他知名排行榜，其公开性值得怀疑。
四、结论与讨论
根据以上分析研究，主要形成以下观点或结论：
1.《评价》在实际操作过程中以“数量”代替“质量”，将“质量”与“数量”混为一谈。如：《评价》在“人才培养得分”计算中多次以“数量”代替“质量”。①“本科生培养得分”计算过程中起主要作用的因子是“大学本科毕业生数量”；②“研究生培养得分”计算过程中起主要作用的因子是“毕业硕士生数量、毕业博士生数量”。
2.基于《评价》测算出的国际一流高校“人才培养得分”与实际认知严重不符。如：①麻省理工学院、加州理工学院、巴黎高等师范学院等世界著名高校的本科生培养得分均居《2012中国大学总排名》榜单100名之外；②加州理工学院、巴黎高等师范学院研究生培养得分也居《2012中国大学总排名》榜单100名之外；③人才培养得分方面，剑桥大学居《2012中国大学总排名》榜单第20名到第30名之间，麻省理工学院居第60名左右，巴黎高等师范学校勉强进入前500名，加州理工则无法进入前500名。
3.《评价》仅对论文数量及论文被引次数做简单相加，没有剔除学科差异影响。《评价》计算“科学研究得分”时，没有将论文及论文被引次数按照学科归一化处理，没有剔除学科差异对科学研究的影响，仅仅是简单地对论文数量及论文被引次数进行相加。这样操作的直接后果是：容易过高评价论文量高但论文质量低(被引次数低)的高校，过低评价论文量适中或较小但论文质量高(被引次数高)的高校；对学科规模较大的高校有利，对单科性大学或学科规模较小的高校不利。
4.基于《评价》的测算出现了还没有建成世界一流大学的中国高校其“科学研究得分”已经超过公认的世界一流大学的非常理性结果。与常规认知和判断不相符进一步说明了《评价》存在严重问题。按照《评价》提供的指标与算法，本研究分别以浙江大学、北京大学为参照进行推导计算时发现：
(1)在自然科学研究方面，浙江大学与北京大学均超过加州理工学院；
(2)在社会科学研究方面，浙江大学与北京大学均与加州理工学院相当。
现阶段浙江大学、北京大学均将建成世界一流大学设为发展目标，分别力争在2017、2015年进入世界一流大学行列，而加州理工学院已经是公认的世界一流大学，测算结果却与这种现实不相符。
本研究通过对《评价》复演、复算得出的上述观点或结论，充分说明了依托《评价》发布的大学排名未能真实、有效反映大学“人才培养”与“科学研究”能力，应对其客观性、公正性、公信力予以质疑。但该排名已推出多年，累积效应可能误导高校、政府、雇主、家长及学生等各方的认识和判断，这要引起多方重视。
标签：大学排行榜论文; 大学论文; 浙江大学排名论文; 加州理工学院论文; 学科排名论文; 北京大学论文; 公信力论文; 科学论文; c9论文;