大学量化评价案例研究，本文主要内容关键词为：案例论文,评价论文,大学论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
我们自1976年从事科技管理工作以来，时常考虑的一个问题是：我校在大陆高校中的位置如何？当社会不能提供公开发表的具有权威性、连续性、可比性的统计数据之前，这是一种空想！幸运的是，自十一届三中全会以来，我国各项工作开始走上计量统计的轨道，市场经济法则也得到广泛的应用，科学计量研究正在我国起步。所有这些为我们开展“我校在大陆高校中的位置”研究创造了良好的条件。从此，我们开始收集能反映我校在大陆高校中位次的信息。经过20多年的积累，我们掌握了足以研究这个问题的资料。现在，我们把研究结果公布于世。
一、指标体系的确定
一个学校在大陆高校系统中的位置研究，其实质就是对我国大陆所有高校进行整体的、综合的评价研究。这是一个非常棘手的问题。
在进行“位置”研究之前，我们曾做了两项试探性的工作，一是在1994年《有色金属高教研究》十周年优秀论文征文时，我们撰写的《“211工程”中研究型大学合理布局设计的探讨》（1994年第4期）一文中，将研究型大学设计指标分为：①具备国家高层次人才培养的基地，②拥有一定数量的国家级高层次人才，③有足够的科研经费，④拥有较多的处于全国领先的研究成果，⑤在国际上产生了一定的影响。二是我们撰写的另一篇“高等学校科学研究效益指标体系的探讨”论文，发表在《有色金属高教研究》1997年第4期上， 其指标体系的产出指标为：①科学研究和人才培养基地，②高层次人才，③科技成果，④当年获得的研究与发展经费。由此可见，我们对高校评价的学术观点被社会认同。因此，我们在进行“位置”研究时，采用此文的指标体系，见下表。
我校在大陆高校中的位置探讨的指标体系及其权重
指标体系中的四个一级指标，其权重如何分配呢？按理说，这四项一极指标平均分配权重是可以的。因为这四项一级指标可以互为因果关系，相互包涵。申报博士点、博士后流动站、国家重点学科时，就包括了人才、成果、研究经费这些内容；高层次人才必须拥有一流的科技成果和较多的研究经费，是科学研究与人才培养基地当然的学术带头人；科技成果是科学研究与人才培养基地、研究与发展经费、研究人员取得效益的综合反映；研究与发展经费是进行基地建设、人才培养、取得成果的基础。但是鉴于目前许多学校不太重视科学研究与人才培养基地的建设，不花大力气去培养高层次人才，而是满足于取得几项所谓科技成果，不把研究经费用在科学研究上，而是去改善生活，急于拔苗助长，只伐不栽。因此，在分配权重时，必须加大前两项的权重，即科学研究与人才培养基地和高层次人才均为0.33，科技成果和当年获得的研究与发展经费均为0.16。而二级指标和三级指标的权重基本上都是平均分配。
二、研究路线的探讨
对一个学校整体的、综合的评价，毕竟是一个难度很大的课题，确实使人望而生畏。但是总得有人迈出这一步，做第一个吃螃蟹的人。笔者在研究中发现，在一定的时间跨度内，不同的指标体系，不同的加权方法的排序非常吻合。例如，中国管理科学研究院科学学研究所，以发表在国际权威刊物上的论文数为评价指标，对中国大学（含台湾、不含香港）进行了排序，并于1989年公布在《瞭望》周刊第8 期上。其方法是自然数列法，时间跨度是1985～1987年。我校在大陆理工科院校排序中居第5位，在大陆所有高校排序中居第12位。 湖南大学张英等人，以国家教委科技司主编的《科技统计资料汇编》提供的科技专著数、学术论文数、在国外及全国性刊物上发表的论文数、专利数、鉴定成果数、获奖成果数、获国家级成果数、技术转让收入为评价指标体系，对大陆86所重点高校科技活动进行评价，其结果公布在1992 年第4期《科学学与科学技术管理》上。其方法是公式法，时间跨度是1985～1989年。我校在大陆86所重点高校中居第11位。又如，1997 年5月30日的《高教研究》周报转载刊在《星期天》上的“我国（大陆）重点大学前50名排行榜”中，我校居第34位；1997年7 期的《科学学与科学技术管理》公布的“中国（大陆）大学研究与发展成果评价”所列前100 名大学中，我校居32位。前者未公布指标体系和研究方法，后者选用了31个指标，采用德尔菲法。再如，笔者对我校获得国家（自然、发明、进步）三大奖用自然数列法和年度位次算术平均法进行排序，其结果是：用自然数列法， 我校在大陆高校中居第16 位； （注：蔡言厚.1979—1996年全国高校获得国家级三大奖励成果前50名排序，湖南省研究生教育，1997（4））用年度位次算术平均法是，我校在大陆高校中居17.12。（注：1979～1996， 中南工业大学在各年度的位次是：7、18、32、8、37、10、16、12、23、22、7、11、22、23、19、13、11。其中1994年国家未评奖。将上述数据代入公式
）时间跨度都是1979～1996年。12与11，34与32，16与17.12， 这些数字这样吻合难道不能证明在“位置”研究中，方法问题不是主要的吗？因为，同一的方法的误差，对任何一个学校都是机会均等的。只要选取的指标能作为一个评价的科学计量指标，就像人体中的细胞一样，都能反映一个人的健康状况。当然，重要部位的器官细胞更为重要。
尽管方法问题在“位置”研究中不是主要的，但是否有一条正确的研究路线是至关重要的。路线不对，这项研究就难于进行。在本研究中，笔者运用金字塔原理和新闻洞理论。这就保证了“位置”研究的可比性、可靠性、易操作性、公正性、导向性、先进性。用金字塔原理来选取二级或三级、四级评价指标，以保证本研究的可靠性、可比性、易操作性。例如，在科学研究与人才培养基地这个指标体系中，应该包括专业、硕士点，本研究把它们剔除了。高校的主要“产品”是出人才，按理说“人才”这一指标体系应该包括本科生、硕士生、博士生、中级以上职称人员，特别是高级职称人员，而本研究以“高层次人才”加以代替。“高层次人才”主要选取：国家突出贡献中青年专家、两院院士和“百、千、万”人才工程中的人员。科技成果这一指标体系应该包括所有的论文、所有的科技成果，凡是鉴定了的或获得过奖励的，都应列入；而本研究中只选取了国家（自然、发明、进步）三大奖，国家教委科技进步奖，中国科技信息所提供的中文科技期刊统计论文，美国三大引文刊物（《SCI》《EI》《ISTP》）收录论文，国际引用论文。 当年获得的研究与发展经费，强调了国家自然科学基金经费。运用金字塔原理选取指标的理论依据是数学中的相似原理，而在应用上具有可比性和易操作性。只有这样，才能保证所选用的指标，其原始数据出自同一的权威机构，具有权威性。通过这种高标准的筛选，在进行研究的时候，就简单方便多了。这样做，就像一个人检查身体一样，只要对关键部位检查，就没有必要对全身每个部位都作仔细的检查了。金字塔原理符合在复杂的事物中抓“主要矛盾和矛盾的主要方面”的哲学思想。
用新闻洞理论来保证评价指标的公正性、导向性、先进性。要保证评价指标的公正性的前提条件是评价指标的连续性。一个事物只在特定的场合出现一次时，这样的事物就不能作为评价指标。因为这是一种偶然性，是一种非稳定状态，一旦失误以后，无法补救，因而不能反映事物的本质。只有在固定的场合连续出现的事物，才能使事物处于稳定的状态，这样的连续事物就能反映事物的本质，就能作为评价的指标。例如，培养高层次人才的综合实力评价中，博士点是其中权重很大的核心指标。该事物自1981年在社会上露面以后，以法定的形式每两年出现一次。这种连续出现是按照一定的程序进行的，也就是说，有规范化的申报条件，严格的评审程序。如果一个学校某学科的实力是客观存在的，即使由于某种原因在某一年度未能评上，以后还有补救的机会。这样的评价指标才是公正的。本研究的评价指标都遵循这一原则。二是确保导向性。我们所处的时代已经是信息时代了，在信息时代最重要的是要关注未来，而不像农业社会只注重过去，工业社会只关心现在。本研究中“人才”这一指标中的“百、千、万”就是出于这种考虑。当1987年国家教委设立优秀年轻教师基金、国家自然科学基金委设立青年科学基金、香港爱国人士霍英东设立霍英东基金，同时在社会上出现时，我们就抓住了它们，并把它们作为评价高校的指标之一。这三项基金指标最初的宗旨是为了尽快解决“十年文化大革命”造成的“人才断层”问题，而实施的结果，使三项基金成为我国培养跨世纪人才的“百、千、万”人才工程的重要组成部分。这一指标可以预示着一个学校的未来发展趋势，是符合历史发展潮流的。选用这样的指标就具有导向性，引导各个学校注重未来。三是具有先进性。中国曾在1000多年的历史里处于世界科学技术中心的地位，但从15世纪以来，就失去了这种地位。近200 年来，由于闭关自守，大大地落伍了。经过100多年的艰苦卓绝的斗争， “东亚病夫”康复了，以巨人的姿态站立在世界的东方，改革开放20多年来，我国各方面都在与世界接轨。在科技界，就是以美国三大引文刊物收录的论文数来评价一个单位、地区、国家学术水平的所谓“学术榜”，于1987年在我国问世了。这是一项具有国际水平的指标，保证了评价指标的先进性。我们又及时抓住了它，并把它作为评价一个学校的重要指标之一。实践证明，这是非常正确的。这项所谓“学术榜”的工作，最早由民营机构中国管理科学研究院科学学研究所进行的，以后改为由国家科委委托中国科技信息研究所主办，一年公布一次，成为我国一致公认的评价指标。
综上所述，对“位置”的研究路线是正确的，可以保证研究结果的公正性。
三、研究结果的分析
本研究所采集的数据，尽可能包括80年代中期以来，我国计量科学工作者对高校排序的研究成果。现将他们对高校排序的研究成果，关系到我校的部分排列于后。其中综合位次数据5个， 即培养高层次人才的综合实力（37）、86所重点高校科技活动评价（11）、科研水平与实力（31）、中国大学评价——1991·研究发展（19）、中国大学研究与发展成果评价（32），高层次人才位次数据9个（16、14、28、35、27、 67、6、55、33），科技成果位次数据40个（16、35、49、35、47、 39、34、33、24、23、32、36、39、34、44、80、41、45、42、45、55、57、75、15、2、25、22、43、27、37、30、22、55、45、76、65、 22、60、23、36），当年获得的研究与发展经费位次数据28个（37、39、33、36、36、32、35、34、33、34、31、33、33、26、21、39、55、80、77、32、49、66、54、43、77、81、59、57）。
根据上表对各指标所给的权重和上述位次数据，按照公式
个拟求算术平均数的位次数值。
Z为算术平均数。
其具体计算步骤如下：
1.先将高层次人才位次数据、科技成果位次数据、当年获得的研究与发展经费位次数据和上表所给的权重，按公式（1 ）求出我校在大陆高校中的阶段平均位次为34.3。
2.将综合位次数值代入（1）， 求出我校在大陆高校中的阶段平均位次为23.25。
3.将34.3和23.25代入公式（1），求出我校在大陆高校中的综合平均位次为28.78。
从研究结果来看，我校在我国大陆高校中的位次居第28位前后。这个结论是否可信呢？能否经得起历史的考验呢？在目前来说，这个结论是可信的。其一，本研究采集的数据量面广，涵盖了一个学校的主要方面，共82个位次数据。其二，可以从“211 工程”计划的评审立项得到证实。众所周知，“211工程”计划是一个面向21世纪，重点建设100所左右的高等学校和一批重点学科的计划。 据国家教委统计资料表明， 1993年国内高校总数已达1075所。因此，只有不到十分之一的高校有幸入选，其竞争相当激烈。由于我国的财力有限，这个计划只能分步实施。显然，实施“211工程”计划的过程， 其实质就是对一个学校进行整体的、综合的评价过程。而进入“211工程”计划实施立项的顺序， 可以看作是对一个学校整体、综合实力评价的排序。我校是第27个通过立项的学校（全国通过立项的学校共61个）。我校在“位置”研究中居大陆高校28位前后，在“211工程”计划实施立项的顺序为27， 这应该说是一种必然。