学术网站评价指标体系的构建与应用，本文主要内容关键词为：指标体系论文,学术论文,评价论文,网站论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
中图分类号：G203 文献标识码：A 文章编号：1007—7634（2008）01—0064—05
1 引言
网络正在对当代中国的学术文化产生越来越广泛的影响，具有高学历的网民数量巨大。按照中国互联网络信息中心提供的数据，截至2006年底，网民中文化程度为本科及以上的比例为28.5％，已达3905万人，其中拥有硕士、博士学位者有近370万人[1]。对于高学历的网民而言，网络是获取学术信息资源的一个重要工具。网民对网络学术信息资源的需求，客观上促使了学术网站的发展。
学术网站发布或转载该领域专家、学者在网上发表的专业性的文章，介绍该研究方向或学科专业的最新进展及会议等信息，提供专业性的学术资料以供用户学习、参考或研究之用，为用户提供一个网上交流的平台。随着学术网站数量的逐渐增多，一方面丰富了网络学术资源，为用户提供了更多的学术资料；而另一方面也给用户选择合适的学术信息资源带来了一定的困难，对学术网站的评价也就成为必然。
目前，国内外专门就学术网站的评价研究不多。国外对于学术性网络信息资源的评测指标的重点主要在于内容的权威性、精确度等。例如，由美国费城科学信息研究所ISI（Institute for Scientific Information）创办的Current Web Contents网站[2]，其主页上写道：“选择最好、最有用的学术信息是我们永恒的使命”。其评价标准主要包括：权威性、准确性、传播性、导航设计、适用性和内容、范围、用户层次、写作质量和评论等。美国伊阿华州立大学的Cyber stacks站点，主要评价科学、技术方面的网站，评价指标为：权威性、内容准确性、清晰程度、内容的独特性、新颖性、相关评论和社区需要等方面[3]。
1998年，蒋颖对因特网学术资源的特点和评价的意义、印刷型文献的评价方法和准则、因特网学术资源的评价工作、网上学术资源评价标准及评价方法进行了讨论[4]；袁毅在国内首次将链接分析用于学术网站的评价研究[5]，另外她还对引文分析用于学术网站评价的可靠性和可行性做了论证分析[6]；陈斌从信息内容、信息易用性、编排设计、信息安全与道德、费用成本等五个方面考虑对学术网站的评价[7]。
但是，总体来说，现有的学术网站评价指标体系大多局限于定性分析，缺少指标权重。本文的研究目的便是立足学术网站的自身特点，试图构建出一套科学的、完整的、全面的、定性定量相结合的、实用的学术网站评价指标体系。在评价指标体系的建立时采用网上特尔菲法获得专家的评价意见，在指标权重的计算上采用比传统的1～9比例标度更加合理的基于指数标度的层次分析法，并在此基础上，选择若干学术网站进行实际测评，以验证该评价指标体系的科学性和可行性。
2 研究方法
2.1 通过网上特尔菲法确定评价指标体系
作为一种专家调查法，经过多年的使用和理论上的完善，特尔菲法已日趋成熟，不仅用于预测领域，而且广泛地应用于各种评价指标体系的建立和具体指标的确定过程。本研究正是利用了网络优势在网上采用特尔菲法进行专家调查，所有调查表的发布与回收、反馈，调查过程中专家意见的集中与汇总均在网上进行。
（1）选择专家。本研究选择了熟悉该研究领域，有着深厚的专业理论和丰富的实践经验的专家，共计28人参与问卷调查。
（2）设计调查表。在广泛文献调查的基础上，本研究设计了第一轮调查表，分为两部分，一部分是一级指标调查表，另一部分是二级指标调查表。调查表给出了5、4、3、2、1这五个评分等级，从5到1表示重要性逐渐递减，5表示非常重要，1表示不重要。专家对每项指标的打分在5～1之间，程序会自动对每项指标各专家的打分情况进行统计，分别计算出该项指标打5分、4分、3分、2分和1分的专家人数比例。
（3）组织专家答询。经过三轮调查后，专家的意见逐步趋于稳定，就此确定了学术网站各项评价指标。其中一级指标5项，二级指标共26项。
2.2 通过基于指数标度的层次分析法确定评价指标权重
指标权重的确定一般使用专家咨询的定性方法或者用数学测定的定量方法来获得。本文采用基于指数标度的层次分析法来计算获得各项指标的权重，权重的计算过程全部采用JAVA程序实现。
运用层次分析法，最重要的是构造判断矩阵，而构造良好的判断矩阵，关键在于应用合适的标度系统确定各元素两两比较的比例标度。标度是将人们的定性分析转化为定量分析的桥梁。不同的标度系统所构造的判断矩阵不仅一致性不同，由判断矩阵所得出的排序序值及顺序也不相同[8]。在前人的研究中，绝大多数都是采用传统的基于1～9标度的层次分析法来获得指标权重，但1～9标度具有如下的严重缺陷[9]：排序结果与人的心理判断差距大，判断矩阵一致性与思维一致性相矛盾，一致性矩阵构造能力差，可能与实际排序产生逆序，标度值与排序方法不一致，数学结构性质差等等。反之，指数标度
（n＝0～8，a＝1.316）则全面克服了1～9标度的缺陷，效果优于1～9标度，是一个具有良好数学结构，且与实际排序相符的优秀标度系统。它的准确性、客观性更强，定量化程度更高[10]。1～9标度与指数标度的关系是：
具体的处理过程有如下几个关键步骤：
（1）计算满分频度。在本研究中，满分频度即该项指标打5分的专家人数比例，其值在0～1之间。满分频度值越大，说明对该对象打满分的专家越多，因而该对象的相对重要性越大。
（2）用指数标度构造判断矩阵。在应用指数标度时，为了在权重确定上完全使用客观数值，我们采用如下方法来计算n值：对各级指标或同一级指标下任意两个指标A、B，若指标A的满分频度为x，指标B的满分频度为y，则指标A相对于指标B的优劣程度为：
以一级指标中的信息内容和网站设计的比较为例，计算步骤解释如下：
将总量定为100，按照1～9标度，分为8个等分，每一个等分为100／8＝12.5，以12.5作为绝对比较标度。因为信息内容满分频度为100.00％，计为100.00分；网站设计满分频度为32.14％，计为32.14分，那么，
该值即为构成判断矩阵的标度。同理，可以计算出所有的判断矩阵。
（3）计算权重并进行一致性检验。在计算判断矩阵最大特征根对应的特征向量（即指标的权重）时，我们采用了方根法，并进行一致性检验。限于篇幅，具体的计算过程在此省略。
2.3 应用学术网站评价指标体系的实际评测
为了验证指标体系的可用性，我们从50多个人文社会科学领域的学术网站中随机抽取7个网站作为评价对象，如表1所示。这50多个学术网站是“中国学术网导航”网站上列出的部分国内在各自的研究领域比较有名的人文社科领域学术网站。之所以只选择人文社会科学领域的学术网站，是因为对于被调查者来说，在同一指标上，比较不同类型的网站容易在主观上造成较大的偏差。另外，鉴于目前我国自然科学领域的学术网站发展还不成熟的现状，人文社科领域学术网站更能代表我国学术网站的建设整体水平。
评测过程可以概括为以下步骤：
（1）设计调查表。根据学术网站评价指标体系对选择的测评对象再次运用问卷调查的方法。评分标准用1—5来表示各个网站各项指标的情况，从5到1逐渐递减。
（2）实施调查。从南京大学信息管理系研究生中随机选择9人发放问卷，全部回收。
（3）处理数据。对回收的问卷结果按照每项指标的平均值，同样采用基于指数标度的层次分析法计算权重，最终用合成权重的大小表示这7个网站测评结果的顺序。此处没有像确定指标权重时使用满分频度是由于待评价的学术网站并不一定就是这类对象中最好的，由此得到的分值中满分频度很少。
3 结果与讨论
3.1 学术网站评价指标体系的确立
经过上述一系列的调查与统计汇总，以及每项指标权重的计算，最终确立了学术网站评价指标体系，如表2所示。
从一级指标的权重分配来看，“信息内容”（0.403）最高，这与学术网站的主要目的“提供学术信息资源”是相符的。“网站功能”指标权重（0.345）排第二，这说明用户对网站的交互功能、检索功能、下载功能、特色服务等功能也比较关注。另外三个一级指标“网站设计”、“网站影响力”和“网站安全”的权重值都小于0.1，相比之下重要性明显偏低。
在“信息内容”下的二级指标中，权重较高的是“信息内容的深度”、“信息内容的准确性”、“信息内容的客观性”、“信息内容的独特性”和“信息内容的权威性”等五项指标，这正是体现学术网站信息内容优劣与否的重要方面。在“网站设计”下的二级指标中，权重列前两位的是“组织系统的合理性”和“标识系统的准确性”。组织系统越合理，就越能满足用户对学术信息资源的多层次需要。标识系统的准确性较高，就能很好地反映所指的信息内容，对用户起到很好的引导作用。在“网站功能／服务”下的二级指标中，“检索功能”权重最高，这与用户对查找信息的快捷性和准确性的要求是一致的，而特色服务功能和离线服务功能的权重较低，其对网站的整体评价影响不大。在“网站影响力”下的二级指标中，“访问量”和“学术研究引用量”的权重相对较高。“网络安全”下只有两项二级指标：“系统安全”和“用户信息安全”，这两项二级指标的权重差不多，相对而言，用户更在意其信息安全。
3.2 学术网站评价指标体系的测评
对选取的测评对象采用已建立的学术网站评价指标体系进行测评。指标体系中的客观指标不通过问卷获得，“网站影响力”指标下的“访问量”和“外部链接数”两项指标从Alexa网站获取；而安全性能由于难以测定，因此对9份调查问卷的该项指标给出相同的分数，为5分，这样处理之后，该项指标对本次评价目标的排序就不再产生影响。将每个网站的各个指标得分情况汇总，得到表3。每个网站的总分即该网站对于总目标的权重，在EXCEL软件中，运用SUMPRODUCT函数，计算得出。
根据表3的排序结果，我们可以看出这7个学术网站的排序依次为（由好到差排列）：国学网、文贝网、中国学术论坛、思问哲学网、中国信息经济学会、宋代历史研究、唐史网。具体来看，在信息内容方面，国学网、中国学术论坛做得最好，中国宋代历史研究最差；在网站设计方面，做得最好的是中国信息经济学会，其次是思问哲学网、文贝网和中国学术论坛，最差的是唐史网。在五项一级指标中，网站设计方面的得分是最接近的，网站设计方面的得分对学术网站的整体评价影响不是很大；在网站功能／服务方面，文贝网得分最高，唐史网得分最低；在网站影响力方面，国学网明显好于其它网站，文贝网相对较差；在网络安全方面，由于系统安全指标不易获取，在测评的过程中采取了统一打分以避免影响整体结果。这里仅从用户信息安全的角度考虑，除了唐史网外，其它6个网站的安全性指标差别不大。
4 学术网站建设的若干建议
我们通过上述评价指标体系分析发现，信息内容、网站功能／服务对网站的整体评价结果影响较大。这就说明学术网站的建设应优先考虑这两方面的质量，以这两方面的建设为重点。
（1）信息内容是衡量一个学术网站的最重要因素。要注重信息内容的深度，确保信息内容的准确性、客观性、独特性与创新性（前沿研究课题），多发布权威学者的文章。学术网站的用户对象主要是高学历的学术研究人员，只有拥有了一定深度的学术信息资源，才能对用户的学术研究有所参考价值。而权威学者的文章往往更能让人信服，这必然会提升网站在用户心中的地位。
（2）作为网站功能和服务来说，检索功能和交互功能也是学术网站建设必须重视的两项指标。检索功能的强大与否，关系到用户能否快速、准确地找到所需信息资源。交互功能则能提升用户访问网站的积极性，给用户提供探讨学术问题的空间。另外，能否提供信息资源的下载服务也是学术网站用户普遍关注的一个因素。网上阅读文章的不便，用户更愿意将文章或其它参考资料下载下来以供长期借鉴使用。
除了考虑这些关系到学术网站自身建设水平的因素之外，学术网站的建设还需考虑规范性、原创性这些关系到学术网站整体发展的因素。普遍规范性不足主要体现在著作权问题和网站文章的书写规范上。只有充分尊重文章作者或其它网站的著作权，按照保护网络著作权条款依法处理文章的转载或发布问题，学术网站才能健康、有序地发展。文章的书写规范不仅影响整体视觉效果和用户的浏览，还会降低文章的学术参考意义。学术网站的作用不应该仅仅是把传统出版物搬到网上，它的价值更在于为广大用户提供一个较为自由的交流空间，这就需要更多的思考和更多的原创性的学术文章，也需要更多的学者和网友介入网络文化、学术空间之中，为建设中文思想空间贡献更多的智慧和力量。学术网站的建设者应该鼓励用户在网站上发表原创学术文章，加强对原创文章的支持不仅可以给用户提供更多有价值的学术文章，对提升学术网站自身的影响力也有很大的帮助。
5 结语
本文针对学术网站的特点，在指标体系的建立过程中坚持以信息内容指标为重点，同时在设计指标体系时，考虑了定性和定量相结合的原则。既有信息内容、网站设计这样的定性评价指标，又有网站影响力这样的定量指标。采用网上特尔菲法进行专家调查确定政府网站评价各项指标之后，运用基于指数标度的层次分析法确定了各项指标的权重，在此基础上构建了政府网站评价指标体系。并在此基础上对随机抽取的7个学术网站进行实证分析，实例测定的结果证实了用本文提出的学术网站评价指标体系来评价学术网站是可行的，评价结果是合理的。
本文的研究成果无论是对用户，还是对学术网站建设方来说，其指导意义表现在：①可以减少用户查找网络学术信息资源的盲目性和不确定性，帮助用户快速检索合适的、高质量的信息资源；②对学术网站的评价可以帮助网站建设方发现自身存在的问题和需要改进的地方；③可以通过对相关专业、学科领域或主题的网络信息资源进行评价活动，评定出各种优秀网站／网页，将这些网站／网页进行收集、链接、整理，便可以设计出某一专业、学科领域或专题的核心网站／网页的导航；④可以丰富信息资源建设的内涵，有助于通过核心网站的建立来加强学术界同行间的学术交流，更好地引导科研方向。
收稿日期：2007—04—29
基金项目：国家社会科学基金项目（04BTQ023）