研究型大学数字图书馆综合评价实证研究，本文主要内容关键词为：综合评价论文,数字图书馆论文,实证研究论文,大学论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
1 引言
以往的大学数字图书馆评价，多集中于数字资源、服务质量、可用性等方面[1-3]。其中，电子资源评价研究和实践开展得比较充分，形成了比较完善的程序和方法。这些电子资源评价，多数是以数字资源的选购为目的、针对单体数字图书馆的评价，例如，与学校学科设置的相关性、资源质量、价格、服务等。
对我国大学数字资源配置状况和学科文献资源数据库市场做一番考察，可以发现一个重要的现象：很多数据库特别是外文数据库往往是独一无二的，也就是说，没有数字资源内容完全相同的两个数据库。因为内容是决定数据库价值的首要因素，资源的独特性决定了数据库在市场上的竞争力。这就决定了大学图书馆在选择这些数据库时，基本上没有多少选择的余地，要么选择购置，保障相应学科的需求，要么不购置，对有关学科的需求不予理会，或者通过资源共享体系使用这些数据库。
面对这样的局面，大学图书馆应该在工作重点方面有所取舍。如何在资金有限的情况下，制定出最合理的资源配置方案，构建最科学的资源保障体系，对资源再组织并提高用户利用数字资源的效率，从而充分利用资源，是应该重点考虑的问题。
对211大学数字图书馆进行全面评价，就是针对这一问题提出的。根据数字图书馆分类分层次评价体系[4]，211大学数字图书馆属于中观层次的评价对象，是复合型数字图书馆。评价211大学数字图书馆所使用的标准，显然不同于评价单体数字图书馆的标准。针对211大学数字图书馆的特点，建立合理的综合评价标准，并由此构建可操作的评价指标体系，是一件非常有意义的工作，也是开展211大学数字图书馆评价的重点和基础性工作。
虽然有研究者在大学数字图书馆的评价方面做了不少工作，但大学数字图书馆的综合评价体系尚未真正建立起来，有些研究虽然提出了评价指标体系，但并未开展实证评价，或虽有实证评价但缺乏规范性。本研究以研究型大学图书馆为评价对象，运用综合评价理论与方法，建立评价指标体系，通过对几所211大学图书馆的实证评价，发现现阶段我国研究型大学数字图书馆的实际水平、与理想的差距，以及应该努力的方向。本研究认为，211大学属于研究型大学或教学研究型大学，为使评价结果具有代表性，分别收集了部分综合类、理工类、师范类211大学图书馆的数据。鉴于评价指标体系对基础统计数据有一定的要求，根据所收集统计数据的完整性和规范性，最后确定四所大学图书馆为实证评价对象。这四所大学图书馆具有一定的代表性，评价结果能够反映现阶段我国211大学图书馆数字化建设水平。
2 构建评价指标体系
在明确评价目的和评价对象后，首要的工作是确立评价标准，即评价指标体系。本研究在与部分专家交流的基础上，提出初步的评价指标体系，然后用德尔菲法广泛地、反复地征求专家意见，力求建立一个能够真正体现211大学数字图书馆全貌的综合评价标准。之后，运用层次分析法和数学计算工具软件Matlab对专家判断矩阵进行分析，计算各指标的权重系数。
本研究运用德尔菲法建立评价指标体系，在指标选取和权重设置方面都广泛收集专家的意见，具有一定的主观性，但设置的指标都是客观指标，采集的数据都是客观数据，使用的是一种主、客观相结合的综合评价方法。评价指标确定以后，采用层次分析法确定指标权重系数。层次分析法首先把复杂的研究对象分解为一些具有同等重要性的组成要素，每一要素再分解为若干组成子要素，就这样，根据对象的复杂程度和决策需要，把对象分解为若干层，形成一个递阶层次结构。然后，对处于同一层次的各要素运用两两比较的方法确定各要素的相对重要性，并构造判断矩阵得出层次单排序，进行一致性检验。最后，采用逐层叠加的办法，从最高层开始，由高到低逐层计算，计算出所有层次对最高层次的层次总排序。对于每一层递推，都要进行层次总排序的一致性检验。一般来说，实际的决策或评价活动都有多位专家参与，形成多个判断矩阵。因此，还要进行群组判断合成，计算出能够反映专家集体意见的最后的权重系数。专家打分质量可以通过专家判断矩阵的一致性比率体现，一致性比率越小，说明专家判断质量越高。一般要求一致性比率小于0.1[5]。
上述方法因其科学性和可行性，被广泛地运用在科学决策和综合评价活动中。当然，评价指标体系设置是否科学合理，最终需要从评价结果与实际情况的一致性来检验。本研究最后的评价结果，从专家反馈的意见来看，基本符合实际，说明评价方法和评价指标体系都是科学、可行的，专家们对评价结果也比较满意。
2.1 运用德尔菲法建立评价指标体系
本研究有17所211大学的18位专家参加咨询，其中16位是长期在图书馆工作、对数字图书馆有所研究的馆长或副馆长，1位是数字图书馆专家，1位是资深研究馆员。由于事先与所有专家建立了联系，征得了对方同意，所以咨询评估响应率很高。
根据与部分专家初步交流的情况，设计了评价指标体系的征求调研稿，于2008年2月17日通过电子邮件发出第一轮问，卷。一周后电话联系尚未返回问卷的专家。4月9日，第三轮咨询的最后一个问卷返回，前后历时一个半月。第一轮18位专家返回问卷，返回率为100%，问卷有效率为94%。第二轮12位专家返回问卷，返回率为67%，问卷有效率为92%。第三轮有16位专家返回问卷，返回率为89%，问卷有效率为94%。
第一轮评价指标体系见表1。
表1 211大学数字图书馆评价指标体系（调研稿）
其中“综合数据库配备率”和“专业数据库对学科的覆盖率”是本研究提出的两个评价指标，反映学术数字资源配置水平[6]。
根据专家意见，对指标体系做了两轮调整，一级指标由4个增加到5个，二级指标由最初的12个增加到24个。第三轮咨询时，6%的专家认为第三轮的指标非常合理，87%的专家认为比较合理，比较全面地反映了211大学数字图书馆的内涵。
经过两轮修改，评价指标设置基本合理，第三轮咨询的主要任务是征求专家对评价指标相对重要性的意见，以此作为计算指标权重系数的依据。
需要说明的是，咨询过程中，有两位专家提到应该把图书馆2.0的内容放进去。考虑到图书馆2.0在我国尚处在发展初期，现实中只有极少数图书馆实现了部分功能，不具有普遍性，因此，目前以暂不考虑这一内容为宜。这一意见得到了专家们的认同。
2.2 运用层次分析法计算指标权重
层次分析法获取评价数据的方法，是要求专家对同一层次的指标两两比较其相对重要性，并且使用萨蒂设计的1-9级比例标度为相对重要性赋值。很多评价研究者在使用比例标度表时，把九级标度改为七级标度，甚至五级标度。为了增加指标区分度，此次调查仍然使用九级标度。
专家调查表返回后，需要对调查表转换为比较矩阵，然后利用MatLab软件计算比较矩阵的最大特征根和对应的特征向量，然后得到各指标的权重，最后形成的权重系数，见表2。
3 数据采集及归一化处理
数据采集主要通过选用现有统计数据、网络调查、问卷调查的形式获得。部分数据来自教育部高校图书馆事实数据库的统计数据[7]。选用的统计数据截至2007年12月31日，调查在2008年3-4月进行。
指标项计算、赋值及数据的归一化处理是需要解决的一个重要问题。211大学数字图书馆最后确定了24个基础指标，数量比较多，情况比较复杂，需要视具体情况分别处理。有些指标可以根据统计值计算，功能性指标则直接赋值。极大型、极小型、适中型指标值则根据相应的转换公式进行归一化处理[5]。
这里选取浙江大学图书馆、华中师范大学图书馆、东北师范大学图书馆、武汉理工大学图书馆作为评价对象，采集其基础数据。最后计算出的四所大学的基础指标值，见表3。
4 评价结果计算与分析
4.1 计算指标分值
根据表3的基础数据和每项指标的权重系数，计算出所有二级评价指标的得分。以此为基础，计算出一级指标得分和总分，见表4。基准值是各项指标的理想值或满分值。
4.2 指标值比较与分析
把指标值绘制成折线图，可以直观地显示出每所大学与基准值的差距，以及相互之间的差异，如图1所示。
图1 四所大学的评价结果比较
浙江大学总分在60分以上，东北师范大学、武汉理工大学、华中师范大学的总分分别在50、40、30分线上，这说明四所大学的数字图书馆总体水平离专家们的理想还有很大差距。一级指标中，资源配置和资源利用理想与现实的差距最大，其次是基础设施和资源组织，服务功能的差距最小。这说明我们需要进一步优化资源配置，同时加强对资源的宣传和对用户的培训，提高资源利用率。
基础设施基础比较好的有浙江大学和东北师范大学，这两所学校需要在资源配置和服务功能方面更加努力，特别是东北师范大学，应该充分发挥基础设施的优势，加强服务功能建设。
四所大学的网上培训课程都做得不好，这是一个不需要很多投入就可以显著改善的方面，做得不好是因为重视不够。北京大学、清华大学、南京大学都有很好的网络培训课程，其他大学应该尽快借鉴。
无论是专家还是用户，都非常关心用户在校外对资源的可访问性，实现起来也不是很困难，投入也不大，但目前四所大学中只有两所已经解决。这个问题一旦解决，对提高资源利用率和用户满意度都会产生立竿见影的效果。
资源整合问题也是专家和用户共同关心的，有些图书馆并没有意识到这个问题的重要性，电子图书、电子期刊及其他电子参考资料被整合到OPAC，用户就可以方便地检索到，然后加以利用，这对提高资源利用率是非常有益的。
5 结语
本实证研究通过专家咨询法和层次分析法建立211大学综合评价指标体系，并且利用最后形成的指标体系对四所211大学进行了实际评价，评价结果基本反映了四所大学数字图书馆的实际情况，也从一个侧面反映了我国211大学数字图书馆建设现状。这说明利用综合评价法对数字图书馆进行综合评价是可行的，也是有效的。
此次实证评价，发现了统计数据方面的两个问题。一个问题是，现有的统计数据提供的数据非常有限，无法全面反映数字图书馆的现状和水平，这给综合评价带来一定困难。此次评价的部分基础数据，来源于教育部全国高校事实数据库，这也是目前唯一的一个大学图书馆统计数据库。该数据库侧重在传统图书馆方面，如馆舍、人员、资源类型和数量等，很多数据无法从中获取。该数据库部分统计数据没有意义，或者过于抽象，不能反映真实情况，如图书馆网站和数据库点击率，是合并在一起统计的，更重要的数据如数据库检索次数、全文下载量等，则没有统计。事实上，随着COUNTER标准的广泛实施，各高校可以很方便地获取这些统计数据。这些数据也是用来分析高校数字资源利用状况的必备数据。另一个问题是，统计数据质量存在比较严重的问题。通过问卷调查的形式获取了部分211大学图书馆的统计数据，有些数据不完整，还有些数据不可信，相互矛盾。
对数据进行归一化处理时，需要根据指标类型设置最大值、最小值和中间值，设置这些基准值需要对目前211大学数字图书馆的实际状况有全面的了解，对有些问题需要深入研究和分析，才能提出比较合理的基准数据。虽然基准值一旦确定，对所有的被评价对象都是公平的，但其设置合理与否，对指标值的计算，对评价结果还是有一些影响。这个问题需要进一步研究。
收稿日期：2010-01-25