电子资源使用绩效评价体系探索——欧洲EQUINOX项目的分析与借鉴，本文主要内容关键词为：欧洲论文,绩效论文,评价体系论文,项目论文,资源论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
中图分类号：G250.76 文献标识码：A 文章编号：1007—7634（2008）01—0077—05
1 概述
近年来，图书馆界对如何评价电子资源及使用绩效的问题十分关注，因为电子资源的使用已成为大多数图书馆服务的重要组成部分，并且其所占份额呈现上升趋势。由于电子资源与传统资源有很多本质性的区别，传统的评价体系很难适应电子资源的要求[1]，电子资源和网络服务向传统图书馆的统计和评价方法提出了挑战，如果仅仅把传统的统计方法和评价指标扩展到电子资源及其服务，将会遇到极大的困难。因此，电子资源的绩效评价问题成为图书馆和信息服务界近十年来的研究热点之一[2]。
电子资源使用绩效的研究对图书馆的业务发展有重要意义，具体如下：
（1）有助于优化图书馆资源体系。通过对电子资源使用情况的统计和评价，可以看出哪些学科以及哪些类型的电子资源被利用得多，从而在采购电子资源时有意地调整电子资源的学科分布，合理分配电子期刊、电子图书、全文数据库、参考数据库的采购比例，构建合理的数字馆藏。
（2）是图书馆绩效评价的重要组成部分。随着电子资源在全部馆藏中所占份额的大幅上升，以及电子资源的使用在图书馆信息服务中所占比例的显著提高，电子资源的使用绩效自然而然地成了图书馆整体绩效的重要组成部分，如果忽略了电子资源使用绩效的评价，图书馆的绩效评价将是极不完整的。
（3）是图书馆管理决策的依据。当图书馆考虑如何有效地管理资源、合理地分配经费、调整电子资源的购买策略、改进服务等问题时，电子资源使用绩效的统计数据是一个有力的决策依据。
（4）有助于研究电子资源对图书馆服务模式的影响。电子资源主要是通过网络来使用的，它不仅仅是传统服务的复加功能，它对图书馆的服务模式和管理理念有着深层和广泛的影响，它的影响涉及图书馆的角色定位、传统服务（例如印刷型馆藏的使用）的调整以及读者行为的改变，没有足够的电子资源使用情况的统计数据是很难了解这些的。
（5）开创用户研究的新途径。用户在使用电子资源时，借助软件系统的统计功能，用户的检索次数、浏览记录的次数、阅读全文的篇数等行为参数都可统计出来，而这些数据在用户使用印刷型文献时则不易测量，从这个角度来说，电子资源使用情况的统计为用户研究提供了新途径，用户使用电子资源的统计数据成为研究用户文献需求和行为特点的有力工具[3]。
2 研究现状
20世纪90年代，国外图书馆界开始关注电子资源与服务的使用绩效问题，出现了一批有影响力的研究项目[4—5]。
（1）美国的学术图书馆协会（ARL）的E-metrics项目，由美国的学术图书馆协会资助和组织，研究结果是一套推荐便用的统计参数和绩效指标。
（2）国际图书馆联盟的研究（ICOLC），从20世纪90年代中期，国际图书馆联盟开始致力于研究网络数据库服务的标准，并提出了电子资源使用统计的规范性文件。
Equinox项目，由欧盟资助，主要致力于为欧洲的学术图书馆的网络资源和服务制订绩效指标。该项目仍在继续，但研究重点从绩效指标变成了开发用于统计图书馆网络服务效果的软件。
（3）国际标准组织（ISO）的相关研究，国际标准组织继续发展它的图书馆统计标准，电子资源的统计是其中一部分。国际标准组织在2003年修订了ISO 11620，为其增加了针对电子资源的统计指标（ISO 11620:1998/Amd 1:2003,Additional performance indicators for libraries）；同样在2003年，国际标准组织提出了一份技术报告——数字图书馆服务的绩效指标，即ISO/TR 20983:2003,Information and documentation——Performance indicators for electronic library services。
（4）美国国家信息标准组织（NISO）的相关研究，NISO正在更新它的Z39.7标准。更新后的标准将会考虑电子资源和服务的统计与绩效指标。
（5）图书馆学和情报学国家委员会（NCLIS），NCLIS继续研究在线数据库使用统计的标准化问题，它的研究项目主要关注公共图书馆。
（6）博物馆和图书馆学会（IMLS），IMLS资助了为公共图书馆发展网络统计和绩效指标的项目。该项目形成了一本网络统计手册。
（7）图书馆和信息资源协会（CLIR），CLIR提出了一份评价学术图书馆网络统计的发展情况的报告。
3 EQUINOX项目概述
EQUINOX是一个为期两年的研究项目，完成于2000年11月，由Manchester Metropolitan University的图书馆与信息管理中心（Centre for Research in Library & Information Management CERLIM）负责，并有德国、瑞典、西班牙等国的多家图书馆参与。该项目有四项主要成果：
（1）一套绩效评价指标，包括计算指标的方法指导。
（2）用于评价绩效的软件。
（3）质量管理框架。
（4）XML的数据类型定义（DTD），用于解决数据互操作性问题。
但EQUINOX的核心任务是提出一套得到公认的电子资源绩效评价体系和决策支持软件[6—7]。
4 EQUINOX的指标体系
项目开始时，EQUINOX项目的研究人员首先提出了一套试验性的电子资源使用绩效的评价指标，并附有详细的定义、收集和分析数据的指南，随后这套指标在40多家图书馆进行了测试，EQUINOX项目的研究人员在广泛听取欧洲多家图书馆意见的基础上，多次修改了指标体系，最终确定为14个指标，见表1[8]。
5 EQUINOX的研究方法
研究电子资源评价指标的方法有定量研究方法和定性研究方法。定量研究方法有E-metrics、问卷调查等；定性方法有访谈法、焦点团体法和事例取样法等[9]。其中E-metrics是近年出现的一种新网络计量方法，它是一种检验和统计网络通行数据的工具，最初应用于电子商务，目的是了解网站使用者的行为，图书馆界则把它当作统计、分析电子资源使用情况的工具，EQUINOX项目就使用了Emetrics方法[10]。
另外，EQUINOX还使用了问卷调查法，在测量用户满意度时，请用户根据自己使用电子资源及服务的感受来打分。
在制订评价指标体系时，EQUINOX项目遵循了如下原则：
（1）评价指标必须是有意义的。计算机软件可以按照人们的设计完成多种统计，但制订评价只能选取其中有意义的内容，排除不能说明任何问题的统计数据，对管理决策没有意义的内容不适合作为评价指标。
（2）指标必须有明确的定义。指标的含义要有明确的定义，避免歧义；并且统计、计算指标数值的方法也要有详细的说明。
（3）评价指标必须具有可操作性。计算评价指标所需的统计数据必须是可获取的，无论是由计算机软件自动记录还是由图书馆员来统计，无法测度的指标是没有意义的。
（4）指标必须具有可比性。不同机构用同一套指标体系得出的数据必须具有可比性，例如，“使用电子资源的人数”就是一个没有可比性的指标，当两家图书馆使用电子资源的人数相同时，并不能说明它们的用户在电子资源使用的普及方面水平相同，因为它们服务的对象人数不同，“使用电子资源的人数占全部服务对象的比例”才是一个可比的数值[11—12]。
上述原则可以说是所有关于电子资源使用绩效评价的研究都应遵循的。
EQUINOX项目采用了提出方案——用实践来证实——修订方案的研究过程[8]。
第一步，根据当时已有的对电子资源评价的了解和实践，提出初步的评价指标体系。
第二步，针对第一步提出的评价指标体系，收集数据。
第三步，在多家图书馆测试指标体系，根据测试结果多次修订指标体系。
事实上很多电子资源使用绩效的研究项目都采用了这样一种研究过程，如美国ARL的E-metrics项目。
6 EQUINOX指标体系分析
（1）EQUINOX的指标较全面地反映了与电子资源使用绩效评价相关的各方面内容。EQUINOX的14个评价指标反映了电子资源的使用、费用、配套设施、用户满意度等多方面内容，按照指标所涉及的问题，可将指标分为五组，如表2。
（2）EQUINOX指标体系的核心思想是用平均数值来反映绩效。在EQUINOX的14个指标中，有7个指标是平均数值，如指标2（服务人群中平均每人使用各项电子服务的时段数）、指标4（各项电子服务平均每个使用时段被查看的文献和记录数量），利用平均数值来反映电子资源的使用绩效具有一定的合理性。以指标2（服务人群中平均每人使用各项电子服务的时段数）为例，假设在两所图书馆中，使用电子资源的时段数相同，并不能说明两者在电子资源的利用方面水平相同，因为两者的服务人数可能相差很多，人均时段数才能说明问题。
（3）所有指标都是可量化的。EQUINOX项目的14个绩效指标都是可量化的，其数值可依据统计数据计算得出。此外，除了指标14（用户对电子资源及其服务的满意程度）外，其他指标都是客观性指标，即数值是由客观事实决定的，不受人的主观态度影响；指标14则取决于用户的主观评分，它是这样计算的：请用户用分数表示其满意程度，采用5分制，1分为最低分，5分为最高分，用户打分的平均分数就是指标14的数值。
（4）指标体系有较好的可操作性。计算EQUINOX项目的评价指标需要利用一些统计数据，如计算指标1（使用电子资源的人数占总服务人数的比例），就需要服务人口总数和使用电子资源的用户数这两项数据。用于计算指标数值的统计数据是否可以获得，决定了指标体系是否有良好的可操作性。再以指标1为例，服务人口总数是个很容易获得的统计数据，至于有多少用户使用了电子资源，如果不要求用户用能显示其身份的信息（如借书证号）登录后再使用电子资源，则无法统计。有些高校图书馆即使用户在馆舍内使用电子资源，也要求先输入借书证号和密码，对于这些高校图书馆来说，这个统计数据是可获得的，而有些高校图书馆对于在馆舍内使用电子资源，只采取IP控制的方法，那么用户的身份无法确定，究竟有多少用户使用了电子资源也就难以测量了。
EQUINOX的所有指标通过一定的统计手段都是可获得其数值的，没有不可测度的指标，项目参加者对所有指标进行过实际测试，因而其可操作性是有保证的。
（5）没有体现电子资源数量的指标。EQUINOX的指标体系中没有体现电子资源数量的指标，如：电子期刊占全部期刊的比例、人均电子期刊拥有量、人均电子图书拥有量。也许因为项目研究人员认为项目的目标是制订电子资源使用绩效的评价指标，而电子资源的数量并不能说明其使用情况。
7 借鉴与展望
EQUINOX项目的组织方式值得国内同行借鉴，该项目由多家欧洲图书馆参与，这种组织方式不但保证了研究与实践的充分结合，而且有助于研究成果得到广泛的认可和推广。
在电子资源使用绩效方面，国内学者多单独开展研究，力量比较薄弱，成果不容易走向实用[13—14]。
电子资源使用绩效的研究仍处在发展之中，成熟的、得到图书馆界公认的指标体系尚未形成。况且电子资源本身也在不断变化之中，所以，关于电子资源的评价指标的探索仍将继续。
收稿日期：2007—04—11
基金项目：北京语言大学科研项目（05yb09）