电子资源使用绩效的评价，本文主要内容关键词为：绩效论文,评价论文,资源论文,电子论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
近年来，随着图书馆购买的电子资源越来越多，与电子资源有关的服务逐渐成为图书馆服务的重要组成部分，并且其所占份额呈上升趋势。随着电子资源数量和使用的日益增多，电子资源使用绩效的评价问题自然而然地受到了人们的重视。当图书馆考虑如何优化其资源体系、调整电子资源的购买策略、改进服务等问题时，电子资源使用绩效的统计数据就成为有力的决策依据。另外，由于图书馆用于购买电子资源的经费大幅上涨，图书馆必须考虑这样一个问题：用于购买电子资源的巨大投入是否得到了相应的回报？换言之，这些耗费了大量资金的电子资源的使用效果究竟如何？总之，电子资源使用绩效的评价已成为图书馆服务绩效评价的不可缺少的组成部分。
由于电子资源与印刷型资源有很多本质性的区别，传统的图书馆服务绩效评价体系很难适应电子资源评价的需要，如果仅仅把传统的评价方法扩展到电子资源及其服务的评价，将会遇到极大的困难，因而针对电子资源的特点制订新的绩效评价指标体系是很有必要的。
1 国内外研究现状
1.1 国外研究成果的概括与分析
自20世纪90年代中期以来，国外出现了一批研究电子资源使用绩效的项目，简要介绍如下：
Equinox项目，由Manchester Metropolitan University的图书馆与信息管理中心(Centre for Research in Library & Information Management CERLIM)负责，并有德国、瑞典、西班牙等国的多家图书馆参与，该项目为期两年，完成于2000年11月，主要致力于为欧洲学术图·书馆的网络资源和服务制订绩效指标。Equinox得出的电子资源使用绩效评价体系包含14个指标，分别反映了电子资源的使用、费用、配套设施、用户培训、用户满意度等。
美国的学术图书馆协会(ARL)的E-metrics项目，由美国的学术图书馆协会资助和组织，ARL的统计和测度委员会(Statistics and Measurement Committee)在1999年1月启动了“新测度方法研究”(New Measures Initiative)，“新测度方法研究”下有五个子项目，其中第五个子项目发展成了ARL的E-Metrics项目， E-Metrics项目开始于2000年5月，终止于2001年12月，有24个ARL的成员馆参加了此项目。E—Metrics项目的研究结果是16个统计参数和3个绩效指标，16个统计参数分别是关于用户可使用的数字资源、网络资源的使用、网络资源与相关设施的花费、图书馆的数字化工作；3个绩效指标主要反映电子资源的使用占图书馆全部服务的比例。
国际图书馆联盟的研究(ICOLC)，国际图书馆联盟于1998年提出了《电子资源使用的统计指南》，并于 2001年12月和2006年9月进行了两次修订。该指南规定了对每种电子资源必须统计的数据：登录数、检索数、浏览的次数（如利用电子期刊刊名字顺菜单浏览期刊的次数）、使用全文的数量。
博物馆和图书馆学会(IMLS)资助的为公共图书馆发展网络统计和绩效指标的项目，该项目开始于1998年，2002年5月提出了最终项目报告，报告列出了公共图书馆电子资源使用的统计参数，这些参数涉及到设施（如计算机数量）、电子资源数量与使用、服务、虚拟访问、用户培训等情况。
图书馆和信息资源协会(CLIR)的相关研究，CLIR于 1999年至2000年展开了一项关于网络数据使用的统计的研究项目，成果是关于电子期刊使用统计的白皮书。
国际标准组织(1SO)的相关研究，2003年，国际标准组织提出了一份技术报告——数字图书馆的服务绩效指标，即ISO/TR 20983:2003(Information and documentation——Performance indicators for electronic library services)。
美国国家信息标准组织(NISO)的相关研究，NISO正在更新它的Z39.7标准。2004年颁布的Z39.7更全面地反映了电子资源及其服务的统计和绩效指标，这个版本的Z39.7还有一个附录B为“测量数字图书馆的使用”(Appendix B,Measuring the Use of Electronic Library Services)，它阐述了一些与电子资源使用统计相关的问题。
上述研究项目的侧重点并不完全相同，Equinox项目、ARL的E-metrics项目、博物馆和图书馆学会 (IMLS)的项目、国际标准组织(ISO)和美国国家信息标准组织(NISO)的研究都侧重于提出一套有实用价值的评价指标体系，而ICOLC的研究则重点阐述了电子资源使用数据的统计规则。
大多数项目提出的电子资源使用绩效评价指标体系有诸多共性，它们的指标体系通常反映电子资源的使用、费用、配套设施、用户满意度等方面情况，其中Equinox项目的指标与ISO/TR20983的指标较为相似，它们有11个相同或极为相似的指标，如下表：
EQUINOX与ISO/TR 20983相同的指标
注：(1)指标名称是根据原文翻译的，所以意义相同的指标可能有不同的表述。
(2)时段(session)指用户使用电子资源的连续的时间段，每个时段开始于读者登录进入，结束于退出登录或超时中断。
这些研究项目得出的指标都是可量化的，可由软件或人工统计和计算得出数值；并且，大多数指标是客观性指标，不包含主观性的评分，如：ISO/TR20983:2003的15个指标和ARLE-metric的3个指标都是客观性的，EQUINOX项目的14个绩效指标中只有一个指标是主观性的（用户满意度），其余均为客观性指标。另外，这些指标体系都经过项目参与者的实际测试，女口：ARLE-metrics项目有24家ARL成员馆参加了测试，EQUINOX项目则有40多家欧洲的图书馆参加了测试，因而指标体系的可操作性比较有保证。
与诸项目成果的相似之处相比，它们之间的差异更引人注目。在上述研究项目中，ARLE-metrics项目与其他项目的结论迥然不同，ARLE-metrics项目的核心思想是以电子资源的使用占图书馆全部服务的比例来反映电子资源及其使用的绩效水平，它一共有三个绩效指标，其中有两个指标P1（数字参考咨询占全部参考咨询的比例）和P2（虚拟访问图书馆的次数占全部图书馆的访问次数）是反映电子资源的使用占全部服务的比例，第三个指标P3是电子图书数量占全部图书的比例。其他项目得出的指标体系中虽然也有反映电子服务占全部服务的比例的指标，如：电子咨询占全部咨询的比例、用于提供电子服务的经费占全部经费的比例，但更多的是与电子资源使用情况本身有关的指标，如：平均每一个使用时段下载的文献数、下载一篇文献的平均费用、被拒绝登录的比例。或与设施有关，如：人均可使用计算机时间（小时数）、平均多少用户使用一台公用计算机。甚至，在ISO／TR 20983中，指标“数字咨询占全部咨询的比例”被称作“目前有意义的指标”，因为它反映了图书馆电子服务所占的份额和图书馆向数字图书馆发展的程度，当图书馆的电子服务达到某种满意状态时，这样的指标就没有用了。
同样的指标在ARLE-metrics中反映了核心思想，而在ISO/TR 20983中却变成了临时指标，如此显著的分歧使我们不得不思考这样的问题：什么样的指标才能反映电子资源的使用绩效？应该从什么角度来制订评价指标？笔者将在下文继续探讨这个问题。
1.2 国内研究成果的概括与分析
国内的相关研究都是由一个或几个研究者独自开展的，没有像国外那样在学术团体的资助下以项目的形式进行。有关学术论文可分为两类，一类是对国外研究的介绍和相关问题的探讨，没有提出自己的评价指标体系，如：胡燕菘的《图书馆数字资源使用评价研究》、索传军的《论数字资源评价／评估研究》等；另一类则提出了自己的评价指标体系，但指标体系尚没有条件加以大规模的验证，这类文章有肖珑、张宇红的《电子资源评价指标体系的建立初探》、刘锦山的《e线图情数字资源评估指标体系》。
2 什么样的数据才能反映电子资源的使用绩效
研究电子资源的使用绩效可以有三个出发点，或者称为三个研究角度：第一，电子资源的使用、费用、配套设施等情况；第二，电子资源的使用占图书馆全部服务的比例；第三，电子资源的使用对用户的研究和学习的影响。
第一种角度，用电子资源的使用、费用、配套设施等情况来衡量电子资源的使用绩效，使用情况包括电子资源的登录、检索、浏览、下载等情况；费用包括用以购买电子资源的费用、使用电子资源的费用，如：购买电子资源的费用占图书馆全部经费的比例，下载一篇全文平均所需的费用；配套设施指计算机数量、网络条件、用户培训等。这些数据通常是客观的统计结果，对揭示电子资源的使用绩效是很有帮助的。 EQUINOX项目和ISO/TR20983都是从这个角度来制订指标的。
第二种角度，用电子资源的使用占图书馆全部服务的比例来反映电子资源的使用绩效，这样的指标体现了电子资源及其服务在图书馆总体服务中的重要程度，但却有一个弱点，即指标的数值与图书馆传统服务水平有太大的关系，如果传统服务本身很糟糕，则会导致指标数值上升，因此，这样的指标不能准确反映电子资源的使用绩效。同理，由于不同图书馆的传统服务水平不尽相同，这样的指标在不同图书馆之间会有不可比性，只有在各图书馆传统服务水平相近的情况下，不同图书馆的电子资源使用绩效才有可比性。ARL E-metrics项目主要采取了这一角度。
第三种角度，试图用电子资源的使用对用户的研究和学习的影响来评价电子资源的使用绩效，这种角度看上去反映了电子资源的最终目的——为用户服务，但其数值不易测度，另外，电子资源对用户的影响除了电子资源本身外，受太多其他因素控制，因而减弱了指标的说服力。
3 评价结果的分析与理解
首先，必须把指标放在与其相关的环境中审视。每个指标都受一些因素影响，在理解评价结果和把它作为决策依据时，不可只看指标的数值，必须同时考虑相关环境因素的变化，以便正确理解其数值的意义。如：ISO/TR20983中有这样一个指标——使用电子资源的人口的比例，它可能受以下因素影响：服务对象的人口组成、教育水平、经济状况、上网的设施、服务收费水准、使用电子资源的规则等。当使用电子服务的人数占全部服务对象的比例明显上升时，要考虑外部环境是否有改变（比如由于校园网建设发展，学生上网更方便或便宜），不可全部理解为图书馆服务水平的提高。
其次，当把评价指标用于比较多个图书馆的电子服务绩效时，要极为慎重。两个图书馆的目标、用户结构、服务类型、环境不同，这些都会导致指标数值的变动。例如：“用户满意度”指标与用户使用图书馆的经验有关，如果用户没方享受过高质量的服务，那么他们很有可能对低水平的服务感到满意，由于高校学生基本上局限于使用本校图书馆，缺乏使用其他图书馆的经验，所以大学生对本校图书馆的满意度在两所高校图书馆之间很难相比。
最后，在使用评价结果时，要考虑到影响评价质量的各种因素，如：数据准确性问题，有一些因素会影响数据准确性，第一，统计数据有多种来源：各家电子资源提供商和图书馆，这些数据很有可能在数据定义、统计方法上互不相同，造成数据的不可比。第二，网络环境对统计结果的影响，例如搜索引擎会影响时段(session)的数量。
4 图书馆的电子服务与传统服务绩效的关系
首先，定义一下“电子服务”这个概念。根据ISO 2789 Information and documentation——International library statistics第四版，电子服务(electronic service)是指 OPAC、图书馆网站、电子馆藏的使用、电子文献传递、电子参考咨询、如何使用电子资源和网络的用户培训等服务。电子资源是开展电子服务的基础之一，电子资源的使用是电子服务的重要组成部分。
目前，图书馆逐渐演变成复合型图书馆，电子服务和传统服务并存，两者共同构成了现代图书馆的服务功能，那么在衡量现代图书馆服务绩效时，必须要兼顾电子服务与传统服务的绩效，二者缺一不可，因此一套能够综合体现两者的绩效、兼顾两者特点的评价指标是最为理想的。然而，目前两种服务绩效的评价指标还没有很好地融合在一起。
图书馆传统服务历史悠久，其绩效评价指标体系也比较成熟，国际标准组织(ISO)于1998年出版了 IS011620——Information and documentation——library performance indicators，并于2003年做了修订。ISO11620只有传统服务的指标，不包含电子资源及服务的绩效测量指标。ISO/TR 20983将在未来被纳入ISO11620。
由于电子服务和传统服务所依托的技术不同，计量方法不同，两者的内容又相互重叠，因此制订一个既适用于传统服务又适用于电子服务的综合指标有相当的难度。在ISO11620和ISO/TR20983中，同样是有关文献检索的指标，ISO11620与ISO/TR20983迥然不同，ISO11620的指标是：闭架索取文献的平均时间，开架索取文献的平均时间；ISO/TR20983的指标是：平均每一个使用时段下载的文献数，数据库平均每一使用时段的费用，下载一篇文献的平均费用，被拒绝登录的比例，远程OPAC使用的比例，虚拟访问占图书馆全部访问的比例。通过分析传统服务绩效指标和电子服务绩效指标，可以看出绩效指标可以分为四类。
第一类，对传统服务和电子服务同样适用，如用户满意度。
第二类，需要对其定义和计算方法做微小的调整以适用两种服务。有些指标虽然分别是用于传统服务评价和电子服务评价的，但它们实际上是基于相同的理念的，如：传统服务评价指标的“人均到馆次数”与电子服务评价指标的“人均虚拟到馆次数”，传统服务评价指标的“使用图书馆服务的人口比例”与电子服务评价指标的“使用电子服务的人口比例”。这种类似指标的存在意味着可以建立同时适合传统服务指标与电子服务的指标，如：“人均到馆次数”可同时考虑实际到馆和虚拟到馆的次数，使用图书馆服务的人口比例则可以综合考虑使用传统服务和电子服务的比例。
第三类，与文献的物理形式有如此密切的关系，以至于只适用于传统服务，如：ISO11620的闭架索取文献的平均时间。
第四类，只适用于电子服务，如ISO/TR20983中的平均每一个使用时段下载的文献数、被拒绝登录的比例。
电子服务是图书馆服务的一部分，电子服务的绩效评价应该融合进图书馆服务绩效评价之中。当然，由于电子服务与传统服务在某些方面区别较大，必须分别加以评价。
5 结语
电子资源使用绩效的研究仍处在发展之中，成熟的、得到图书馆界公认的指标体系尚未形成，况且电子资源本身也在不断变化之中，所以，关于电子资源的评价指标的探索仍将继续。
收稿日期：2007-04-04