国际图书馆服务质量评价：绩效评估与成效评估两大体系的形成与发展，本文主要内容关键词为：两大论文,服务质量论文,成效论文,绩效评估论文,图书馆论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
分类号 C251
从20世纪70年代开始，以欧美国家为主流的国际图书馆界就开始进行图书馆服务质量评估的研究与实践。到20世纪80年代后期，国际图书馆界引入全面质量管理的思想和方法体系，作为构建图书馆核心业务和核心竞争力的有力管理工具，积极倡导图书馆实施绩效评估及成效评估，不仅为国际图书馆界带来了重大的根本性的观念变革，而且谱写了现代图书馆管理的新篇章[1]。本文试图综述国际图书馆界服务质量评价——绩效评估与成效评估这两大体系的形成过程与发展趋势。
1 绩效评估与成效评估的概念
所谓绩效（performance），是指图书馆提供服务的效果和提供服务过程中资源配置及利用的效率。绩效评估（performance assessment），就是评估图书馆所提供的服务和开展的其它活动的质量和效果，并评估图书馆为开展这些服务和活动所配置资源的效率[2]。
所谓成效（outcome），即对终端用户的影响；而影响，是对行为、态度、技能、知识或条件（状态／地位）的改变。图书馆成效评估（Outcome Assessment，简称OA），是以图书馆用户为中心来计划和评估图书馆项目或服务的一种方法，这些项目或服务用以解决特定用户需求并设计达到改变用户的目的[3]。也有人（以英国图书馆界为主）将图书馆成效评估称为影响评估（impact assessment）、成效测评（Outcome Measurement，简称OM）、基于成效的评价（Outcome Based Evaluation，简称OBE）或基于结果的评价（Results-Based Evaluation，简称RBE），等等。尽管称呼不同，但实质是一样的。
2 绩效评估与成效评估两大体系形成的背景
早在20世纪70年代，图书馆界的一些著名学者就开始从理论和实践上论述图书馆质量评估的重要意义，如美国兰开斯特（F.W.Lancaster）的《图书馆服务的衡量与评价（The Measurement and Evaluation of Library Services）》，是图书馆界公认的有关评估的理论著作。从20世纪80年代起，欧美发达国家图书馆界就已经开始研究如何开发绩效指标来评估图书馆的工作，如1982年美国图书馆协会出版《公共图书馆的绩效评估（Output Measures for Public Libraries）》手册，1990年美国大学和研究图书馆协会开展“学术图书馆绩效测评项目（Performance Measure for Academic Libraries Project）”，等等。至20世纪90年代中期，已陆续发布了许多绩效指标体系，如1990年英国发布的《成功的关键：公共图书馆绩效指标——绩效测评和指标手册》[4]，1995年英格兰高等教育基金委员会发布的《有成效的学术图书馆：评价英联邦学术图书馆绩效的纲领——图书馆绩效指标的联合咨文报告》[5]，等等。
20世纪80年代后期至90年代初，欧美图书馆界开始引入全面质量管理的思想和方法体系。以前，图书馆对质量的界定，完全从其自身的知识基础和运作经验出发，很少从其产品和服务的对象——用户的需要来考虑，而图书馆质量管理革命所带来的“质量第一”、“以人为本，用户至上”等全新理念，使得图书馆认识到：图书馆存在的价值，不是为了在图书馆工作的员工，而是为了他们所服务的人——用户[1]20。因此，服务才是图书馆的本质属性，质量评估作为质量管理的有力工具，必须把焦点放在图书馆的服务质量上，而且质量评估应该从以自我感知来衡量转变到以用户感知来衡量，并要以事实为依据、用数据来说话[6]。
1995年，欧盟委员会以英国中央兰开夏大学为基地建立了“图书馆与信息管理研究中心（简称CERLIM）”，开始进行“欧洲图书馆绩效评估与质量系统（Evaluation and Quality in Library Performance:System for Europe，简称EQLPSE）”[7]的项目研究。项目组通过试验发现在图书馆这一公益性服务机构开展ISO19001认证有诸多不适宜处，于是提出图书馆应根据自身特征，把绩效评估融入质量管理中，开发设计以用户为导向的指标体系。欧洲图书馆界长达十余年的质量评估——绩效指标国际标准开发热潮从此拉开了序幕。
几乎与此同时，从1996年开始，以美国大学和研究图书馆协会为主，开始了图书馆成效评估的系统研究。
因此，从1995年以后，在国际图书馆界实施全面质量管理的大背景下，原来投入与产出不分、效率与效果不分的图书馆服务质量评估，逐渐分化成为绩效评估与成效评估两个发展方向，并在其后的十多年里，各自形成了成熟的评估体系。
3 绩效评估体系的形成
到20世纪90年代中期，尽管有不少国家的图书馆界开发了各自的绩效指标体系，但是它们之间在术语和定义、测量方法上都不统一，不具有可比性。而此时，全面质量管理的风潮正席卷着欧美国家的图书馆界，为了以评估促进图书馆服务质量的提升，图书馆绩效指标国际标准的开发工作得到了国际图书馆界的一致支持。
1995年设立的欧洲“图书馆与信息管理研究中心（CERLIM）”于1998年4月从英国中央兰开夏大学迁移到曼彻斯特大都市大学，进一步开展了“图书馆绩效评估与质量管理体系”[8]（简称EQUINOX）的项目研究。这样，该研究中心的EQLIPSE和EQUINOX两个项目，经过从1995年初到2000年底共五年多的研究、试验和积极宣传推广，开发了评估传统图书馆与电子图书馆绩效的指标和质量测评方法，并在国际图联和联合国教科文组织推动下，成为国际标准ISO11620“图书馆绩效指标”和国际标准技术报告ISO／TR20983“电子图书馆服务绩效指标”的雏形。
之后，国际标准化组织以国际图书馆界的研究成果为基础，在1998至2003年间相继出版了有关图书馆绩效评估的系列国际标准，它们包括：
●ISO11620：1998——图书馆绩效指标（Library performance indicators）（第1版，1998年4月）
●ISO11620：1998／Amd1：2003——图书馆绩效指标补充本1：增订图书馆绩效指标（Library Performance Indicators AMENDMENT 1:Aaditional performance indicators for libraries）（补充本第1版，2003年7月）
●ISO／TR 20983：2003——电子图书馆服务绩效指标（Performance indicators for electronic library services）（第1版，2003年11月）
●ISO 2789：2006——国际图书馆统计（International library statistics）（第4版，2006年9月）
在这一整套绩效评估国际标准中，ISO 2789是与图书馆有关的数量统计工具，从馆藏规模和服务、用户数量和类型，图书馆人员、设备、馆舍等方面，对图书馆投入（input）进行统计和评估[9]。而ISO11620和ISO／TR20983则共同构成了对图书馆的产出（output）——图书馆工作进行绩效评估的绩效指标体系。ISO11620包括ISO11620：1998和ISO11620：1998／Amd1：2003，从图书馆公共服务、技术服务、服务的改善（暂未有指标）、图书馆服务的用户评价、以及人力资源的有效性与利用这五个方面，共规范了34个指标，是对传统图书馆的服务和活动进行绩效测评的指标体系标准；ISO／TR20983则从电子图书馆公共服务、人力资源的有效性与利用这两个方面，共规范了15个指标，对电子图书馆的服务和活动进行绩效测评[10]。它们共同的宗旨是：行使其作为工具的职能，评估图书馆所提供的服务和开展的其它活动的质量和效果，并评估图书馆为开展这些服务和活动所配置资源的效率（见表1）。
这一系列标准的相继出台，为基于事实与数据说话的图书馆质量管理提供了一整套的统计、评估工具。目前，国际图书馆界由国际图联统计与评估组牵头，正在研究和探讨整合ISO11620和ISO／TR20983，使其成为一体的国际标准，来评估复合图书馆的服务质量和效率。
4 成效评估体系的形成
1996年以前，图书馆绩效与成效的概念没有清晰的定义，无论是绩效评估还是成效评估的提法，都是笼统而模糊的，并没有确切而清晰的界定。随着图书馆绩效评估的发展与标准化，图书馆成效评估才真正从投入与产出评估的混合中分离出来，其概念、原理和方法被单独进行了定义和研究，并日趋成熟，形成了一整套与绩效评估既相分立、又互为补充的成效评估理论与方法。
国际图书馆界对成效评估的研究是以欧美图书馆界为先行的，首先是在学术图书馆界，然后逐步扩散到公共图书馆等各种类型的图书馆，它们的研究、开发过程基本相似，其中以美国学术图书馆界更为领先一步。
从1996年开始，美国大学和研究图书馆协会（ACRL）学术图书馆成效评估任务组经过两年多的研究，于1998年6月发布了《学术图书馆成效评估报告》白皮书（以下简称白皮书）[11]。该白皮书厘清了投入、产出和成效的概念，明确了学术图书馆成效评估的定义和原则，认为：投入是指图书馆项目募集到的原始资源，包括资金、空间、馆藏、设备和人员，即所谓的财力、物力和人力；产出则是指所做工作的数量，如图书流通的册数、编目的种数、回答咨询问题的数量。产出评估对物力配置水平的决策、安排图书馆运行时间等是有价值的，但是它们无关乎影响用户成效的图书馆整体效率的那些关键因素。成效即图书馆用户通过接触图书馆的资源和项目而有所改变的情形。满意与不满意都是成效的一种。简单的满足是一种易于做到的成效，但是，却与更为实质性的成效无关，实质性的成效紧密关联着图书馆及其所服务机构的使命和任务。
一个学术图书馆项目的重要成效包含对下列问题的回答：
●学生通过接触图书馆是否提升了其学术成绩？
●通过利用图书馆，学生是否提升了获得职业成功的机会？
●利用过图书馆的大学生是否更有可能在研究生学习中获得成功？
●图书馆的目录指南是否会为学生带来较高的信息素质水平？
●作为与图书馆员工合作的结果，教师是否更可能把利用图书馆作为他们整体课程教学的组成部分？
●利用过图书馆的学生是否更可能获得更为充实和满意的人生？
学术图书馆成效评估，就是对图书馆作为一个整体所开展的活动、提供的服务，以及它作为大学的一部分对学校整体目标所作贡献的质量和效果进行评价。成效评估是机构整体计划的策划、实施、评估和改进过程有效循环的一个组成部分。因此，成效评估必须一开始就有一个对图书馆所属上级机构组织的任务、目标、目的以及图书馆作为支持这些任务、目标实现的要素之定位的分析。评估应该包括所有这些要素：教学、研究、服务、管理过程，以及机构所追求的任何其它目的。图书馆服务所覆盖的区域应该包括：学生、教师、职员、校友以及其他可能的外部用户。没有一套普遍适用的标准符合所有学术图书馆期望的成效，因为成效必须取决于机构的特点和任务。然而，评估过程却可以规范化。
ACRL成效评估白皮书是国际图书馆界成效评估研究的里程碑，国际图书馆界有关成效评估的研究，都是以该报告作为蓝本来扩展和深化的。2004年6月，美国把成效评估写入统一制定的《高等教育图书馆标准》（Standards for Libraries in Higher Education）中，这标志着成效评估的理论和方法体系经过长期的积累、沉淀，日臻成熟。
英联邦大学和国家图书馆学会（SCONUL）于2003年开始了为期3年的“影响评估”启动计划，形成了他们所认同的影响／成效评估的核心思想，认为：图书馆服务管理者需要从只考虑“提供什么服务和如何提供”的惯性思维中转变（这些只能导致基于传统绩效指标的过程评估），而把焦点转移到关注在提供服务时“管理者试图要达到的是什么”，并将其表达为特定的服务目标，然后根据特定的服务目标来寻找带给用户的变化，并收集变化的证据[12]。
德国、法国等其它西方国家，也纷纷在更宽广的视野内探讨图书馆成效评估的方法，从知识、信息素质、学术或职业成功、社会容纳程度、个人福利等方面，来评价图书馆对个体技能、综合能力、态度、行为带来的改变[13]。
目前，在欧美图书馆界，成效评估也已形成了完善的理论体系和规范化的实践程序与方法。尽管成效评估因为有许多定性的指标难以用具体的数据来表达，尚未形成统一的国际标准，但是对于成效评估中一些可以量化的指标，国际图书馆界正在尝试去量化和标准化。例如，国际图联统计和评估组已经成立了一个工作组，正在计划成效评估的标准化进程[14]。
5 绩效评估与成效评估的关系
国际图书馆统计标准与绩效指标标准的颁布，推动了国际图书馆界对图书馆质量评估的标准化。但是，ISO 2789是与图书馆有关的数量统计工具，强调的只是投入，而国际标准ISO11620和ISO／TR20983的绩效指标，虽然能够从图书馆自身的角度出发，对图书馆的产出——图书馆工作的大部分内容进行质量评估，但是这些指标并没有覆盖图书馆服务的所有方面，尤其对图书馆深层次服务，例如图书馆开展的教学和科研服务，目前还没有开发适用的指标来评估，更不能评估图书馆对个人或社会产生的影响。
成效评估完全以用户为导向，它颠覆性地改变了图书馆与用户的关系，即把“用户在图书馆的生活中”变成了“图书馆在用户的生活中”，评估的是图书馆带给用户的影响和变化。例如，我们项目或服务的结果让读者改变了什么？我们的项目如何影响用户的生活？图书馆通过跟踪其服务和项目对用户的影响来评估图书馆服务的质量和效果。
由此可见，绩效评估是关注图书馆投入与产出及效率的评估，成效评估是关注图书馆服务影响与效果的评估，它们都是图书馆服务质量评估不可缺少的重要环节，使得图书馆服务质量评估能够全方位覆盖投入、产出和成效，从而形成一个从入到出、从量到质、从微观到宏观的图书馆服务质量整体评价体系[1]13（见图1）。
图1 图书馆服务质量评价标准体系
6 国际图书馆服务质量评价的发展趋势
图书馆绩效指标系列国际标准的颁布，以及成效评估程序和方法的规范化，使得图书馆拥有自己独特的质量评估体系和模式来实施质量管理与质量改进，不必生搬硬套ISO9001认证的模式。
如今，许多国家纷纷把这些国际标准翻译成本国文字，研究制定适合本国的质量评估指标体系，同时运用成效评估的各种方法，如用户调查、焦点组，来获得用户反馈，从而制定或改进计划目标，提升服务质量，特别是在欧美发达国家的图书馆界，服务质量评估的实践也已经固化为图书馆的一种常规管理手段。如英国联邦政府2004年发布的《公共图书馆服务标准》共规范10个标准指标，英国文化部希望各机构能够采用该标准进行各种各样的评估，而无论其是外部指导委员会的评审，还是作为一个自我评估的工具。英联邦国家博物馆、图书馆和档案馆委员会（MLA）于2007年12月再次修改了该标准，把两套评估方法（绩效与成效评估）合成了一套连贯的公共图书馆绩效管理方法[15]。
欧美国家图书馆界还纷纷建立网站进行在线统计，或者设计专门的集统计与绩效成效评估为一体的网络系统。最具国际影响力的几大图书馆服务质量测评系统为：①美国研究图书馆协会（ARL）的LibQUAL[+(TM)]系统[16]，该系统支持12种语言；②欧洲委员会的LIBECON系统，不仅有欧盟、中东欧的30个国家加入，还扩充到美洲、亚洲等国家图书馆界[17]；③英联邦大学和国家图书馆学会网站的“绩效门户”；④“网络电子资源在线利用统计”国际项目COUNTER[18]；⑤国际图联统计与评估专业组正在其网站上努力构建的统计与评估系统。
1995年8月，第1届国际图书馆和信息服务绩效测评国际会议在英国诺桑比亚召开，截至2007年，已连续召开了7届，专门探讨绩效评估国际标准的开发、测评系统的设计及应用等，目前该国际会议也已开始对成效评估进行探讨与研究。而且，国际图书馆服务质量评价的发展趋势，已经把图书馆评估的重心逐渐从绩效评估转移向成效评估。
7 国际图书馆服务质量评价体系对我国图书馆评估的启示
国际图书馆服务质量评价是一个多元互补的体系，绩效评估和成效评估就是从不同的视角、用不同的方法对图书馆服务质量进行评价，它既可以作为一个管理工具对图书馆进行自我评估，也可以被图书馆的相关利益者（主管部门或资金提供者、赞助者、用户等）和独立第三方（审计部门或质量认证机构）采用来对图书馆进行评估。总之，在西方发达国家，无论是图书馆对自身的管理、决策和运营的质量评估，还是权威认证机构对图书馆运营的评审，或是社会对图书馆形象的评价，已经形成了一整套成熟而完善的机制。
中国图书馆界于20世纪80年代开始研究和引进图书馆评估管理，应该说，目前我国高校和公共两大图书馆系统已形成了较完整的指标体系，并开展了较大规模的评估实践，但是，“和图书馆事业发达国家相比，和国际上通行的图书馆服务效益评价指标、评价方法、评价体系相比，我们也还存在差距”[19]，主要表现在以下方面：
（1）评估主体。国际图书馆服务评估的主体形成了自评、外审和第三方独立评审的多元化格局；而我国的图书馆评估主体基本还是行政主管部门，自我评估只在少数图书馆实践，尤其缺乏第三方独立审计评估。
（2）评估内容。国际图书馆服务评估内容的重点已由注重投入、产出的绩效评估转向注重质量和效益的成效评估；我国公共图书馆的评估基本上处于图书馆绩效评估的初级阶段——投入规模评估上，高校图书馆的评估已开始关注产出，但是都未涉及成效评估。
（3）评估方法。国际图书馆服务评估方法逐渐趋于综合化，运用多种方法，既注重定量测评，又有定性分析，以求得评估结论的客观和准确；我国的图书馆服务评估定性分析多，缺乏科学的数据和事实来证明。
（4）评估标准。国际图书馆服务评估手段和工具已标准化、规范化，发达国家已经广泛采用系列国际标准ISO11620、ISO／TR20983和ISO2789，开展适合图书馆行业自身特性的质量评估；我国只有国家图书馆参照国际标准，制定出了《国家图书馆绩效评估指标体系》，其它系统图书馆对系列国际标准研究和实践的报道很少。
（5）评估时间。国际图书馆界评估已制度化、长期化；我国的图书馆评估还只是行政主管部门主持的一次性短期评估。
正如李国新教授所言：对一个图书馆作出完整的评价，对一个图书馆的社会贡献作出完整的描述，需要多元互补的评价体系。因此，研究国际图书馆服务质量评价的理论和实践，无疑将对完善我国图书馆评估理论和实践提供重要的启示[19]。
（收稿日期：2008-09-03）