数字参考服务评估与质量控制研究，本文主要内容关键词为：质量控制论文,数字论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
〔中图分类号〕G252.6 〔文献标识码〕A 〔文章编号〕1002-1167(2005)01-0029-04
1 引言
从上世纪80年代起，数字参考服务开始在图书馆界兴起。它突破了传统图书馆实体范围和时间的限制，以其便捷性赢得了众多用户的青睐。越来越多的图书馆已经或正在将数字参考服务纳入其常规服务领域，国内外图书馆界对于数字参考服务的研究已渐成热潮。如何提高服务质量是数字参考服务研究的重要论题之一。解决这个问题的一个关键是通过服务评估改善服务质量，提高用户满意度。服务评估有助于了解当前的服务情况、服务效果和用户的满意程度，帮助管理层了解数字参考服务的特点、目前的优势和存在的不足，分析服务的投入和产生的效益，为人员合理安排、服务优化和发展规划提供可靠的数据支持。
本文根据数字参考服务的现实系统的特点，提出了一套服务质量评估指标体系，以期对数字参考服务评估中设置评估指标、搜集数据，以及在评估基础上的质量控制提供参考。
2 评估指标设置的原则
2.1 主客体相结合原则
认识论认为，评价事物的价值有三个要素：主体、标准和客体。在数字参考服务体系中，图书馆是服务主体，用户是服务客体，评价指标是评价服务的标准。数字参考服务评估的首要任务是让用户对服务质量进行评价。图书馆作为服务的主体由三个要素组成，即参考服务工作人员、软硬件设备和解答的咨询问题。要素的优劣直接影响评价的结果，理应对主体进行一定程度的自我评价。因此数字参考服务评估要做到主客体相结合，在评价指标的选择上应该尽量全面地反映主客体的基本情况。
2.2 对于改善服务的指导性
服务评估的目的是了解服务的现实情况，从中发现现有的优势和存在的问题，找到用户的期望和现实的差距，为改进服务质量、提高用户满意度提供指导。因此评价指标的设置应该考虑到它一方面能否充分体现服务质量的优劣，另一方面对于改善数字参考服务的质量或者改进图书馆其它服务具有意义。
2.3 数据可获得性
评价指标选取时还需要考虑数据的可获得性。也就是说，通过一定的程序和方法，能够获得客观、真实的统计数据。数据的来源可以是手工或电子的日常工作记录，也可以是服务器的日志等统计数字，也可以是来自同行专家或用户的定性评价。
3 服务评估的指标体系
基于以上几点原则，笔者设计了涉及四个方面的三层评估指标体系。它可用于评估图书馆提供的各类数字参考服务，包括电子邮件咨询、WEB表单咨询、实时咨询等常见数字参考咨询，以及利用BBS、电子论坛等其它数字方式进行的参考咨询服务。该指标体系可用于单个图书馆对本馆提供的数字参考服务进行评估，以改善服务质量；也可用于多个图书馆同类数字参考服务的比较，以找到差距，取长补短。
3.1 管理指标
3.1.1 政策性指标
包括两个指标：①服务宗旨与目标。指数字参考服务的宗旨是否与图书馆的宗旨相一致；其宗旨和目标通过何种方式告知用户。②服务政策。包括服务时间、服务用户、提问范围政策和隐私权、公平使用和版权政策。指是否有服务时间、服务用户、提问范围等的限制以及关于隐私权、公平使用和版权政策的说明；相关政策通过何种方式告知用户。
3.1.2 人员指标
包括三个指标：①工作人员的组成情况。包括参与数字参考服务的人员组成情况；是否有专门的咨询人员、管理审核人员、协调人员、系统支持人员；咨询人员的学科背景怎样。②咨询人员的资格认定机制。包括对于咨询人员的资格要求怎样；资格认定程序如何；是否要求有一定的学科专业背景、必要的技能和岗前培训经历；③咨询人员的培训与交流机制。包括对咨询人员是否提供岗前培训；是否有定期培训的机制；培训的内容如何，是否包括数字参考政策、标准和程序、数字参考系统的使用方法、用户教育与培训技能、网络交流技能等内容；是否有定期交流机制，交流途径是否通畅。
3.1.3 质量控制指标
包括两个指标：①质量规范。包括是否有明确的质量规范；质量规范的内容如何，是否包含回答问题的及时性、回答应包含的内容、使用的参考资源、疑难问题的解答方法等规范；咨询人员通过何种方式了解质量规范。②质量控制机制。包括是否有质量控制机制；是否有专人对咨询问题的回答进行审核，审核的程序怎样；是否要求用户对于咨询过程作出评价和反馈；是否有回答错误的补救机制。
3.2 过程指标
3.2.1 服务基本数据
包括四个指标：①使用量统计。包括每天的使用量统计和每周的使用量统计。前者指以小时为单位对每天接收用户提问数量的统计，后者指以天为单位对每周接收用户提问数量的统计。利用这些数据可确定一天内和一周内的最高使用量、最低使用量和平均使用量，分析一天内和一周内的使用高峰时间和低谷时间，作为工作人员排班的依据。②服务完成的平均时间。这个指标可通过统计一段时间内解答问题所用时间总和除以解答的问题数量得出。要注意的是问题解答所用时间指的是提出问题到解答完成之间所间隔的时间，包括咨询人员不在线上、处理别的问题等时间在内。本指标可反映解答问题的及时性。通过一段时间的连续统计，可据此分析安排的工作人员数量是否恰当，并可确定回答问题的周期。③用在技术上的时间占所用全部服务时间的百分比。在数字参考服务中，工作人员在技术上花的时间远远超过了传统参考咨询服务。这些时间主要用在建立、维护、更新数字参考服务网站，以及安装和维护必要的软、硬件设备、帮助用户解决技术问题等技术工作上。本指标反映了技术工作在数字参考工作中所占的比重。它可以为参考咨询人员安排以及工作业绩评估提供依据。④所用的参考资源情况。指一段时间内解答问题所用参考资源的统计。数字参考服务常用的参考资源包括：网上免费资源、自建电子资源、商业资源、印刷型资源以及其它资源。通过一段时间对参考资源的种类和类型的统计可以作为馆藏发展中确定各类型资源的预算分配的参考依据。
3.2.2 可获得性
可获得性是指用户对于数字参考服务的易用性的评价，可通过用户调查、用户访问等方式获得相关数据。共包含以下三个指标，这些指标可为今后的服务时间、服务方式、及服务界面的设计提供参考。①服务时间。指用户对于每周内服务的天数，以及每天内服务的具体时间是否满意，以及用户对于服务时间的要求。②服务方式。指服务通过何种方式提供，是否通过E-mail、WEB表单、实时聊天等方式提供，用户认为服务方式是否方便易用，以及用户对于服务方式的要求；数字参考服务网站在网上是否容易找到；使用数字参考服务对于用户计算机有无特别的软硬件要求；用户对于服务方式的满意程度等。③界面的易用性。指服务界面是否友好；使用的语种和词语是否容易理解；有无常见问题解答等使用帮助；用户对于界面易用性的满意程度。
3.2.3 系统功能
系统功能指标是指从咨询人员和管理人员的角度来看，数字参考服务系统的功能是否全面，是否好用，能否满足图书馆的需求。主要包括：系统是否提供常用问候语选择和自动发送问候语功能；是否提供提问转发功能；实时数字参考服务是否提供网页推送和同步浏览、应用共享功能；是否提供日志和统计功能；是否提供问题的存档和FAQ功能等。
3.3 经济指标
3.3.1 服务投入
包括三个指标：①服务支出。服务支出主要用于支付从事数字参考服务人员的工资与奖金，购买、租赁所需参考资源，构架需要的系统、网络等软硬件设备，开展宣传和推广活动，进行人员培训等等。了解服务支出总数及各项支出情况，可为管理层进行经费预算和各类资源分配提供依据。②服务支出占参考咨询服务预算的百分比。数字参考服务是图书馆参考咨询服务的重要组成部分。了解它的支出占参考咨询服务的总预算的比例，同样可以为预算和资源分配提供依据。③服务支出占图书馆预算的百分比。本指标反映数字参考服务支出在整个图书馆预算中所占的比重。它可以与数字参考服务的产出进行对比分析，从而为确定数字参考服务预算提供依据。
3.3.2 产出指标
包括五个指标：①接收的问题数量。指在一定时间内通过电子方式接收的用户提问的数量。这个指标可以进一步细分为通过各种数字方式接收的问题数量，也可以按照一天、一周等时间周期进行统计分析（见3.2.1）。接收的问题数量反映了数字参考服务的规模和用户需求量。对于它的统计分析，有助于确定数字参考服务的具体方式、服务时间、推广策略等。②提问的解答数量。指在一定时间内对于用户提问以电子方式解答的数量。解答包括三种情况：一是给出用户需要的确切答案；二是告知用户解决问题的方法和可利用的资源，帮助用户自行寻求答案；三是指引用户到别处咨询。要注意的是，提问的解答数量并不一定等同于接收的问题数量。因为有些问题通过电子方式提出后，可能通过电话和现场咨询等传统的咨询方式得到解决。实际上提问的解答数量才真正反映出数字参考服务的工作量。③回答的问题类型。从提问的内容上来看，问题的类型可包括：关于图书馆使用问题、涉及某专题或学科领域的具体问题等。从问题的复杂程度来看，问题的类型可包括：有现成答案的问题、短时间可解答的问题、需要借助参考资料长时间查询方可解答的问题等等。还可以从解答所需要的知识、技能等等其它角度来统计问题的类型。这个指标反映了用户的信息需求的类型，可用于分析用户行为和信息需求，同时也是图书馆安排咨询人员和进行咨询人员业务培训的重要依据。④接收提问数量占参考咨询服务接受提问数量的百分比。这个指标指的是参考服务中接受的提问数量中来自数字方式的提问数量的比例。它反映了用户对于数字参考咨询的相对需求量。在传统的参考咨询方式和数字参考咨询并存的时期，如何寻求传统参考咨询和数字参考咨询的平衡点，如何进行资金和人员的分配是每个开展数字参考服务的图书馆都面临的一个问题。在一定程度上这个指标可作为解答以上问题的参考。当然这个百分比反映的是当前用户的相对需求，而不能反映潜在用户的需求。如果这个百分比太低，在考虑缩减数字参考服务的投入时，图书馆也应该考虑加强数字参考服务的宣传和推广力度，以发掘潜在用户。⑤服务人次占图书馆服务总人次的百分比。服务人次指用户使用数字参考服务的次数，同一用户多次使用可以累加。本指标反映了数字参考服务的工作量和用户量在整个图书馆中所占的比重，一定程度上反映了数字参考服务在图书馆的重要性和受读者关注程度。因此可作为管理层考虑各项工作的人员、预算分配时的重要参考。
3.3.3 服务效率
包括五个指标：①正确回答的百分比。确定问题的回答是否正确并非易事，实际操作时可以通过三种方法估算。一、取一段时间内的解答作为样本，所有的咨询人员共同对这些解答进行分析，确定正确回答的百分比。二、事先设计一些问题和问题的答案，在咨询人员不知情的情况下提出问题，计算正确回答的百分比。三、由外单位的专家对一段时间内的解答进行分析，以确定正确回答百分比。通过这些方式，我们还可以计算出每个咨询人员的正确率。本指标不仅可以反映数字参考服务的整体质量和各工作人员的水平，通过它还可以分析造成错误解答的原因，如参考资源质量差、工作人员素质较低等，进而作为参考资源订购、人员安排、业务培训等的参考。②用户等待时间占整个服务时间的百分比。本指标可以通过系统日志分析得出，它反映服务的及时性。通过对数据的分析，可以了解造成回答不够及时的原因，如咨询人员数量、服务的时间安排问题等，并以此作为调整工作安排的依据。③指示转向别处咨询的数量占咨询总数的百分比。所有的数字参考服务都受到一定的领域的限制。碰到无法回答的问题时，咨询人员通常会尽量将用户指引到能够提供帮助的其它图书馆等咨询服务机构。而用户之所以提出这种超出服务能力之外的问题，很大程度上是因为不了解数字参考服务的宗旨和有效提问的范围等服务政策造成的。因而指引向别处的问题数量在一定程度上可以反映用户对于数字参考服务政策的了解程度。如果这个百分比太高，则需要考虑加强对于读者进行有效提问范围等服务政策的宣传，另一个方面也需要考虑服务政策是否与用户的需求相符合。④服务对于用户的影响和作用。数字参考服务可能使用户节省了查找资料的时间，获得了平时难以得到的资料，也可能是获得了解决技术难题需要的信息等。当然咨询服务的作用往往很难评说，因为它的服务效果常常需要一段时间才能显示出来，而用户的跟踪和反馈也存在一定困难。但是如果能够获得这类信息，特别是对于用户有深远影响和重要作用的信息，将是非常有意义的，它可以反映服务对于用户的重要性，并可作为服务宣传的素材和向上级主管单位争取资金的理由。⑤现实用户占目标用户群的百分比。每个数字参考服务都有自己的目标用户群。有些图书馆，比如公共图书馆，要确定其目标用户数量存在一定困难，本指标难以计算。对于大学图书馆等目标用户明确的图书馆来说，了解真正使用数字参考服务的目标用户量则是非常重要的。本指标反映了数字参考服务在目标用户中的覆盖面和推广程度以及对用户的重要程度。同样可作为确定推广策略和资源分配时的参考数据。
3.4 用户满意度指标
用户满意度指标主要反映目标用户对于服务的满意程度。它包括有关用户的基础数据，以及用户对于服务的反馈情况，这些数据可以通过用户访问、问卷调查等方式获得。
3.4.1 用户基础数据
包括两个指标：①用户个人信息。包括用户的年龄、性别、受教育程度、身份等信息。各图书馆可以根据自身情况对用户进行分类统计，比如高校图书馆的用户可分为本科生、硕士研究生、博士研究生、教师、职工等。通过用户个人信息的统计，我们可以分析系统用户中的主要用户和相对次要的用户，通过与目标用户类型的对比，进而分析各类用户群体使用数字参考服务的状况和以及造成这种状况的原因。②用户的使用方式。指用户计算机所使用的操作系统和浏览器情况，这些可能影响用户向系统提交咨询问题。因此了解用户的使用方式，将可以事先估计用户提问时可能遇到的技术问题，在向用户推送网页或者解释一些操作步骤时能够有的放矢。同时对于用户使用情况的了解也有助于数字参考服务系统的设计和发展，使之保持与用户操作系统等的兼容性。
3.4.2 用户反馈
包括六个指标：①用户对于服务的了解程度。指目标用户对于数字参考服务的宗旨、服务时间、服务范围、服务网址、使用方法等的了解程度。要注意的是，这里指的用户不仅包括使用过数字参考服务的用户，还应该包括从来没有用过数字参考服务的用户。这一指标可为制定数字参考服务推广方案提供参考。②用户对于馆员服务的满意程度。这主要包括用户对于咨询人员解答的提问情况、咨询人员的服务态度和交流礼仪、回答问题的及时性等方面的满意程度。本指标对于评价工作人员的交流技巧以及从用户角度进行的服务质量评估非常重要。其统计数据可作为人员安排和培训的参考依据。③用户使用本服务的原因。用户使用数字参考服务的原因包括：看到服务宣传推广材料、别人的介绍、无法到图书馆进行传统咨询、时间上方便使用、以前曾获得满意的服务、没有其它选择等。通过对用户使用数字参考服务原因的分析，我们可以知道有些用户选择数字参考服务是因为对该服务比较满意，或者是从各种渠道得到关于该服务的肯定和赞许。这表明了对于服务质量的肯定，可作为服务宣传的素材和争取资金的理由。有些用户选择数字参考服务，则完全是因为喜欢数字参考服务这种方式，比如时间和空间的方便性。从这里我们可以分析偏好数字参考服务的用户类型，从而确定目标用户和宣传策略。④用户不使用本服务的原因。分析用户不使用数字参考服务的原因对于服务质量的评估非常有意义，据此可以对症下药改善服务效果。如果用户不使用的原因是对这项服务的了解不够，那么可以加强服务的宣传和推广。如果用户不使用的原因是不喜欢电子方式的咨询、或者缺乏相应的使用条件，则应该分析这类用户的特点，考虑如何在宣传中吸引他们。当然用户从不使用数字参考服务也并不都是一件坏事。因为有些用户可能没有咨询的需求，或者他们的咨询问题不在服务承诺解答的范围之内。⑤用户对于本服务的期望。指用户提交问题时对于将获得的解答的期望。这种期望主要包括：能够解答的问题类型、解答中提供信息的格式、解答问题所需的时间、问题解答的正确性、权威性和广泛性等。这些问题通常在公布的数字参考服务政策中有所说明，然而用户的期望往往和数字参考服务政策之间存在差距。造成这种差距的原因很可能是因为用户提交问题之前并没有看过服务政策说明，或者是看过服务政策说明后没有真正理解其含义，因而用户的期望主要出自于自我的需要，而没有受到图书馆公布的数字参考政策的影响。本指标可用以分析用户对于数字参考服务政策的了解程度，进而为确定服务推广策略提供参考；同时也可以使图书馆了解用户对于数字参考服务的真实需求，为服务政策的指定和修改提供依据。⑥对于改进服务的意见和建议。用户提出的对于改进服务的意见和建议反映了用户的需求，对于服务评估也非常重要。得到用户意见和建议后，首先应该确定这些意见和建议的合理性和可行性，然后根据目前的条件，采纳其中合理的意见，逐步改进服务，使它更好地满足用户的需求。
4 服务评估与质量控制中应注意的问题
(1)根据系统特点，选用合适的评估指标，设置合适的指标权重和评分标准。本文所设计的评估指标体系力求兼容多种类型的数字参考服务。但是由于数字参考服务类型多样、服务对象各异，不同的数字参考服务有不同的特点和要求。本文只设计了基本指标，没有给定各指标权重和评分标准。进行评估时可在本指标体系的基础上选取适合于本系统的指标，去除对于本系统而言不重要或者不适用的指标。比如公共图书馆的数字参考服务目标用户的数量是很难确定的，本指标体系中提到的“目标用户群中使用参考咨询服务的用户数的百分比”虽然很有意义，但是难以计算，应该删除该指标。各指标权重和评分标准也可以结合待评估系统的特点来确定。各级权重的系数建议采用德尔菲法咨询相关专家以确定。
(2)在质量评估的同时，注重服务状况的分析和用户行为分析。服务评估不仅要评价出服务质量的优劣，更重要的是利用评估中搜集的大量基础数据进行分析，为今后的工作决策提供依据。文中提到的许多指标都很有必要进行深入分析。比如“正确回答的百分比”这个指标，不能简单化得只算出正确回答的问题所占的百分比，还应该注意分析造成错误解答的原因，进而为参考资源订购、人员安排、业务培训等提供参考。
数字参考服务用户行为分析对于了解用户，提高服务质量是非常重要的。“使用数字参考服务的原因”等指标为我们提供了很好的用户行为分析的素材。通过分析可以了解用户的行为特征和信息需求，对于我们有针对性地改进服务具有重要意义。
(3)完善服务评估机制，有计划地进行服务评估，切实改进服务质量。服务评估是改进数字参考服务质量的至关重要的措施。应该将服务质量评估纳入数字参考服务体系中，作为一项常规工作来抓。在设计数字参考服务系统时，要考虑相应的数据统计和分析功能。咨询人员和管理人员在日常工作中应该注意数据的积累和定期的分析。可以制定详细的计划确定各项指标统计分析的负责人、周期和所使用的方法。通过日常的统计分析，发现服务的优势和不是之处，及时进行人员、服务措施等调整，改进服务质量。在各项指标经常性的统计分析的基础上，可以进行诸如一年一次的定期全面评估，从整体上评估数字参考服务的质量，以便使其沿着良性发展的轨道不断前进。