国外数字图书馆评价研究现状分析，本文主要内容关键词为：数字图书馆论文,现状分析论文,国外论文,评价论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
CLASS NUMBER G250.76
分类号 G250.76
1 引言
随着万维网和信息技术的飞速发展，数字图书馆数量呈指数级增长，数字图书馆的理论和实践研究取得了显著的成果。但是相较于数字图书馆数量的快速增长，数字图书馆的整体质量评价研究却没有引起足够的重视[1-3]。数字图书馆评价相对滞后于数字图书馆的发展，在数字图书馆研究中仅占有极小的比例[4]。在发现这一薄弱环节后，大量专家和学者都试图构建一个有效的数字图书馆评价理论框架，包括评价内容、评价理论与评价方法的选择、评价主体等一系列问题的研究。1998年的数字图书馆杂志(D-Lib Magazine)刊登了由美国计算机科学与通信局和国家研究理事会共同研究的关于数字图书馆评价的启发式报告，报告指出：即使达到最低限度的统计和绩效措施的共识，都是数字图书馆评价的一项重大进步。Borgman认为不仅数字图书馆的系统和服务需要标准，不同的数字图书馆之间也需要一系列整体的评价标准来进行比较[5]。但是现行的评价方法和评价标准一直在变化，因此很难获得一个标准的评价结果。此外，研究者多采用传统的信息检索和图书馆的评价方法对数字图书馆进行评价（例如采用信息查准率、界面友好性等指标），并不能反映出数字图书馆的独有特征。而对数字图书馆进行更深层次（例如数字图书馆怎样进入和改变人的生活）的研究也较少[6]。从以上阐述可知，如何科学、全面地对数字图书馆进行整体评价是数字图书馆评价研究中的重点内容。
目前，国内的研究大多是从用户、服务等单维度的角度出发，缺乏对数字图书馆进行全面整体的评价，为此笔者从系统的角度对数字图书馆评价标准的六个维度及评价理论框架、研究现状进行梳理和总结，以期为国内相关研究提供指导和借鉴。
2 评价标准
通过对数字图书馆评价的相关文献研究，以及对数字图书馆概念的分析，可以将数字图书馆的评价标准划分为几个方面。Borgman认为：①数字图书馆由电子资源和创造、检索、使用信息的技术组成，是管理数字信息和多媒体信息的信息存储和信息系统的加强和延伸；②数字图书馆的用户团体创建、收集、组织，用于支持信息需求及社区团体使用[6]。从这个定义中我们认为数字图书馆的评价应包括用户、技术、电子资源和元数据（内容）。Arms对数字图书馆的定义较为简单，他认为数字图书馆是一种与服务相关的信息管理，信息以数据格式进行存储并利用网络进行访问，因此评价中应包含服务。Saracevic在数字图书馆评价文献中还提到了评价环境(context)和界面(interface)，这也是评价数字图书馆不可缺少的因素[4]。综上所述，本文将数字图书馆的评价标准划分为六个维度：内容、技术、界面、服务、用户和评价环境（见表1）。
2.1 内容
尽管数字图书馆数据内容的评价非常重要，但是针对这个领域的研究仍然很薄弱[7]。只有极少数的研究是基于这个维度的。数据内容的评价标准从本质上可以分为四种类型：数字化对象、元数据、信息内容和馆藏。其中数字化对象是数字图书馆所独有的特征，因此在数字图书馆评价中被广泛使用。Kenne,Sharpe和Berger在《印刷插图的数字化需求》中对数字保真性加以说明[8]，Goodrum以及Jones和Payner提出了原始数据加工的适用性[9-10]。其他的三种类型通常与传统标准一起评价，如准确性、成本、信息性、可读性、易于理解、及时性等。此外在数字图书馆内容创新方面[11]，怎样为更多不同背景、需求不断变化的用户群提供合适的内容等问题弓起了研究人员的重视。
2.2 技术
数字图书馆的技术评价涉及两个方面：硬件和软件。后者多采用传统的基于相关性的绩效方法进行评价。M.J.Fihe将软件质量定义为所有描述计算机软件优秀程度的特性的组合。也就是说，为了满足软件的各项精确定义的功能、性能要求，符合文档化的开发标准，需要相应的给出或设计一些质量特性及其组合[12]。相应的，数字图书馆应用软件的软件质量就是反映数字图书馆应用软件产品满足数字图书馆用户规定需求和潜在需求能力的特征和特性的总和，它需要满足我们针对数字图书馆应用软件所设计出的一些质量特性及其组合。一些专家和学者以现有的软件质量评估模型中的质量特性为基础，并将它们具体化、量化，使之适合于数字图书馆应用软件的质量评估，成为可操作的指标体系[13]。而对于硬件的评价，则经常用到电子和通讯设备的评价指标，例如数字信息的显示质量和鲁棒性。此外，有些指标如可靠性、成本和响应时间，在软硬件评价中都有使用。
2.3 界面
界面评价是数字图书馆评价的一个重要维度。数字图书馆的界面是向用户介绍图书馆全面信息，提供利用图书馆的基本途径和方法，传递和反馈利用馆藏的结果，干预用户行为并能提供帮助信息的人与“馆”的媒介。因此界面的质量直接关系到用户对数字图书馆信息资源的利用，是衡量数字图书馆设计水平的重要依据。此外，与其他五个维度相比较来说，界面评价更倾向于使用框架和标准清单。Wesson采用多个视图确定界面相关性和实用性之间的数据差距[14]。Nielsen提出5个具体的可衡量指标和10项理论[15]。Dillon在《数字图书馆设计和评价的多层次框架——时间》中提出一个时间框架[16]。Mead和Gay利用概念图来作为数字图书馆设计评价的工具[17]。在这些研究中只有Nielsen的可用性要素被广泛采用[18]，这些要素包括：①易学性：界面是否易于学习；②交互效率：用户使用界面完成具体任务的效率；③易记性：用户搁置界面一段时间后是否伪记得如何操作；④出错频率和严重性：操作错误出现的频率高低、严重程度；⑤满意度：用户对界面是否满意。
2.4 服务
数字服务评价主要研究数字图书馆如何提供额外的需求辅助用户完成任务。Lankes,Gross & McClure确定了数字参考服务的六项评价指标，即准确性、礼貌性、满意度、认识度、重复使用和成本[19]。其他的标准来自于传统的面对面的图书馆服务评价指标，包括可获取性、可靠性、服务前后干预差异、期望与认知差距等等。此外，数字图书馆服务评价标准中还包括信息传输的时滞和通信隐形，如响应时间和用户控制[20]。美国研究图书馆协会建立的数字图书馆服务质量评估项目，即国家科学基金会数字图书馆DigiQUAL项目经过第一阶段的用户调查访问后，得到了与数字图书馆服务质量相关的12个主题。LibQUAL+TM项目从服务效果、图书馆环境、信息获取、用户个人控制、信息素质5个层面反映图书馆服务质量和服务效果的内涵。LibQUAL+TM将这5个层面作为一级指标，又用30个二级指标反映上述5个方面的内容，以实现对图书馆服务质量和服务效果的评价[21]。
2.5 用户
针对用户维度方面的评价，研究人员主要是基于用户的特征属性：用户信息行为变化，用户任务变化，用户的研究情况、工作、生活等内容。目前，在此维度大多数评价集中于个人信息检索和学习的实用性与效率[22]。经常用到的指标包括会话时间、任务完成的准确度、承认度、使用意图和满意度。目前我国的用户研究主要集中在界面设计和用户教育上，对用户评价的数据收集以及用户行为缺乏深层次的研究。如何从用户角度进行评价，将是数字图书馆评价面临的重要挑战。
2.6 评价环境
在数字图书馆评价实践中，评价环境维度研究是另一个薄弱环节。Borgman等认为，“数字图书馆建设本身并不是目的，利用数字图书馆进行数字资产管理、电子出版、教学和其他活动才是真正目的，因此数字图书馆需对具体的语义环境进行评价”[6]。尽管一些学术带头人指出其研究的重要性，但是到目前为止，只有少数的评价是基于环境研究的，包括版权的遵守和文化的保存与传播。除此之外，可持续发展也被提出来衡量数字图书馆的安全性——在扩大的同时是否还具有服务活力[23]。
总之，数字图书馆评价更多关注界面和用户维度。数据内容和评价环境维度得到的关注较少。很多标准都来源于传统的图书馆和信息检索领域，数字图书馆缺乏具体的、全面的评价标准，例如数字图书馆的信息和馆藏怎样结合，不同的数字图书馆怎样兼容，数字图书馆怎样支持用户之间利用多媒体进行信息互动，以及用户日常工作的变化怎样与数字图书馆应用联系在一起等。
3 数字图书馆评价理论框架研究
专家和学者一直致力于开发一个框架或者模型使数字图书馆评价标准化。在这些研究中，只有极少数提供多种维度上的数字图书馆评价标准：Kwak、Jun、Gruenwald的数字图书馆评价模型[24]，Fuhr、Hansen、Mabe、Miosik的DELOS评价模型[25]和U.S.DLI度量工作组的量化绩效标准[26]。Fuhr等提出了一个包含数据/馆藏、系统／技术、用户和使用四个方面的评价框架，对于每一个方面的重要特征进行描述，并建立了一个数字图书馆的元数据图书馆[27]。U.S.DLI度量工作组从时间性、充足性(Sufficiency)、正确性和努力程度对数字图书馆进行了评价。Saracevi在综合分析不同数字图书馆的定义后，提出了数字图书馆评价应涉及的指标因素：数字资源、检索、链接、组织结构、存储、元数据、管理、界面、交互、服务、帮助、安全性、法律问题、成本等[28]。Tsakonas和Kapidakis等进一步测试了数字图书馆组成要素（用户、内容系统）的交互作用。研究显示数字图书馆应该包含可用性、有效性和系统性能（结构、角度、标准和方法论）等评价要素和一些与数字图书馆评价相关的基本问题（为什么评价、如何评价、评价什么）[29]。
此外，几个大型数字图书馆研究项目已经开发出了数字时代通用的数字图书馆评价模型。
3.1 基于服务维度的理论框架：eVALUED项目
eVALUED(an evaluation toolkit for e-library developments,http://www.evalued.uce.ac.uk/)项目是由英国高等教育经费委员会资助的数字图书馆发展评价模型项目。电子信息服务评价指标框架是该项目所完成的主要内容之一，涵盖了数字图书馆的各个方面，是从整体上把握的数字图书馆评价[21]132。该项目将电子信息服务评价作为一个主题，划分为用户、存取、管理、资源4个分主题，又在各分主题下设子主题，子主题下又细分详细内容，从而给出电子图书馆电子信息服务评价的指标框架。通过4次大型反复的实践调查，eVALUED项目已在英国范围内的大学图书馆和学院图书馆内达成共识，并建立了电子信息服务评价程序与评价工具集。
3.2 基于评价环境和用户维度的理论框架：DeLIver项目
伊利诺大学香槟分校的DeLIver(Desktop link to Engineering Resources)项目是DLI-1的一个子项目，DeLIver研究用户怎样在印刷和数字环境中识别、检索、阅读和使用论文资料，它涉及50多种科技类期刊的论文全文[30]。项目小组从人文科学角度研究信息系统的使用情况，根据工作和用户行为评价数字图书馆的可用性。该项目对一千多名伊利诺大学香槟分校的教职工和学生使用资源的有效性、及时性、用户努力程度、可获得性、效果和可用性进行评价。
3.3 基于服务、用户及维度的理论框架：ARL研究项目
1990年，ARL(Association of Research Libraries)制定了《学术图书馆绩效评价标准》，包括用户满意程度、藏书的提供与使用、机器设备的使用情况以及信息服务等4大类15项标准[31]。2000年7月，ARL E-Metrics项目开始，目的是开发一套核心网络统计量和绩效指标。根据在16家图书馆书开展的实地测试的结果，该项目提出了一套网络统计量和绩效指标。E-Metrics指标体系共有20个项目，其中包括4大类17个统计量，另外还有3个推荐使用的绩效指标。2000年，ARL推出了LibQUAL+TM评价模型。LibQUAL+TM提供了对图书馆服务质量的客观评价方法，通过重复测试来监控和检测服务质量的改进实效，以用户满意度作为衡量服务质量的重要标准，体现了“用户至上”的服务理念。SCONUL等就利用了LibQUAL+TM的调查来提高服务水平。通过四次实验而最终形成的3维度22指标的LibQUAL+TM被证明对图书馆服务具有很强的适用性。此后，这一评价模型除被应用于美国的绝大多数州外，还被翻译成各种语言应用于其他国家，这些应用均对LibQUAL+TM表现出良好的认同。
3.4 基于多个维度的理论框架：EQUNTOX项目
欧洲提出的EQUNIOX(Library Performance Measurement and Quality Management System)项目致力于图书馆绩效指标和质量测度的开发。其主要目的是扩展ISO 11620，使之适应电子图书馆评估的需要[32]。该项目包含四项主要成果：①一套绩效评价指标，包括计算指标的方法指导；②用于评价绩效的软件；③质量管理框架；④XML的数据类型定义(DTD)，用于解决数据互操作性问题。
3.5 其他理论框架
其他的框架研究主要是基于单一维度评价的。例如Dillon的时间框架模型、Mead和Gay的评价工具、Wesson和Greunen用于具体的界面评价的可用性指数，以及White提出的基于分析和评价的描述性数字参考服务模型。Scott Nicholson在《基于数字图书馆全面测量和累计评价的概念框架》中提出一个基于用户和服务全面理解的概念性理论框架，并通过建立一个综合评价标准为数字图书馆不同的参与者提供决策支持。
4 研究结论
通过对数字图书馆评价标准及理论框架研究的回顾和评价，可以发现该领域研究的总体现状及存在的不足：①数字图书馆的评价标准的研究视角多样，并未形成标准的评价方法；②研究方向大都聚集于用户维度，其他维度如评价环境的研究被忽视；③缺乏全面的、定性与定量相结合的理论框架及评价指标体系。因此，尽管存在大量的研究成果，但该领域仍有较大的研究空间。本文从系统的角度分析未来的研究空间，认为主要包括以下方面：
4.1 数字内容评价及评价环境维度的研究
目前各类数字图书馆都在不遗余力地进行数字资源建设，加大了数字资源的投入。但是，一些图书馆在进行数字资源建设的过程中，往往贪大求全，导致了数字资源的重复建设，加大了成本。因此，如何对类型多样、价格不菲的数字资源内容进行科学评价，以保证数字资源的高效利用和馆藏资源结构的优化已成为数字图书馆资源建设中的一项重要工作。而对于数字图书馆的评价环境研究则可以分为：①以系统为中心的评价途径，包括绩效评价、效果和效率评价；②以人为中心的评价途径，包括对特定信息需求行为的研究；③以系统能力为中心的评价途径，包括对系统特征的评价，尤其是对门户网络的评价。
4.2 深层次的用户行为分析
从研究数字图书馆的结构和服务功能入手，比较分析用户需求和动机，对数字图书馆用户入馆的时间、用户心理、用户访问方式及访问的内容进行研究。数字图书馆作为信息服务机构，最重要的是要了解用户心理、懂得用户动机和理解用户行为，从而满足用户需要。所以，应该深入展开对数字图书馆服务和用户的研究，有针对性地解决用户在利用数字图书馆资源时遇到的困难，提高数字图书馆的服务质量和服务效率，更好地推动数字图书馆的建设。
4.3 全面的、完整的评价理论框架体系及评价指标体系构建
数字图书馆的综合评价是当前数字图书馆评价研究的重要内容，是认识和管理数字图书馆的重要措施，它具有诸多不确定性，尚缺乏具有系统性和可操作性的理论框架。笔者建议通过组合评价方法、决策分析评价方法和层次分析方法等多种方法的联合应用，将多层次多维度的评价指标转换成单层次一维系统评价指标。该过程需要充分挖掘反映数字图书馆评价的主要特征信息及价值判断信息，需要定性分析和定量计算综合集成的可操作的综合评价方法，最终构造出完整的综合评价理论框架体系。
自20世纪90年代以来，数字图书馆取得了显著的进展。虽然距其发挥全部潜力还有很长的一段路要走，但是数字图书馆目前已经“成熟”，除了评价，关于数字图书馆的其他研究，无论在理论上还是实践中，都取得了较大的进步。在对国外数字图书馆评价标准和框架的相关理论进行研究的过程中，笔者深深感到目前数字图书馆评价缺乏科学的、全面的评价和质量控制机制。国内现有的数字图书馆评价更侧重于单维度的评价，如电子资源的计量和使用评价及具体系统或服务的评价、开发系统评价等等。因此难以从系统的角度把握和控制数字图书馆的资源建设、服务效果及效益。数字图书馆迫切需要一套完整的、定性与定量相结合的整体评价理论框架体系。在现有的少数几个框架中，大部分框架构造是巩固专家的意见，研究现有的数字图书馆结构、建设和评价标准，或者依靠研究人员自己的观点。框架的有效性因为排除最终用户的意见或者超出数字图书馆层次的范围而被削弱。因此笔者认为，在数字图书馆整体评价理论框架研究中不仅要注意提出什么样的框架，更重要的是了解框架的开发过程，这样就可以知道这个框架是否有效，是否可以移植到其他环境中去。