欧洲数字图书馆评价研究，本文主要内容关键词为：欧洲论文,数字图书馆论文,评价论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
欧盟信息社会第六框架计划（6th Framework Programme）（2002-2006）将研究（research）、评价（evaluate）、标准化（Standardization）、培训和技术转换（Training and Technology Transfer）、国际合作（International Cooperation）作为信息化社会建设重点，对数字图书馆予以倾斜性资助，使数字图书馆成为欧洲教育和文化遗产保存计划的重要形式。
1 欧洲数字图书馆评价论坛
欧洲数字图书馆杰出网络（DELOS）是欧洲信息科学和数学研究联盟下属组织。从1997年开始，DELOS在欧盟和美国国家科学基金（NFS）资助下，连续举办9次数字图书馆评价论坛，从评价资源、评价标准和评价方法等不同方面对数字图书馆评价展开全方位研究，以便引导和预测欧洲数字图书馆的未来。
1999-2002年DELOS完成三次大规模评价：跨语言评价论坛、元图书馆、数字图书馆INEX评价：XML检索测试版。
①跨语言评价论坛。欧洲数字图书馆具有跨语言、跨文化特点。当前互联网上非英语信息数量迅速增长。对于欧洲数字图书馆系统而言，跨语言信息整合和存取是在全欧盟范围内实现数字图书馆资源共享的关键。跨语言评价论坛作为全球性论坛，构成非英语数字图书馆测试和评价基础。跨语言评价矩阵和测试版是可以重复使用的评价数据。
②元图书馆和数字图书馆计划。DELOS的原创性数字资源，评价测试分布在四个层面：数据/馆藏、系统/技术、用户、使用。在欧洲数字图书馆测试套件中已有35个“元图书馆”，为新技术的研究和发展提供测试数据。测试套件是数字资源比较的基础。DELOS工作小组认为，应在全欧洲范围内建立共同的评价资源，形成具有整体特点的评价矩阵。
③INEX：XML检索测试版。数字图书馆文献多采用XML格式。在DELOS支持下，XML检索测试版：INEX（XML检索评价初始计划），也成为评价的基础性工作。评价资源的核心是1995-2000年出版的1.2万种期刊文章。
2002年DELOS论坛以“用户和用户界面、环境评价、矩阵和测试版、数字图书馆服务和规模化能力评价”为主题，提出数字图书馆分类通用体系，在类型划分的基础上设立评价矩阵。2003年第7届欧盟“数字图书馆评价”论坛以“降低评价成本”为主题，研究如何在欧盟各国建立大规模测试资源，通过欧盟项目为各成员国提供可以共享的数字化馆藏。
欧盟数字图书馆评价小组认为，评价不仅是技术实现问题，而且关系到评价群体形成问题。通过评价活动和评价论坛的经常性举办有助于形成数字图书馆评价群体。评价门户内容的不断更新，能够分享的测试版资源、矩阵和案例，使数字图书馆评价能够在更为广泛的社会技术上形成更大的社会影响。
2 数字图书馆评价环境
评价环境是多种社会因素相互作用的总和。数字图书馆评价环境包括数字图书馆建设目的、任务社会和物理等环境因素。此外还包括主题域、语言、文化、文献格式（文本，图像，声音等）等影响因素。数字图书馆评价环境还可以分为学术环境、商业环境和社会环境，以及更为广泛的栅格计算、语义网络、代理计算等大范围信息环境。
与环境相关的评价因素主要有：（1）用户和界面：特定环境对用户、主题域、语言、文化、格式（文本，声像等）的影响。（2）评价成本：不同环境对评价成本有不同的影响。（3）评价成本/效益分析。（4）评价方法：应具有可调适、可分享、可靠性特点。（5）评价目标：评价矩阵的效果和方法只有在特定目标指导下才能确定。
数字图书馆评价框架处于“面向系统”和“面向用户”之间，面向系统的评价对环境依赖较小，容易控制和重复进行，面向用户的评价对环境依赖性角度，有更多不可控制因素。环境直接影响着系统开发和标准制定。
图1 数字图书馆评价框架
3 数字图书馆评价因素
数字图书馆评价具有多层面、多侧面特点，研究内容可以分为三种类型：事实研究、价值研究和技术研究。事实研究通过对数字图书馆性质、特点等因素的概括，回答“什么是数字图书馆”的问题。“价值研究”属于评价范畴，包括对数字图书馆目的、价值和评价的研究，在系统开始过程中能够用于发现问题调整目标。价值研究回答“应该”的问题，具有思辨性和操作性。对数字图书馆目的、方向等问题的阐释，对系统功能的定量研究等都属于价值研究范畴。“技术研究”以事实和价值研究成果为基础，在操作层面提出具体实施方案。技术研究的本质是将观念、原理转化为可操作模型，使数字图书馆评价有章可循。
从评价本身来看，数字图书馆评价分为：（1）形成性评价：在项目开发初期确立目标、建立底线标准、设计最终结果。通常为环境和项目目标所驱动。（2）积累性评价：发生在项目结束之前，通过评价确定目标是否实现。形成性评价多发生在积累性评价之前。（3）交互式评价：在整个项目实施过程中，不断将项目结果与预期目标相互比较，以便在系统设计中吸收用户反馈信息。（4）比较评价：通过标准化评价方法和指标，对数字图书馆功能进行跨系统评价。
从数字图书馆评价本身来看，评价要素包括：（1）评价基础设施：包括共同标准、交互纪录集合、数据收集机构、综合性测试资源。（2）特定评价矩阵：数字图书馆评价多借鉴其他学科环境的评价方法，如信息检索、数据库、人机交互等，欧盟数字图书馆评价小组致力于适合于数字图书馆特点的整体评价矩阵建设，并在不同矩阵之间建立关联，以便提高数字图书馆整体评价能力。（3）环境评价技术：环境敏感性是对评价矩阵的基本要求，评价结论要能够反映环境特征。
欧洲数字图书馆评价矩阵工作小组（MWG）将数字图书馆评价对象概括为7个层面：（1）大规模系统和服务。（2）用户和系统。（3）用户努力程度和效果。（4）准确定位能力。（5）系统能力和通用工具。（6）单一使用者与系统兼容性。（7）数据集合内容和系统能力。
4 数字图书馆评价矩阵
从用户角度出发，数字图书馆评价发生在“使用”阶段。用户使用数字图书馆的行为主要通过“查询”和“获取”实现，在两个实用行为中都可以用“及时”、“充分”、“正确”和“用户努力程度”作为系统功能的评价尺度。
“及时”以系统运行速度为测度指标，其中含有主客观两方面因素。“时间”长短可用于客观评价系统功能，用户对“时间”的主观感受通过描述加以测度。
“充分”采用“查全率”（recall）指标。这一标准应用历史长，但只适合于范围较小的数字馆藏。查全率测度还要求用户对检索对象有充分的认识，在大规模信息系统检索能力评价中，查全率局限性较大，查询者对系统的理解直接影响着评价结论。
“正确性”即“准确性”。正确与否仍然分为主客观两方面因素。从主观上讲，系统检索结果的正确、可信、有用或可靠，取决于检索者个人经验。从客观上讲，检索结果的排序能够反映检索结果正确与否。
“努力程度”强调用户与系统的交互过程。客观矩阵（Objective metrics）强调检索的复杂性，包括用户与系统的交互次数及查询条件的正确率。主观因素指用户的主观感觉。
“请求阶段”（QUERY PHASE）测试通过收集大量用户问题，测试系统和用户界面的响应时间、数据流量、有用信息比例等，从而确定检索结果的正确程度、界面友好程度、检索目标和检索策略优劣等。界面可用性、查询复杂度及响应复杂程度与用户努力程度相关。
“信息获取”（RETRIEVAL PHASE）阶段通过对检索结果排序，评价检索结果的正确程度。用户请求难度、抽象性或复杂程度，用户与系统的交互次数等指标可用于揭示信息查询难度。
评价尺度 请求 检索
及时性请求准备时间 传递时间
请求回应时间
界面的回应程度
信息新颖性
充分性可用性信息显示的适当性
界面指南 可检索能力
覆盖面
实际返回率
预计返回率
正确性回应的正确性 检索的正确性
界面的力量
实际检索结果的准确率
预计的准确率
冗余
努力 界面的可用性 用户选择的努力程度
请求的复杂性
回应的复杂性
图2 数字图书馆评价矩阵
5 欧洲数字图书馆评价模型
5.1 评价脚本
脚本是对问题的简单陈述，可提供系统功能测试说明。脚本描述用以揭示对象“关联”、评价标准及完成请求、信息发现和建立关联所用时间。欧洲数字图书馆评价矩阵工作小组（Metrics Working Group）提出，评价脚本可用于描述数字图书馆6个相关现象：信息发现（请求和信息检索）、信息传递、未发现的信息使用者、图书馆管理、系统操作和其它，并提出用“可靠性”、“准确性”、“关联性”、“跨媒介”和“跨语言检索能力”测度不同现象的发展水平。基于脚本的评价是欧盟数字图书馆评价的重要形式。
5.2 测试版
测试套件是大量异质信息的集合，能够测试系统的交互能力。数字图书馆研究需要大规模馆藏和服务，测试套件可以减少研究障碍，为数字图书馆定量和比较研究提供标准馆藏。测试版还可以在分布式环境中，测试异质信息资源的交互能力。测试版和评价矩阵建设是在明确定义评价对象的基础上，通过多方面研究和实践者的参与形成的基础性评价活动。
5.3 英国电子图书馆工程（eLib）评价
英国数字图书馆与社会科学密切相关。电子版权资源许可项目以Elsvier经济学期刊的桌面式存取为研究重点，为英国高等教育界提供更加广泛的电子资源。大多数英国高校图书馆鼓励研究和技术人员，作为信息产品消费者、知识产权创造者和管理者，参与数字图书馆建设。英国高等教育资助委员会资助2000万英镑，计划用5年时间开发“高等教育数字图书馆”（eLib），其研究重点不是新技术开发，而是如何将信息和网络技术应用于高校图书馆工作实践。
电子图书馆工程以期刊资源、引文索引、灰色资料存取为研究重点。评价分为“创新”和“实用”两个方面。eLib项目以电子媒体和网络技术为基础，对高等教育改革和学术创新提供支持。eLib采取开放式评价方法，鼓励用户广泛参与。通过对技术和理念创新，更清楚地揭示数字图书馆发展方向。通过评价帮助系统设计者了解用户兴趣及所关注的问题。
ELib项目评价分为几个部分：执行或咨询小组、结构化和系统化反馈渠道、评价计划和设计。执行小组对项目具有决定性影响，其决策影响或改变着项目的发展方向，并能够促进评价结果在产品或服务中的应用。核心小组成员包括用户代表、学校高级管理人员、学科带头人、中间和终端用户代表（图书馆和教学人员）、出版商及其它相关领域负责人。
评价数据收集方法包括：调查法（面谈和问卷调查）、观察和实地研究、核心小组等定性和定量方法。电子图书馆项目是创新项目，中间有很多难以确定的因素。通过评价能够帮助管理者预测和计划未来，降低项目风险。
评价指标分布在项目期待、收益、投资回报和效果评价等不同层面。用户对组织价值链的期待成本对项目评价有决定性影响。评价者通过试验评价获取产品或服务市场潜力评估数据。创新性评价包含三方面含义：在项目开发过程中，采用形成性评价方式，在计划或应用阶段，采用总结性评价方式，在项目开发过程中，采用交互性评价方式，使项目参与者能够共同分享研究成果。
评价设计步骤分为：（1）结构化咨询与评价：设计用户（影响群体）关心的评价问题。（2）项目计划：安排不同的评价时间。（3）说明评价目的。（4）确定现有和预计数据来源：包括对管理信息系统的说明，前期评价成果的说明。（5）合作评价技术。
评价计划包括：（1）确定优先评价领域。（2）确定关键性评价问题。（3）确定评价方法和工具。（4）评价时间安排。（5）建立日常评价机制。保证所有合作者都能持续性获得评价信息。（6）分配评价资源。（7）设计评价任务。
eLib项目对英国高等教育改革产生了深刻影响，其影响力评价对英国高校图书馆的终身学习服务具有重要影响。
6 欧洲数字图书馆评价的启发意义
欧洲数字图书馆项目建设有其自身的特点。首先，重视数字图书馆建设和评价的国际合作。欧盟由不同语言、不同文化背景的国家和民族组成，是一个经济和政治的联合体。20世纪90年代前，欧洲图书馆数量多、规模小，系统联接和资源共享缺少国际合作。在信息技术发展过程中，无形加大了开发和应用成本。为改变这种局面，欧盟大力提倡图书馆之间的国际合作，在项目资助和政策倾斜方面鼓励各国联合项目。欧洲数字图书馆建设与美、日等国的合作，促进了跨领域、跨文化、跨语言数字图书馆系统的形成，对欧洲数字图书馆的资源共享起到重要的促进作用。
其次，欧盟十分重视评价的作用。欧盟数字图书馆建设以保存文化遗产为主要目的，项目开发注重实用性，在继承传统的基础上“存异”“求同”。项目成果评价以及普遍适用的评价资源、评价矩阵和测试版建设，始终是欧盟数字图书馆研究的重要内容。欧盟资助的数字图书馆评价国际论坛已成为世界各国研究者的交流平台。
第三，欧盟重视客观评价标准的建立。欧洲数字图书馆项目复杂，资金来源各异，欧盟、各国政府以及私人基金等不同机构和组织的资助，需要独立于各机构的客观标准，只有在客观评价的基础上才能在不同性质的数字图书馆项目之间展开比较。
第四，重视用户的广泛参与。评价在欧盟数字图书馆项目中不仅是价值判断的工具，而且是吸引用户广泛参与的重要手段。例如英国电子图书馆工程用户反馈渠道使更多用户关注数字图书馆系统研究方向，并影响到系统设计的整个过程。
第五，以教育为中心，用教育带动整个数字资源的市场开发。欧洲具有悠久的教育传统，教育成为信息市场的中心环节。欧盟认为数字化项目的最终目的是改进公民素质。教育成为数字图书馆发展的主要驱动力。教育不仅能够为公民提供学习的机会，而且能够促进公民间的相互理解，促进欧洲多元文化的不断发展。
欧洲数字图书馆评价成功地将这一新生事物推向市场。数字图书馆已成为欧洲高等教育、商业活动和其他社会行业的重要基础设施。大范围评价活动的展开体现着欧盟数字图书馆项目特色，客观的评价标准和评价成果成为数字图书馆发展的可借鉴实例，并使项目成果能够为更大范围用户所接受。评价对于欧洲数字图书馆未来的发展具有重要的预测和导向作用。