图书馆数字资源后评估初探，本文主要内容关键词为：图书馆论文,数字论文,资源论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
1、图书馆数字资源后评估的含义及其重要性
图书馆数字资源的后评估，是对数字资源评估体系中相对于资源采购前的预评估而进行的有关资源使用情况的评估[1]。图书馆数字资源的预评估，包括对数字资源内容的数量、质量，检索系统的功能、数字资源存档、数据库商的服务等，而图书馆数字资源的后评估，是从用户使用的角度，对数字资源系统的内容、功能进行重新评估，对数字资源的用户访问情况、利用效果情况进行调查分析，从而重新审视数字资源的质量、图书馆资源建设投入的经费/效益，并以此来作为修正图书馆资源建设的科学决策依据，调整图书馆后续购买、开发数字资源的策略，向数字资源提供商提供改进服务的意见。
随着网络和计算机技术的发展和我国数字图书馆建设的展开，数字资源逐渐成为图书馆信息资源建设的重要组成部分，据美国研究图书馆协会统计，数字资源的费用占其文献费用的20％，近年来，我国各类图书馆在数字资源建设方面的投入也呈现上升趋势，一些科学图书馆也基本达到数字资源的费用占其文献费用20％左右的水平。
图书馆数字资源的后评估对于以用户为中心的数字图书馆建设和服务模式而言，尤为重要。图书馆数字资源的后评估是数字资源建设过程中，数字资源评价的重要一环，是数字图书馆效益评价必不可缺的内容，也是数字图书馆改进资源建设和服务质量的参考依据，是调整和优化数字资源建设和开发决策的重要依据。
(1)有利于信息资源建设和开发的科学决策，使图书馆有限的经费得到有效的应用。通过对数字资源的访问统计，可以了解图书馆数字资源的使用情况，了解用户对数字资源的访问模式及其需求趋势，经过与数字资源的成本分析比较，调整对不同类型数字资源建设与开发的决策，在资源建设方面体现以用户为中心的服务宗旨，使得图书馆有限的资源得到最有效的应用。
附图
图1 商用数字资源系统购买中的数字资源后评估
附图
图2 自建、开发式数字资源和网络资源导航系统中的数字资源后评估
(2)有利于针对用户需求，促进数字资源的整体优化。由于图书馆20％的资源满足了用户80％的需求，图书馆可以根据数字资源的访问情况的统计分析，促进数字资源的整体优化建设：调整数字资源的学科分布，调整参考数据库、全文数据库、事实数据库、电子期刊、电子图书、自建数据库、网络信息导航的比例，使其结构逐步优化，更大程度地符合用户需要，从而调整采访策略，改善图书馆资源结构。
(3)有利于了解用户的访问行为，改善图书馆服务。通过对数字资源结构的调整和使用情况的分析，了解图书馆在资源宣传、服务中存在的问题，促进检索服务、咨询服务、培训服务的开展，使电子资源及其服务更符合用户需要，从而提高其利用率，降低成本。通过了解用户的访问行为，可以为图书馆网站的信息构建(IA)提供参考，提高图书馆网站的易用性。
(4)有利于图书馆绩效评价工作的完成，促进图书馆科学管理。近年来，为了加强对各个图书馆绩效的评价，高校图书馆系统、科学图书馆系统和公共图书馆系统都展开了相应的评估工作。各个图书馆要客观地完成评估表格，非常需要对图书馆数字资源的使用情况进行统计，提供真实客观的评估依据。
2、图书馆数字资源后评估的内容
2.1 图书馆数字资源内容质量的后评估
在图书馆购买数字资源前期，往往有对数字资源的内容(包括数字资源的总体数量收录情况、学科收录范围、数据来源情况和数据库之间的重复情况等)和检索功能的预评估，从而决定是否购买该资源。由于数字资源提供商往往仅提供有限的试用期，数字资源系统中所收录期刊的变动，数字资源服务系统有可能改变访问界面等因素，在购买了相应的数字资源后往往需要对数字资源的内容质量进行后评估，尤其需要关注的是：
对于购入式数字馆藏，需要评估数字资源所收录信息的质量；所收录信息是否为该学科核心刊物；信息的描述与组织方法；收录一次文献信息的数量；一次文献收录的变动情况；数据库的更新频率(时效性)；馆藏数字资源结构的合理性等。
对于自建式/开发式数字资源，要考虑选题的新颖性、针对性、特色性，数据内容的准确性、完整性，描述的规范性等。
2.2 图书馆数字资源系统的可用性评价研究
可用性[2] 是交互式IT产品(计算机软硬件、网站、信息家电、仪器设备等)系统的重要质量指标。ISO-9241-11国际标准对可用性作了如下定义：产品在特定使用环境下为特定用户用于特定用途时所具有的有效性(effectiveness)、效率(efficiency)和用户主观满意度(satisfaction)，这是指产品对用户来说有效、易学、高效、好记、少错和令人满意的程度，即用户能否用产品完成他的任务？效率如何？主观感受怎样？
图书馆的数字资源服务系统也是交互式的IT系统，同样也需要用可用性来进行评价，其可用性的评价往往可以从三个维度：有用性、易用性和满意度来展开。其中有用性，是数字资源能使用户完成他的工作或特定任务的程度；易用性，指如何能让一个用户很快变得有创造性，一段时间不用后，能很快学会再次使用；满意度，指用户喜欢该数字资源的程度，以及用户的意见、感知、心里感受。
其中数字资源的易用性可以结合数字资源系统的信息构建(IA)方面展开，评价数字资源的导航功能、知识组织体系的合理性、数据库系统的检索功能等，有用性和满意度需要结合用户满意度调查、引文分析等进行定性评估。
2.3 图书馆数字资源的访问情况统计
计算机技术和网络技术对跟踪记录图书馆数字资源的访问情况提供了便利。通过数字资源访问情况的统计，可以了解什么被使用？谁在使用？如何使用？什么时候使用？为什么使用？哪些资料经常被下载？哪些资料被检索最频繁？资料检索来自哪些单位？哪个单位使用量最多等问题，通常采用数字资源提供商提供的访问统计数据与对图书馆网站及自建数字资源的访问统计相结合的方式。
2.4 图书馆数字资源使用效果评价
图书馆数字资源质量的评价，在前评估中已经针对图书馆数字资源的收藏范围所覆盖的核心期刊范围进行过评估，在后评估主要针对图书馆数字资源系统的利用效果进行分析。
图书馆数字资源的质量主要是指图书馆数字资源所收录的期刊是否是图书馆所服务学科的核心期刊；图书馆数字资源使用效果，就是图书馆订购或者建设的数字资源是否对图书馆用户的科研活动起到了帮助参考作用。
这可以用定性和定量相结合的方法来进行评价，定性的方法可以采用用户满意度调查方法，定量的方法可以结合引文分析的方法，分析图书馆数字资源对用户发表论文的参考文献的保障率。这种做法，经过中科院文献情报系统创新试评估试验，被证明是一种比较客观的评价图书馆数字资源使用效果的方法。
2.5 图书馆数字资源效益评估
将图书馆数字资源的访问情况与图书馆本学科用户群的人数占所有用户数的比例以及该数字资源的花费结合起来进行考虑，其中数字资源的成本包括全文电子期刊的成本、电子参考资源的成本、电子书的成本、图书馆对书目设备、网络环境等相关设备的花费、图书馆对自建数据库的投入等。
对于图书馆数字资源的效益评估ARL的EMETRIC[3] 项目提出了网络资源和相关设备的花费指标。包括：C1全文电子期刊的成本、C2电子参考资源的成本、C3电子书的成本、C4图书馆对书目设备、网络环境等相关设备的花费、C5对书目设备、网络环境等相关设备的外部花费。
上述指标只是仅仅给出了数字资源的成本，要真正考虑数字资源的投入产出效果的评估，还要结合数字资源的访问数量、数字资源的使用效果，并结合图书馆法定用户中数字资源所面向学科的用户人数来考虑。
数字资源的效益评估是图书馆数字资源评估工作的难点，同时也是比较关键的方面。
3、图书馆数字资源系统后评估的方式
3.1 对比分析法
3.1.1 对比分析不同数字资源的内容质量
可对正在使用中的数字资源围绕数字资源的数量、学科收录范围、数据来源情况和数据库之间的重复情况、数据更新周期、核心刊物收录情况、收录一次文献信息的数量；一次文献收录的变动情况；数据库的更新频率(时效性)等进行对比分析。
3.1.2 信息构建的对比分析
数字资源的可用性评价可以分为功能、效率和满意度几个方面。其中，可以利用IA评价进行图书馆数字资源系统的功能的后评估，效率和满意度可通过用户满意度调查来实现。
信息构建(IA)是“组织信息和设计信息环境、信息空间或信息体系结构，以满足需求者的信息需求的一门艺术和科学。”[4] 信息构建包括调查、分析、设计和执行过程，它涉及到组织、标识、导航和搜索系统的设计，目的是帮助人们成功地发现和管理信息。
利用信息构建进行评价，所包括的指标[5] 主要有全局导航、局部导航、语境导航、补充导航、分类体系、检索系统、标记系统。
选定几种目标资源，就上述指标展开对比分析，可以从数字资源的导航、检索、知识组织体系、整合链接等方面对数字资源的可用性方面的基本功能进行评价比较。文献[4] 中就制定了利用信息构建评价数据库网站的指标，并对我国四大数据库网站从信息构建角度进行了评价研究。
当然，系统的可用性还包含上述信息构建指标所未能包含的内容，如：数字资源是否提供其他用户使用的功能，比如Alert、mylibrary、保存检索历史等。这些再对比时可以作为补充的指标考虑。
3.2 用户满意度问卷调查法
用户满意度是用户接受信息产品和服务的实际感受与事先期望比较的程度，不能用信息系统自身的各项技术指标作为用户满意度的测评因素，而应从用户实际使用的感受中，从用户的需求与期望中判断选择测评因素。用户的满意度通常需要采用问卷调查法进行调查。
问卷调查法。它是将所需要的信息转换成被调查者可以回答并愿意回答的一系列具体问题，在一张问卷中得到系统反映，并通过网络或人工等方式发放问卷进行调查的一种方法[6]。在社会统计学中，当调查总体很大，个体分布很广，分层较多，人员又很分散时，应优先选择以抽样调查法及书面问卷调查形式为主进行调查。在一定意义上，可以起到全面调查的作用，而且又能从方法学上确保调查结果的科学性。
在调查问卷的设计过程中，要遵循以下原则：
(1)回答方便。调查表结构符合逻辑，层次分明清晰，问答题的措辞明确简单，使被调查者容易理解，方便作答。
(2)防止偏见。调查表防止使用形成单一答案的提问，避免问题设计中带有个人看法，以影响被调查者的看法，从而起到诱导作用。
(3)问题设计合理。在问题设计中，保证每一个问题的答案之间应具有穷尽性，也就是说，所列答案要能包括所有可能的答案，没有遗漏；其次，答案之间应具有互斥性，即指一个问题的答案之间不能相互重叠和互相包含，具有唯一性。
在问卷的结构方面，整个问卷的设计包括以下三个部分：①封面信，是一封致被调查者的短信，用于说明调查者的身份和调查目的等；②指导语，即用来指导被调查者如何正确填答问卷；③问题及答案。在问卷中，主要采用封闭式问题为主，开放式问题为辅，两者相结合的形式，保证在获取大量定量材料的同时，以一些丰富生动的定性材料对问题的回答作深入研究。在封闭式问题的设计中，主要采用的形式有：填空式、多项选择式和关联式。问卷调查可以采用函询、当面发放调查表、网上调查等方式。
目前国内有多家图书馆已经采用问卷调查法进行对图书馆服务和资源的用户满意度问卷调查(如清华大学、中科院文献情报系统等)，这些单位的用户满意度调查中，往往将数字资源的用户满意度调查作为调查的一部分内容，限于篇幅等原因，对数字资源质量和用户对数字资源的满意度调查不太深入。
另外还有一种做法[7] 是直接在图书馆网站上，提供数字资源服务的导航网站页面，在每一种页面上提供用户发表意见的提交表单接口。这样，用户在使用某种资源的过程中，出现问题或者有意见就可以直接通过提交表单的方式反馈给图书馆员，图书馆员定期分析这些意见，就可以对每种数字资源的用户评价意见归纳分析，进行数字资源使用满意度的后评估。
3.3 引文分析法
引文分析法在图书馆工作中，可以被用作评价馆藏结构的方式，也可用来评价馆藏资源的利用效果(或者称作引用文献保障率)。
中科院文献情报系统创新工作试评估中[8]，就采用引文分析法来对各馆的馆藏进行评价。具体做法如下：
(1)利用引文分析法评估各馆学科核心文献(中、英文)资源(包括馆藏印本文献、电子资源)的保障情况，其中，馆藏印本文献包括：期刊、图书、会议录；电子资源包括：订购网络全文数据库、光盘数据库。根据SCI、ISTP中馆藏期刊和会议文献所占比例，即采用如下指标：SCI中馆藏期刊种数/SCI收录期刊种数、ISTP中馆藏会议录种数/ISTP收录会议来评估。
(2)利用引文分析法评估馆藏资源的利用效果(或者称作引用文献保障率)。具体做法：由评估单位的主要服务研究所提供当年10篇最优论文，对这些科研论文引用文献收藏(包括印本、电子文献)情况，根据引文中馆藏文献数量占全部引文数量比例进行分析。所采用的指标是：引文中馆藏文献数量/全部引文数量比。
这种做法创新性地将引文分析法应用于图书馆评估工作，采用抽样统计的方法，具有较好的可操作性。实践证明，这种方法是图书馆资源建设评估，尤其是数字资源后评估中对数字资源系统结构和数字资源利用效果进行评价的可行的、有效的、科学的方式。当然在这种做法中，核心期刊的比较对象可以根据各个图书馆的性质选定SCI、EI、SSCI或者中国科学引文索引等不同的对象。
3.4 利用网络日志
Web服务器日志纪录了web server接收请求以及运行状态的各种原始信息。通过对这些信息的统计、分析与综合，就能有效地掌握服务器的运行状况，诊断差错事故、了解访问分布等，加强系统的维护和管理。
通过对服务器日志的分析可以得到以下信息：(1)通过对访问时间进行统计，可以得到服务器在某些时段的访问情况；(2)对访问者的IP进行统计，从中可以判断主要是哪些用户在访问web server；(3)对访问请求的错误进行统计和分析，可以找出有问题的页面加以改正；(4)对访问者请求的URL进行统计，就可以判断出读者对哪些页面的内容最感兴趣，对哪些页面的内容不感兴趣，从而对网站的内容和形式做出相应的调整，这一点对网站的维护人员来说显得尤为重要；从日志文件提供的信息中对访问时间段、访问请求URL、状态代码、访问者的浏览器类型等信息进行统计和分析，就可以对整个网站有一个数字化的、精确的认识，从而对网站的设计和内容改善和调整，并且使问卷调查更具有针对性，使图书馆网站更好地为读者提供服务。
利用网络日志分析的方式，基本可以分为由出版商直接提供访问情况统计报表、利用代理服务器或者图书馆根据自身需要自行开发的方式，也可以采用一些开放源码的工具比如AWStats、webalizer等进行分析。
在获得某一资源的访问情况后，结合数字资源的成本，就可以进行数字资源的成本效益分析。
使用网络日志分析的方式简便易行，省时、省力，不需打扰读者，在一定程度上统计结果与事实比较接近，可信度较高。故应选择此方式作为图书馆数字资源后评估工作中用户使用情况的重要信息来源。
4、存在的问题
4.1 重视不够
由于我国数字图书馆的建设起步时间不长，对于数字资源的评估往往比较重视在资源采购前，对后评估工作的重要性重视不够。这与我国数字图书馆发展的阶段有关，随着数字图书馆建设的发展，各个图书馆都将面临着对所定购的数字资源的续订/停定策略以及数字图书馆建设中自建资源建设策略的决策调整，针对数字资源内容、可用性、使用情况、使用效果、数字资源效益等方面的后评估理应受到图书馆界的重视。
4.2 评估指标的标准化
对于数字资源的评估指标(包括前评估和后评估)，目前CALIS制定了《高等学校图书馆数字资源计量指南(2004年)》，但这只是高校系统针对数字资源数量统计的一个指南性文件，对于数字资源的内容、可用性、使用情况、效益评估等尚没有系统的适用于国内图书馆界的指标体系，这样就给图书馆自身的纵向对比，图书馆间的横向对比带来了困难，因而，也影响了数字资源评估对于图书馆决策的影响力。
4.3 对数字资源的评估理论研究不足，实践不够
目前，国内对数字资源的评估方法、评估内容指标体系的研究不足，尽管近年来大学图书馆系统、科学图书馆系统、公共图书馆系统已经展开了图书馆评估工作，但对于数字资源评估的理论研究不足，对于评估的方法、内容指标的研究滞后，在实践上，所采用的评估方法和指标未能充分体现数字资源及其利用的特点，未能充分利用信息技术进行评估。
总之，在我国数字图书馆发展的初级阶段，数字资源评估及后评估的重要性已经显露出来，图书馆界应该加强对于评估和后评估的重要性的认识，加强对评估理论的研究，逐步简化并完善系统、一致、科学的、可操作的评估指标体系，利用现代信息技术提供的便利，展开数字资源预评估和后评估工作，为图书馆科学决策提供参考，促进以用户为中心的数字图书馆建设的发展。