论数字资源评价/评估研究，本文主要内容关键词为：评价论文,数字论文,资源论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
[分类号]G250.7
1 国内外数字资源评价/评估研究现状
1.1 国内相关研究现状
通过对CNKI、维普中文科技期刊和万方期刊等数据库的检索可知，国内有关电子资源和网络信息资源评价的论文有30余篇。其内容可以分为两大类：①介绍国外有关网络信息资源评价的综述性或述评性论文。如王宏鑫和邱均平教授的“21世纪文献计量学的发展趋势”[1]；张咏的“网络信息资源的评价方法”[2]。②提出网络信息资源评价的指标。如肖珑和张宇红的“电子资源评价指标体系的建立”[3]等。相关的研究项目，则只有肖希明的国家社科基金项目“面向21世纪的中国图书馆藏书发展政策研究”[4]。概括地说，我国在各类信息资源的评价指标体系构建方面已经取得了一些成果，但有关信息资源服务绩效指标体系的建立及其评估、测定等方面的成果还非常少。这可能与国内有关数字图书馆的研究还不深入，以及理论研究与实际建设相脱节，而且国内多数图书馆数字资源较少有关。
1.2 国外相关研究现状
国外对数字图书馆及其电子资源的研究较国内起步要早。其研究的侧重点与国内也不尽相同。通过对Emerald Full text、EBSCO等国外数据库和Coogle进行检索可知，国外有关电子信息资源和服务绩效评价已有近10年的历史，这方面的文献和项目相对国内要多得多。研究的问题主要集中在传统图书馆与电子图书馆服务绩效的评价、评价指标体系的建立及其有关标准的修订、绩效评价与质量管理等方面。有关的研究项目及团体如：EQUINOX（The European Commission资助的欧洲图书馆绩效评价和质量管理系统项目）[5]、ARL（美国研究图书馆学会）和ICOLC（国际图书馆联合体联盟）等。通过对ISI Web of Science的检索发现，John Carlo.Bertot，Charles R.Mcclure，Joe Ryan，Roswitha（德国）等参与了多项研究项目或发表了多篇论文。从2002年8月第4届和2003年7月第5届诺森伯兰图书馆绩效评价国际会议的主题和所提交的论文看[6]：电子资源的评价和选择、评价的战略使用与绩效测定、21世纪图书馆绩效的评价、绩效指标的验证与完善、电子资源的成本使用效率比较等已经成为研究的热点。
总体来看，国内一般较注重理论研究—如评价指标体系的建立、评价方法的研究等。国外则在进行理论研究的同时，侧重于应用和对实践的指导。例如，他们对于评价指标的获取、统计分析和验证研究较为深入具体。同时，国外许多研究是通过绩效评估采验证信息资源质量的，进而实现对其质量的管理，而不是单纯地用某个指标体系进行定性分析或定量评价。
2 评价/评估的方式与方法
目前，国内图书情报界对于数字资源的评价分为两大类：①对各类数字资源质量的评价。②对数字资源服务绩效的评估。对质量的评价，一般注重信息资源自身的价值，如学术性、权威性等。对服务绩效的评估，多侧重于实际使用效果，如利用率、服务与管理成本等。
2.1 数字资源的评价方法
2.1.1 对网络信息资源（包括网站）的评价 这一类文献较多，如蒋颖的“因特网学术资源评价：标准和方法”[7]，南京大学信息管理系张咏的“网络信息资源评价的方法及指标”[8]。其中，上世纪末的多数文献主要是对评价指标体系的建立进行研究，而本世纪初的文献主要是对评价方法进行探讨，如邱燕燕的“基于层次分析法的网络信息资源评价”等[9]。
2.1.2 对数据库质量的评价 图书情报界对书目数据库、文献数据库、特色数据库建设质量的评价即属于这一类型。如黄晓斌的“论文献数据库的质量控制”[10]。
2.2 数字资源服务的评估方法
我国图书馆界对数字资源服务绩效评估的研究还很少，因而这方面的文献也不多见。相反，国外图书馆关于服务绩效评估的项目、研究和会议均比较多。这说明，我国图书馆数字化建设还处于初级阶段，对质量与服务效益的评估还没有引起人们的重视。不过，一些数字化程度较高的图书馆和学者已开始关注这一问题。从已有的文献看，目前这类评估大致可分为两种方式：
2.2.1 对两个或两个以上的数字资源进行具体的比较 例如“中文电子图书比较研究”一文[11]，对国内几种电子图书数据库进行了具体比较，内容涉及到数据库网址、服务商、电子图书数量、学科范围、提供年代、分类标准、检索界面、制作质量等项目的比较。这种比较基本上是一种个案比较研究，由于数据库的差异性，比较的项目在不同的数据库中差别比较大。同时，这种比较一般侧重于系统和软件的比较，对于资源的学术质量注意较少。
2.2.2 对某类数字资源建立一套评估指标体系 如：肖珑和张宇红在文献[3]中提出了一套比较系统的评估方法和指标，给出了电子资源内容、检索系统及功能、使用情况、价值与成本核算、出版商/数据商服务、存档6个方面的评估内容和指标。在价值与成本核算部分，给出了数据库价格、数据库价格上涨幅度、检索成本、全文下载成本和登录成本等指标。
3 评价指标体系建设及其存在的问题
3.1 评价指标体系
对网络信息资源质量的评价，许多学者从多种角度建立了不同的指标评价体系。这不是本文的重点，在此不再论述。下面主要就数字资源的评价/评估指标体系作一比较。目前，比较有代表性的文献有3篇：
· 盛小平在“数字图书馆馆藏评价”一文中指出：由于数字图书馆馆藏可以分为实体馆藏和虚拟馆藏，因此，其评价指标体系也可以分为实体馆藏评价指标和虚拟馆藏评价指标[12]。
· 刘锦山在文献[7]中提出了一套e线圈情数字资源评估指标体系，由15个指标组成，并对每个指标给出了定义、公式、公式说明和示例。
· 肖珑和张宇红在文献[3]中建立了一套“电子资源评价指标体系”。
从这3篇文献看，盛小平从数字资源构成角度出发，对实体馆藏和虚拟馆藏建立了评价指标体系。从其所建立的指标体系看，主要反映了某种数据库资源内容的质量和服务系统情况，偏重于质量因素分析和定性评价，实际可操作性不够强。
刘锦山实际上是参照巧ISO11620《信息与文献—图书馆绩效指标以及补充本1：补充指标》，对数字资源的服务绩效提出了一套评估指标。其主要思想是依据数字资源的利用率和数字资源的购买与管理成本来反映其质量。其所列举的15个指标，可以较为全面地评估一种资源的利用情况。该指标体系可操作性较强。但也存在如下4点不足：①仅从利用率和购买、管理与服务成本分析评价一种资源的质量是不够全面的。如数据库的利用率与用户培训情况、数据库所用设备情况、网络情况都有关系，这些因素如何量化？②15个指标中部分指标所反映的情况有重复。如目标读者使用率与目标读者人均使用次数，数据库次均服务成本与数据库使用率等。③没有考虑图书馆之间的差异。每种数字资源的价值与每个图书馆的目标有直接的关系。也就是说，信息质量与用户需求相联系，具有很强的“场景”特点，评价网络信息资源时必须考虑用户的差异[13]。④缺乏系统性。15个指标的重要程度是否都一样？显然值得考虑。科学的评估应对不同的指标给予不同的权重。
相比较而言，肖珑和张宇红提出的“电子资源评价指标体系”较为全面科学。他们对评价的作用与意义、评价的原则与方法、评价的内容等方面进行了论述，给出了电子资源内容、检索系统及功能、使用情况、价值与成本核算、出版商/数据商服务、存档6个方面的评估内容和指标。其基本思路也是电子资源利用率与成本核算。令人遗憾的是最终并未形成系统的评价指标体系。
概言之，目前国内对馆藏数字资源的评价或评估还只是停留在理论探讨上，现有的一些研究也只是基于某种角度建立了一些评价指标。关于这些指标体系的科学性，还有待实践的检验。
3.2 评价/评估指标体系的不足
· 评估指标以定性化为主，定量指标太少。如前所述，现在对于数字资源评估指标体系的研究和实践，虽然出现了电子计量的概念和实践，但评估指标仍然以定性指标为主，指标值不是“YES”就是“NO”，缺乏可比性。即便是定量指标也因没有确定同样的比较单位和环境，造成了事实上的不可比性，比如在比较两个数据库的登录次数时没有考虑每个数据库的数据量和目标读者群的大小；又如在比较数据库价格或使用成本时同样没有考虑目标读者群和实际读者群的大小。这样的比较显然说服力是不够的[11]。
· 定量化指标太少不成体系，在实际的评估过程中感性成分较多。主要表现为：一是评估人员对自己了解的学科评估得细而严，对自己不了解的学科就粗而松。二是“好好先生”现象严重。尤其是对商业数字资源的评估，不愿意也不敢得罪厂商，数字资源的评估和比较变成了产品介绍。评价不够客观，造成评估结果表面化，不能给出一个实质性的有用的结果，对于数据库的采购没有真正起到参考作用。
· 现在的评估指标，概念不统一，评估指标缺乏普适性。另外，没有科学的评价/评估模型，可操作性差。
4 提高数字资源评估质量的策略
4.1 影响评估质量的因素分析
数字资源评估质量的高低不仅受评估指标体系的影响，而且还受评估模型与评估方法的影响。当然，评估指标体系的科学性是首要的。但构建评估指标体系时还应该考虑系统性、合理性和可操作性。如有些评估指标理论上看有一定意义，但实际评估中可获得性很差，这就给实际的评估带来了困难。
张咏在文献[13]中指出：有关网络信息资源评价的研究和实践很多。从所采用的评价方法来划分，可将其划分为3种类型：①依据评价标准和指标体系进行的定性或半定量方法为主体的评价。②以链接分析为主的定量评价。③基于评价性元数据的资源内容过滤和评价分级。其在文献[14]中论述，评估方法中存在的问题主要有以下几点：准确性和可操作性；指标的评分单位与范围；主题指标评价；客体指标评价和过程评价。
实际上，无论数字资源，还是其它信息资源的评估，其评价/评估方法主要就是定性评价，定量评估，以及定性与定量相结合的综合评估。能否取得理想的结果，还与评估的过程和人员有关。比如评估指标的获取问题，评估人员的业务熟练程度等，都是影响评估质量的重要因素。
4.2 加强评估应用研究
国外的研究非常注重实用评估研究。20世纪80年代以后，各国纷纷将图书馆绩效评估从理论研究转向实际应用，制定和出版了一批手册和标准，以规范和指导各类型图书馆的评估。如1979年，加拿大国家图书馆出版的“Performance Measurement in Federal Libraries：A Handbook”手册；1990年美国大学与研究图书馆学会出版的“Measuring Academic Library Performance”手册等[15]。
2000年FIPSE（美国教育部高等教育改善基金）向ARL（美国研究图书馆学会）提供了498368美元的资金，用于资助“研究型大学图书馆服务效果评价”项目，并定名为LibQUAL+TM。2001年11月，美国国家自然科学基金会向ARL和Texas A&M大学提供了245737美元的资金，用于完成一个为期3年的数字图书馆评价项目。实验项目每年11月前后开始征集参加第二年实验项目的单位，于次年2、3月份开始进行调查数据的采集工作[16]。该项目吸引了大量的图书馆和读者参加，而且，每次都对前一次的调查项目进行大量的修订。表1是2000-2002年的调查情况。
表1 2000-2002年美国数字图书馆评价项目调查情况
┌──────────┬──────┬────┬────┐
│ 调查项目
│
2000年
│ 2001年 │ 2002年 │
├──────────┼──────┼────┼────┤
│参加机构数量│ 12│
43
│ 164
│
├──────────┼──────┼────┼────┤
│ 被调研人数 │5000│ 34000 │ 78000 │
├──────────┼──────┼────┼────┤
│
调查的方面数量
│
8│4
│4
│
├──────────┼──────┼────┼────┤
│调查的问题（指标）数│ 41│56 │25 │
└──────────┴──────┴────┴────┘
相反，我国的研究还多停留在理论上，缺乏实际的应用评估。所以，非常需要针对不同类型的图书馆、不同类型的数字资源开展实际评估，以验证评估指标体系的科学性，同时推进图书馆与数字资源建设质量和服务水平的提高。
4.3 加强指标可获得性研究
评价指标体系是评估应遵循的标准，但如果评估指标不能获取会是什么结果呢？不言而喻，这就是指标的可获得性，或评价的可操作性问题。作者是网络信息资源评价中重要的评价指标，而1999年，Shon和Musen使用搜索引擎查询网上有关乳腺癌治疗方面的文献，对网页中的元数据情况进行了调查，发现只有20％的网页可以找到作者[17]。这样的评价结果，其准确性和权威性就难免让人产生怀疑。
由文献[6]中的诺森伯兰图书馆绩效评价国际会议（2002年第四届，2003年第五届）的主题可以看出，国外的有关研究非常注重实际评估的应用研究。对指标的可获取性，对调查结果的数理统计方法等都有论述。
4.4 加强评估队伍建设
一座建筑物的好坏，首先是看其建筑设计水平的高低。但优秀的设计，如果没有优秀的施工者，其质量能否保证呢？笔者认为，对一个图书馆或一种信息资源的评估就像评估一个建筑工程。不仅要有科学的指标体系，而且关键要有一流的评价队伍。
对图书馆以及其它业务，如馆藏数字资源的建设进行评价或评估是图书馆科学管理的重要组成部分。它可以帮助我们增加服务效益，提高用户的满意度。这也就是它受到广大学者和馆员关注的原因所在。问题是它在我国的研究还有待深入，有待一批高水平的馆员去从事。因此，仅建立一个评价指标体系是不够的，需要依据图书馆开展各类实际的评价研究。这就需要有一支高素质的评价队伍。我们目前的图书馆学、情报学专业没有相关的专业或课程，相关的人才十分匮乏。这需要我们通过实际的项目来培养。
4.5 加强评估过程的管理
无论是质量评价，还是服务绩效评估，指标体系中都有许多难以量化的指标。这些指标通常是通过调查、征询意见等方法获得的。这就涉及到被调查或征询对象的选择、调查表的设计、调查数据的统计分析等问题。评价过程中某一环节出现问题，都将导致其结果与实际情况的偏差。因此，还应加强评估过程的控制与管理。
4.6 积极开展宣传，营造评估环境
我国图书馆服务质量与绩效评估理论研究起步晚，与实践相脱节的另一个原因，就是没有评估的环境——图书馆没有评估需求。这从一个侧面反映了我国图书馆的整体建设与服务水平还不高。如何解决这一问题？笔者认为，当务之急就是通过宣传，提高人们的认识。现在，不仅许多馆员没有认识到这一问题的重要性，而且许多馆长也是一叶障目，不见泰山，整日得过且过，嘴上说“读者至上，服务至上”等等，但对实际工作中如何做并不知道，我们与国外先进图书馆的差距有多大不知道，我们能够满足读者多少需求不知道，读者对我们服务的满意程度不知道……现在许多行业都在进行IS0认证，图书馆服务质量的国际标准——《图书馆绩效评价指标》（ISO11620）也已经颁布多年。我们图书馆将如何面对国际化、网络化与数字化的挑战？这是亟待诸位馆长思考的问题。
总之，数字资源质量和绩效的分析与评估，一要构建一个科学的完善的评价指标体系；二要有正确的评价方法，有效获得评价指标值，并对指标值加以科学的统计分析和计算；三要理论与实践有机结合，才能实现科学的评价。目前，我国关于数字资源评估的研究还很少，而且缺乏实际的评估应用研究，因此亟需加强宣传，培养队伍，开展评估应用研究，从而促进数字时代情报学理论的发展，指导图书馆建设质量与服务水平的提高。