美国加弗大学信息能力评价方法介绍，本文主要内容关键词为：美国论文,评价论文,能力论文,方法论文,大学论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
众所周知，目前大部分的高校在对学生进行信息能力评估时，通常都采用基于多选题、填空题、判断题等课堂测验形式。事实是这样的测试主要考核了学生对检索知识的理解，而不能有效地评估现实生活中学生的实际检索技能。美国加弗大学研究人员在总结回顾了现有的信息能力测验方式之后，意识到这种方法的局限性，为了真实地评价学生是怎样着手解决信息任务的，他们作出了具有创新性的改革尝试。本文重点介绍加弗大学在信息素质评估方案实施过程中所采用的信息情景法和屏幕采集法，包括典型数据分析。希望本研究能对我国学者开展信息素质评价工作提供方法学上可以借鉴的案例，促进该项工作的改进。
1 背景介绍
信息能力评价项目在加弗大学只有一段很短的历史。在20世纪90年代中期，加弗大学认识到了技术和电子信息社会的重要性，相应的提出了集成技术策略（ITS）。ITS旨在为加弗大学的学生、教师、职员提供必要的工具，使他们在一个全球化的、以知识为基础的经济领域中能够竞争、产出、成功[1]。为此，加弗大学图书馆董事委员会提出了一项创新的策略性计划，间接地将信息能力纳入其学士学位质量计划中，确认信息能力是所有学生的一项行为内容和一项不可或缺的技能，加弗大学需要建立基本的能力水平标准来衡量学生对知识和信息的运用能力[2]。为此，加弗大学专门组建了信息能力评价任务组，并为基本信息能力评价的完成提出了具体的任务[3]：
●建立加弗大学信息能力技能的基准线；
●收集数据和看法促使加弗大学所有校园对于信息能力计划的需求形成文档；
●获取数据来确定信息能力教育经验的发展水平；
●为下一阶段针对图书馆的系统范围的策略性计划提供支持，该计划包括对于教育和评价的持续性的重视。
2 定义信息能力评价标准
信息能力评价任务组以下面的一些假设为前提开始他们的评估工作，即假定能够对加弗大学学生是不是具有信息胜任能力能得到一个具体的数目。很明显马上得弄清楚信息能力这个概念；得去把“模糊”的信息能力标准搞清楚；得去用不同的方式去分析技能和像“信息能力”这样概念的知识。基于上述假设，任务组首先定义了信息能力评价标准。该标准是由7个反映所需技能和知识范围的核心能力构成[4]。其表述如下：
（1）组织和阐述一个研究问题、项目，不只是在单个领域的概念框架内，而且必须用一种他人可以轻易理解，能够参与协助检索的形式来进行。
（2）确定一个研究问题、项目的信息需求，以便形成检索策略来使用不同的资源。
（3）确定和检索各种形式的相关信息，使用恰当的技术工具。
（4）以便于分析、评价、合成、理解的形式来组织信息。
（5）使用不同的媒体来创建和交流信息。
（6）明白与信息相关的道德、法律、社会政治事务。
（7）了解各种资源的信息表示中所用到的技术、观点和行为。
3 评估方法介绍
3.1 信息情境法
（1）情景的构建
情境在社会科学研究中作为以测试现实生活中的事件或者问题为目的的一种方法应用的十分普遍[5]。加弗大学把其引入信息素质的评价，将上述七个核心能力中的六个对应相应的信息情境构成了该研究的核心。设置这些情境是为了得出信息能力被用于常识而不是基于学科知识的证据。通过构建关于日常生活和工作场所的信息需要的情节，任务组希望看看学生是否能把他们在学校学习的理论知识与日常工作任务联系起来。要求每个回答者考虑从六个情节中随机抽取两个情节，所有被调查的方面都要与关于两个情节的回答联系起来。具体内容见。表1。
（2）典型数据分析
①广度与深度的度量
每个被访问者都要回答两个任意选择的情景。对每个情景，被采访者被要求回答关于广度和深度两方面的问题。以为核心技能一构建的情景为例：
你工作在一个研究社会上无家可归者的组织，你的任务是去市议会报告现在本市无家可归者的情况。
广度问题：你需要去了解哪些方面的知识？
深度问题：你将怎样去利用这些知识帮助你描述这个城市里的无家可归者的情况？
对情景的回答反应了学生能迅速想到所利用的信息资源的类型以及他们对各个资源领域的熟悉程度。对情景的反应应该由深度与广度两个方面来量化。广度反应是指一个人在对一个情景的回答中提起的不同的想法和资源种类的数量。深度反应则由对情景的最初反应的详尽回答的想法数量决定。对每个出现在对情景的反应的离散想法，应答者都要被问他们将怎样利用来自他们最初的回答里的信息。典型数据分析结果见图1，图2。
图1 广度与深度的百分比[7]
图1显示了广度与深度百分比的反应范围。对情景广度的反应范围从0到12。统计发现，学生提出最多离散想法是情景2和3，最少的是情景4和6。对情景深度的反应范围是0到21，获得最高情景深度反应的是1和2，最低反应的是4和6。
对情景反应的平均广度得分范围1.46到2.45，学生在情景反应的广度得分，在最高四分位处为3.21，在最低四分位处为0.92。
对情景的平均深度得分的范围从1.84到2.73，相比于对情景反应的平均得分在最高四分位数处为3.97，在最低四分位数处为0.98。
数据分析显示对一个情景与另一个情景在深度与广度上的得分是相关联的。也就是当广度得分高的时候深度得分也高。即一个学生在一个情景的深度与广度上得了高分，他在另一个情景上也会得高分。相反，如果一个学生在一个情景的深度与广度上得了低分，他有在另一个情景上也得低分的趋势。数据分析结果见图2。
图2 大学一至四年级的学生对情节反应深度与广度得分的百分比[7]
图2显示学生的水平也是与其对情景反应的深度与厂一度得分相关的。年级越高，其对情景反应深度与广度的得分越高，这一结果证明了学生的技能与知识就像教育者希望的那样随着在学校的学习而增长。即年级越高的学生，他们能提供的想起越多种类的资源去满足他们的信息需求。另外，高年级的学生不仅能找到更多潜在的有用的信息，并且对于找到的信息能更好的理解它的内容、上下文关系以及它们对于检索策略的符合程度。
②研究处理技巧与图书馆问题的度量
研究处理技巧的度量是指一个学生积极地评估他自己的阅读理解与写作技巧的程度[8]。在一个从零到十的度量范围里，零表示非常的不适，而十表示能很好的完成。这一度量包含以下问题：
你完成需要研究的论文的写作技巧在零到十的哪个值？
你怎样评价自己利用图书馆获取所需信息的能力？
你将怎样评估自己使用计算机的总体技术水平？
你怎样评估自己总体的写作技能？
总体上来说，你怎样去评估自己的阅读理解能力？
将研究技巧的得分与信息能力深度、广度得分分别做双变量相关分析（双侧检验），统计结果为：研究处理技巧与信息能力深度：相关系数r＝0.134，p＝0.000＜0.05；研究处理技巧与信息能力广度：相关系数r＝0.119，p＝0.000＜0.05；因此研究处理技巧与信息能力的广度和深度都有显著统计学意义，即研究处理技巧的测量值越大，信息能力的深度与广度也越大。
图书馆问题的度量反映了学生认为自身利用和掌握图书馆和其它信息源的困难程度。测量包括如下问题，每个问题都要求学生回答他们同意与不同意的程度，也是1—10的度量范围。
我发现要明确的表述一个题目或研究问题是困难的；
我在查找和获得我所需要的信息上有困难；
我在评估我所发现的信息的准确性与有效性上有困难；
我在组织和使用我工作中所碰到的信息时有困难；
我在怎样为我的课题引用合适的参考资料上有困难；
在那些应答者中认为自己发现和使用信息有困难的往往在广度与深度的问题上的得分也比较低。同样将图书馆问题与深度做双变量相关分析（双侧检验），统计结果显示：r＝－0.072，p＝0.000＜0.05；图书馆问题与广度相关分析的结果：r＝－0.71，p＝0.000＜0.05，因此说明图书馆问题与信息能力的深度与广度得分具有显著统计学意义，即他们存在相关性，因为两个r都是负值，所以它们的关系是负相关的。即对图书馆不理解的问题越少，其信息能力的深度和广度得分越高。
总之，利用深度与广度应答这两个特殊参数，获得了对评估数据进行开发和比较的大量定量数据，也依此建立了加弗大学信息能力技能的基准线。
3.2 屏幕采集法
屏幕采集是使用一个叫Camtasia Recorder的屏幕采集软件去采集学生的计算机检索工作[6]。本方法的特点是可以考核每个个体的检索行为，以便帮助我们进一步了解学生是怎样着手解决信息任务及其信息能力是由什么组成的。该法要求学生、图书馆员和教师共同参与。
（1）研究目的
研究目的是希望得到如下这些问题的答案：学生如何在规定的时间内利用计算机与图书馆资源开始和完成自己的信息任务？学生使用的方法与策略与其工作结果是怎样关联的？什么样的教育学问题可能从观察的信息检索策略调查结果的分析中暴露出来？教师、图书馆员与学生在信息检索策略的制定上有哪些相似与不同？数据获取的方法是首先提出任务，通过屏幕采集记录学生的电脑活动，通过人口学观察参与信息任务的学生，与这些学生交谈和对所有参与调查的学生进行人口统计学数据的收集。
（2）任务的设计
本研究围绕四个被设计成特殊信息问题的任务展开，在评估期间一个样本量的学生必须解决这些特殊的信息问题。首先提出确定任务必须遵循的原则：①适用于不同背景的学生；②能够被学生比较容易的理解；③能在两小时内完成；④要与加弗大学的核心技能相适应。任务的详细内容见表2。
（3）任务评估方法
学生被分成四组去接受指导和评价任务，图书馆员与教师作为观察者参与该项活动。要求学生在两个小时内完成任务。在此期间可以随意询问与任务有关的问题，并且可以利用他们可以用到的所有资源，甚至可以向当值的参考图书馆员求助。当学生为自己的任务工作时，图书馆员与教师相聚在集中组一起分享彼此的关于他们希望学生在面对任务时会做什么和学生将做什么的想法。要求学生在工作开始之前，工作完成之后，一天的最后阶段分三次填写一份简易的表格，涉及如下问题：①他们对任务的主题是否熟悉？②他们发现了什么以及给他们更多的时间他们会做什么？③他们有关图书馆指导、使用图书馆和从远离校园的地方访问图书馆的经验。表3是以任务3为例提供了一个在参加工作前后对问题回答的例子。
（4）屏幕采集分析
首先提供他们在信息检索过程每个阶段怎样理解和进入的详细说明，通过该采集软件可以分析学生是如何进行检索活动的，包含学生在屏幕上看到的以及他们的操作：如访问的网页与数据库、键入的词、鼠标及指针的移动、滚动、打印／存储／电子邮件的命令等等。评估组随机抽取了16名学生，首先提供他们在信息检索过程每个阶段怎样理解和进入的详细说明，并告知完成任务的方法是没有对和错之分的，评估专家将会问他们关于检索中的行为和所做的决定的问题。例如“请告诉我你在干什么” “你是怎样选择那个数据库的”和“你是怎样决定选择那个关键词的？”。专家不帮助学生完成任务，也不去看学生选择的信息采集方法。
从屏幕捕捉资料得出的第一个分析是学生访问的网站通常存形式和内容上与数据库是不同的，学生检索网站与检索数据库或者目录的行为是不同的。当分析完成后，任务组将对具体有什么不同和不同具有什么意义有更透彻的理解。另外，屏幕捕捉资料将用来分析学生是如何使用和转换术语或关键词以检索到结果的，什么研究模式是最好的等等。
从屏幕采集结果分析学生的检索流程发现，16个学生几乎都是从检索一股的可得的信息开始，然后识别出大量与他们需要的主题相关的信息，再进行详审，评估这些信息对于既定任务的意义。许多学生也首先求助于计算机和网络，在网站、数据库和书上找信息，或者发邮件给他们认为的可能有相关信息的人[6]。
这些结果说明学校和图书馆通过提供远程访问功能，成功的给学生提供了许多他们真正需要的有价值的东西。学生喜欢“虚拟图书馆”的方便性和灵活性，几个学生提到，他们通常能够不出寝室就做完几乎全部的研究。纸制文献使用变少了，在参考咨询处也没有多少问题要咨询了。这反映了基于网络的参考咨询的重要性，也说明了提供使用说明的重要性。
资料分析还表明，通常关键词的选择是明显的，可由分配的任务的阐述中直接得到。这种方法常常导致要进行大量的试验和错误才能得到满意的结果。调查结果提示，最好的练习和有用的教学干预在改进学生信息技能方面是值得推崇的。研究发现，通过观察和记录学生在检索信息时的行为，然后将其与现有的标准去比较可能是测量能力最好的方法，但是也是最花时间和金钱的方法。
4 对我们的启示
通过对加弗大学信息素能力的评价分析，反思我们的现状，可以从中得到几点启示：
4.1 重视学生的信息能力的培养，而非信息检索知识的训练
我国的信息素质教育目前还处于起步阶段，绝大部分高校开设的是文献检索课，学生更多学到的是获取信息的能力，而对于如何分析和综合利用检出信息的能力明显偏弱。因此，要达到与国外信息素素质教育接轨，应该走出传统文献检索课教学内容和模式的局限，按照信息素质的评价标准来设计和开设信息素质教育课程，注重培养学生全面的信息素养能力。
4.2 明确评估标准，寻找可以量化的评估方法
评估指标实际上反映了我们的培养目标。由于我国的信息素质课目前定位在文献检索的层面，因此评估指标与国外相比有较大差距，所以评估标准不明确，方法不能量化，一直是困扰我们评价学生实际信息能力的障碍。而加弗大学的做法首先明确定位了7条评估指标，并通过信息情景法，较好地将这些指标变成可以量化的评估数据；此外，以往学生上机检索是如何操作的我们都无从知晓，而加弗大学的屏幕采集法，包括如何设计情景，如何提出任务等，使学生的实际检索能力得以更真实的呈现。因此，确定评估指标，采取一定的方法使评估结果量化，是我们从文献检索课转变为信息素质教育课过程应该重点研究的问题。
4.3 以问题为中心，多专家参与合作
我们的信息素质考核目前多以课堂考试为主，尤其是本科生教学，评价学生更多的是他们掌握的检索知识的多少而非真正的检索能力。加弗大学的做法使我们学会了如何以问题为中心引导学生进行实际检索问题的训练，同时应该多专家参与，即不仅仅有文检课老师，还应该有图书馆其他人员和其他专业课教师的参与，最终使学生的实际检索能力得以更客观、全面的评价。
（收稿日期：2007—09—18）