蒙特#183;卡罗方法及检索系统操作评价，本文主要内容关键词为：蒙特论文,卡罗论文,评价论文,检索系统论文,操作论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
在传统的情报检索试验中，对检索系统操作判断基于这样一种系统性能：即所给的测试集 合中区分相关还是不相关文献。高级检索系统是那些即检索相关文献并且拒绝不相关文献， 这比计算系统更好。但是，确定检索性能好坏的方法一直很缺乏。
本文将证实蒙特·卡罗方法可在确定所得检索结果的统计意义并确定在一系列检索结果中 不同的统计意义这两种情形下被使用。下面对有关文献的追溯表明，蒙特·卡罗方法这样 的模 仿技术已经被用来更好地理解情报检索系统，Shaw，Bugin和Howell在最近有关论文中概括 了用超几何分配去确定在随机检索操作中的水平，并在文章中介绍了蒙特·卡罗方法是怎样 克服超几何模式的一些限制，还有蒙特·卡罗方法怎样被用作追溯所得结果的可能性，并且 确定在两个或更多的检索结果中不同的统计意义。
蒙特·卡罗方法确定随机检索操作水平的性能是卓越的，这种性能推断所得结果的可能性 及判断在一系列检索的结果是否不同，使得在具体情况下，断定检索系统是否精确成为可能 。这将增加我们对这种方法的理解，使检索系统将有助于改进检索效果。
蒙特·卡罗方法在本文中是模仿情报检索行为，模仿技术经常被用来更好地理解情报检索 系统。早期的模仿技术应用评论在1971年，Cooper和Heine那里可以找到。Heine描述说，作 为模仿研究所实施的工作就是界定和描述一个系统经常改进对系统的理解，并且为进一步调 查设立一些假设。早期的研究很少与本文的关注点有关，那就是检索系统的效果。
正像Cooper指出的那样，早期模仿研究对应用评价文献查找系统的较少，大多数早期模仿 文献检索的研究工作，只涉及到系统对时间的反应或系统的容纳量，而不是系统检索效果。
但是最近，模仿技术已经被应用到检索效果问题上来了，这些技术涉及到文献模仿、咨询 、相关文献的判断和检索过程本身。
蒙特·卡罗方法提供一个很有吸引力的选择，对超几何模式来说，去鉴定随机检索操作的 水平是卓越的，并且能克服超几何模式的限制，蒙特·卡罗方法是一种模仿技术，可以应用 到一个广泛的领域，在数字领域里，包括运用在物理、化学、生物和经济各种问题，这种方 法可被描述如下：
蒙特·卡罗样本用来测试无效的假设，这个样本是随机方式从具体密集群中抽出的，这个 测试以过程为指导抽取随机样本，模仿的随机样本的测试统计价值同实际的样本测试相比较 ，如果实际样本的统计测试价值与模仿的随机样本的价值不相关，那样无效的假设就被拒绝 了。
蒙特·卡罗方法可以被用到测定低操作开端问题方面来，对于一个测试集合用Na文献和一 个 咨询用Rd相关文献，蒙特·卡罗方法涉及模仿随机选择Rd相关文献，在这个集合中产生Rd独 特假随机数目在1和Na之间，每个假随机数目代表相关文献的等级在检索过程中，这样统计 测试就被积累下来，大量统计测试的价值可以以这种方式得到并且被分类。
跟随Shaw，Bugin和Howell，我们对这样的操作水平感兴趣，就是易于产生机会的值P＝0.0 1，这与操作水平相似或者超过结果的1%，如果我们得到1万个统计测试的评价，操作水平体 现的水准就会高100万倍，用这种方式，低的操作开端对于测试集合用Na和用Rd相关文献就 可以确定了。
这个过程在所有的测试集合咨询中重复多次，一个低的操作开端可以为整个集合积累追溯 ，低操作开端是由蒙特·卡罗方法产生的，它显示，最好的操作可以获得机会值P＝0.01， 就是说，最好的操作可以用随机选择文献的方式取得。举一例子，我们设想一个MED测试集 合，及在那个集合中的一系列咨询，因为9个相关文献，9个独特的假设数字在1和1033之间 是产生模仿随机选择的9个文献。
蒙特·卡罗方法不仅可以复制超几何模式的结果，也提供超过超几何模式的一些有利的方 面，例如，此方法比超几何方法需要更低的计算机密集程度，并且它的结果可以用更小的时 间派生出来，特别是对更大的一些测试集合来说，超几何模式的结果需要几个月来积累，蒙 特·卡罗结果需要不超过30分钟的时间来完成一个完整的测试集合。
蒙特·卡罗方法还提供其它有利的条件，如对于文献的等级次序能直接提供精确的判断， 展示检索结果，比较两个或更多的结果，以及所得结果的可能性，限于篇幅这里不展开一一 介绍。
综上所述：改进系统的功能在于我们对系统的理解基础上。反过来，对系统的理解增加了 ，当我们能精确地掌握系统的行为时，就更能理解影响这个行为的因素。使用蒙特·卡罗方 法可以加强我们理解检索系统性能的进程，使我们判定检索系统效果更精确，并且能确定咨 询特点和检索性能之间存在的关系，理解了这些关系，将有助于改进检索系统的效果。
原文注释(略)
原作者：Robert Burgin
原文刊载于《美国情报科学协会月刊》1999，2期
标签：系统评价论文;