领域本体评价研究，本文主要内容关键词为：本体论文,领域论文,评价论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
〔分类号〕G250.76 TP18
1 问题的提出
领域本体是知识组织的重要技术和方法，用领域本体组织信息是资源整合的发展方向。领域本体的开发理念和建设目标是什么，领域本体概念的构建是否科学合理，本体开发工具是否先进，领域本体系统的效用性如何，是否真正符合领域知识状况，可否真正体现知识组织的功能，实现知识服务的功效等问题都是领域本体建设的全过程中必须考虑和解决的问题。
目前，不少领域特别是计算机领域相继开发了不同规模和不同应用的本体系统，但多数本体系统建设理念和目标不够明确，本体研发多侧重于技术层面，与实际应用相脱节。如何从理论、技术与应用结合的角度探讨本体评价的研究内容，科学合理地设置领域本体评价指标体系，以规范领域本体建设，推进本体研究有效走向应用，是一个迫切需要研究的课题。
近些年来，已有专家学者关注本体的评价[1-2]，总体来说，有以下几种评价方法：①基于用户评价的方法，即通过用户的投票来决定本体系统的优劣，但问题是以什么准则来判断？谁是合适的用户？是领域专家、知识工程师还是最终用户？②基于原则的方法(principles-based approach)，从构建本体的原则来评价本体[3-4]，但这种方法很难进行自动化测试。③基于应用的评价方法[5]，即在一个特定的应用环境中，测试一组本体，看谁最适合这个应用，为什么合适。这种方法需要设计一组应用场景，本体可以嵌入其中，或者象TREC那样，建立一组详细的任务。④基于黄金标准的方法[6-8]，即将一个新的本体与一个现有的“黄金标准”本体比较。这种方法比较适用于本体学习。⑤基于语料库的评价方法，即将本体与一个语料库比较。使用一个术语抽出算法从语料库中抽出术语，计算被本体覆盖的术语数量，那些不交叉的术语就可以用来减少该本体的得分。或者是用一个向量来表示本体和语料库，然后计算本体向量与语料向量之间的差距。
综上所述，领域本体评价研究虽然取得一些成果，但还没有形成完善的本体评价理论，关于本体评价的研究内容尚不明确，现有的研究并没有给出完整的分析框架，也没有建立起切实可行的评价指标体系。
本文将从领域本体评价的基本思路、评价的基本原则和方法以及领域本体评价指标体系的构建等方面，对其进行探讨。
2 领域本体评价的基本思路
领域本体评价，即是运用科学的方法，遵循统一的指标体系，对领域本体的建设理念、应用需求、概念组织、功能设计和实际运行状况等情况进行综合测评的方法。
要构建一个科学合理的领域本体评价体系，需要考虑以下几方面问题。首先，要认真研究领域本体在知识组织体系中的地位和作用，正确把握未来几年中领域本体建设的发展趋势。其次，要抓主要矛盾。一个评价体系不可能包罗万象，面面俱到，这就需要找出影响领域本体建设发展的关键要素，并把这些关键点充分反映在评价指标体系当中，使评价工作真正对领域本体建设发展起到促进作用。其三，要对领域本体建设进行整体性评价。领域本体建设是一个涉及诸多因素的复杂的系统工程，对其评价就不能仅局限于某一方面，也不是单一指标或部分指标就可以完成的。客观而公正的评价领域本体建设，必须根据领域本体建设的基本特征，分析领域本体系统的主要作用、基本性质和运行规律，找出领域本体建设中的关键要素或基本脉络，构建一个系统化的、既能测度领域本体构建水平又能评价其运行情况和发展潜力的指标体系。
一个完整的领域本体系统的建设一般包括三个层面：一是本体的建设理念和使用需求，这是本体建设的驱动力。领域本体系统能否满足应用需求，能否有效发挥知识组织体系的功能，关键是看其是否具有先进的建设理念，是否根据具体的应用需求进行建设。二是本体的构建、进化和管理，这是领域本体建设的基础。本体概念的正确性，本体概念的丰富、完善、改进、更新以及对本体的有效管理，直接影响着本体服务功能的有效发挥。三是本体的展示与服务，领域本体最终是提供知识服务的，这是本体建设理念和效果的体现，也是本体的功能和价值所在。这三个不同层面的要素都对领域本体系统产生影响，这些不同层面的要素之间也会相互影响，从而导致本体系统功能的有效发挥和正常运行。领域本体的评价指标和要素也应涵盖这三个层面的内容。领域本体评价不单纯是技术层面的，而是理念、需求、技术、管理与服务诸多关联要素评估的综合体，它们共同构成一个完整的领域本体评价体系。
目前，领域本体的理论研究深度不足，实际应用广度不够。因此，建立科学的领域本体评价理论和评价体系，是领域本体规范化建设的重要依据。面向不同应用的领域本体，其具体的构建方式和手段可能有所不同，但其设计开发的理念、目标、流程、方法、服务则具有共性。科学的评价理论和评价体系对于领域本体建设具有导向和控制作用，对于明确领域本体建设的发展方向，提高领域本体系统的实际应用价值，促进领域本体建设与服务的同步发展，具有重要意义。
3 领域本体评价的基本原则
为了全面、客观地衡量领域本体建设，必须从实际出发，实事求是，探索创新，确定一套科学、合理、全面、客观的领域本体评价体系。领域本体评价体系的构建和指标的选取，需要遵循以下原则。
● 整体性原则。如前所述，领域本体建设是一项系统工程，所以应强调对领域本体的整体性评价。评价指标体系要尽可能地囊括影响本体建设的各方面的墓本要素，并能从不同角度反映评价对象的内涵及其主要特征。应将不同层次、各方面相互联系的要素整合起来，形成一个有机的评价系统。指标的设计应以数量、层次较少，但能较全面地反映评价对象的内容为准则。
● 科学性原则。评价体系的制定必须与领域本体建设的理念和目标保持一致。根据领域本体建设的特点和规律，从诸要素中选取最能体现本体建设的本质特征和核心内容的衡量指标。用尽可能少的指标全面反映领域本体建设现状、存在的问题及发展前景。指标体系框架结构应合理，层次应分明。
● 通用性原则。领域本体指标体系中设定的指标，应该具有一定的通用性，能够适用于不同学科领域本体的评价。
● 可行性原则。评价指标体系既要全面、科学，又要简明，并符合本体建设实际状况。尽可能选择可量化指标，对难以量化的指标，可通过间接衡量、局部特征综合等方式进行定性描述。无论是定性指标还是定量指标，都要有明确的内涵和科学的解释，并具有可操作性。
● 导向性原则。领域本体评价目的不仅仅在评价，更在于一种标准和导向的确立。科学合理的评估指标体系应能够引导领域本体建设的发展。因而评价体系的设计应注意现实性与前瞻性相结合，既要基于现状又要展示领域本体建设未来发展趋势。除了选择反映现实的领域本体建设水平的指标外，还应选择一些能反映未来本体建设发展趋势的指标。以使评价指标的运用能对领域本体实践产生导向作用。
● 开放性原则。领域本体评价指标在一定的时期内应保持相对稳定。但是随着领域本体研究与建设的深入，评价指标、权重系数、评分标准也应根据情况的变化而有所调整。因此，在评价指标体系的构建过程中，应尽量保持体系的开放性，以便与本体建设实践发展相适应。
4 领域本体评价体系构建方法
建立一个科学的、完整的能全面反映领域本体建设的评价体系，需要遵循一定的理论方法。鉴于领域本体评价系统的复杂性，本文以层次分析法(AHP)[9]为依据。层次分析法是一种定量与定性相结合，可以处理复杂系统，特别适用于社会系统。其基本思想是把研究对象作为一个系统，将复杂问题分解为多项要素，并将这些要素按目标层、准则层、指标层排列起来，形成一个有序的递阶层次结构。
领域本体的建设理念、使用需求、构建技术、管理与服务等要素构成领域本体建设的主体，它们相对独立，又彼此联系。根据领域本体评价的基本思路和设计原则，本文确定了由领域本体的建设机制、领域本体的组织与管理、领域本体的呈现与服务三大类指标构成的领域本体评价体系；借鉴层次分析法设计思路，逐一分解三大类指标内涵，将指标分成若干具体要素并逐层细化，根据其重要性拟定分值，每级指标采用百分加权的计分方法。
指标权重的分配可以采用两种方法，一是由相关专家根据指标的重要程度来确定指标权重；二是根据各项指标对领域本体建设的影响程度来确定其权重。
5 领域本体评价指标的设定
5.1 领域本体建设机制评价指标的设定
建设机制是衡量一定时期内领域本体建设成效和实力的标志，是实施领域本体建设的前提。对建设目标与机制的评价，应考虑设定以下三个二级指标：
● 建设宗旨。主要分析其建设理念是否先进，是否符合知识组织、知识检索的发展趋势，是否有明确的发展思路。
● 建设规划。主要评价实施前是否进行了充分的需求调研，是否有明确的应用需求和清晰的需求分析及在需求分析的基础上制定的建设规划是否具有可操作性。
● 管理措施。主要评价是否建立了有效的管理体制，配置了相应的建设人员，是否建立了与领域专家的协作共建的机制，是否有实现目标的方法和措施等。
5.2 领域本体的组织与管理评价指标的设定
领域本体的组织是本体建设的核心，是能否实现本体建设目标的关键。领域本体组织与管理的内容非常丰富，但最基本、最重要的应包括以下三个方面的二级指标：
● 本体概念构建。主要评价本体概念的完整性、正确性以及本体概念关系的适用性。对本体概念完整性的评价主要看本体概念是否包括了该领域重要概念，能否反映出该学科理论体系和发展水平，并能达到最好的检索效果，最大限度地满足使用需求[10]。对本体概念正确性评价主要应分析本体概念是否准确、有无歧义。本体概念关系的适用性主要指是否根据应用需要，反映了概念基本的逻辑关系。
● 本体开发技术。主要评价本体知识描述语言和本体检索语言的先进性以及本体标注工具的效用性。对本体知识描述语言和本体检索语言的评价主要看基于本体知识描述语言和知识检索语言的标准程度，一方面要考察知识描述语言是否具有强大的语义表达和推理能力；另一方面要考察本体知识检索语言能否充分满足知识检索的需要。对本体标注工具效用性的评价应侧重本体编辑流程的适用性，本体概念分类、标引、描述和处理的自动化程度等问题。
● 本体管理。主要评价本体进化管理、不同本体版本管理及本体存储与交换管理的效用性。建立科学的本体进化机制是本体进化管理评价的主要内容，包括判断本体进化方式的准确性如何，本体进化是否有科学的理论依据与实践依据，是否依据学科发展和标注实践制定了本体概念保留、增加、修改、删除的原则与标准，是否制定了修改概念关联的原则与规则等。对本体版本管理的评价主要是考察本体进化过程中产生的不同版本的管理、约束与控制的有效性，包括现实本体和档案本体之间以及不同档案本体之间的兼容性及互操作性的评价等。对本体存储与交换管理的评价主要涉及本体存储方式、本体存取性能是否高效，是否遵循一定的标准协议以实现本体数据的相互交换等。
5.3 领域本体呈现与服务评价指标的设定
本体呈现是领域本体建设自然而必然的延续，它是评价领域本体建设效益的尺度。领域本体不仅是知识组织的工具，也是提供知识检索、知识服务的工具。这是领域本体建设的最终目的。领域本体呈现与服务的关键性评价指标主要包括以下三个：
● 本体知识结构显示。主要评价领域本体系统能否以知识网络的方式，将本体知识结构清晰有序地在一个统一的界面上展示出来，以供方便地查询与获取本体知识。包括知识定位、知识关联揭示和可视化展示三方面评价。知识定位功能是指能否显示本体概念在知识体系中的具体位置；知识关联揭示功能即指能否显示此概念和其他概念间的语义联系，能否描述知识网络中各种关联；本体可视化展示评价内容主要看是否通过直观、形象的模式、模型、图形、图像等方式来展现本体知识网络。
● 本体知识获取方式。主要评价领域本体系统能否提供知识导航和知识检索功能。对知识导航应侧重于评价其能否按照学科等级和概念间的语义关系进行分类浏览和主题浏览；对知识检索的评价主要看其是否提供基于概念的语义检索，包括本体概念检索、自然语言检索及联想／推理检索等。
● 本体系统辅助功能。主要评价与领域本体服务相关的重要功能，包括是否提供了与用户的交互机制，能否根据用户需求提供信息定制和信息推荐服务以及是否提供了领域本体系统的整体说明、功能说明以及各部分信息注解与帮助信息等。
6 领域本体评价指标体系构建方案
表1是在上述分析的基础上设定的领域本体评价指标体系构建方案。包括3个一级指标，9个二级指标，29个三级指标。方案基本囊括了当前领域本体建设过程的重要侧面，可对现有领域本体建设与研究工作进行整体性评价。在构建方案中，每项指标均赋予不同的权重系数；三级指标给出了评价标准要点；采用百分制计算分数值方法，每级指标的最高分值及每级中每项指标的最高分值均为100分。
7 结语
目前，我国的领域本体建设与研究尚处在不断完善的过程中，对领域本体建设评价的研究才刚刚起步。本文借鉴国内外学术界相关评价理论和评价方法的研究成果，对领域本体建设评价理论与方法进行了初步探讨，建立了一套反映领域本体建设状况的评价指标体系，它一定程度上反映了我国目前领域本体建设与开发的实际状况，为领域本体建设的评价提供了一个客观的分析思路和框架。但是，由于领域本体评价系统是一个复杂的系统，诸多主客观因素的制约使得对其评价研究十分复杂，作为一套科学、完整的评价指标体系，仍然存在不完善的地方。如指标体系的可操作性和实用性，评价指标的定量描述和定量分析，指标权重的确定等问题，还有待今后从理论和实践上进行更深入的探讨。
收稿日期：2006-04-03 修回日期：2006-04-15