基于关联数据的数字图书馆移动视觉搜索框架研究_数字图书馆论文

基于关联数据的数字图书馆移动视觉搜索框架研究，本文主要内容关键词为：框架论文,数字图书馆论文,视觉论文,数据论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。

      1 引言

      近年来，随着移动互联网的蓬勃发展以及移动智能终端的普及，移动视觉搜索（Mobile Visual Search）这种新一代信息搜索技术快速兴起并引起了学界和业界的广泛关注。MVS的兴起为解决数字图书馆资源建设、组织以及服务模式等问题提供了新的思路和契机，在数字图书馆中具有重要的潜在应用价值。尽管MVS涉及一系列关键的技术问题（见图1）[1]，但是本文认为，无论是描述符提取，还是对象特征的匹配、检索和排序，在商业领域已经有了相对成熟的解决方案，同时这些技术也并不是图书情报领域学者所研究的重点。在数字图书馆环境下，图书情报研究者应充分发挥其在资源组织和建设方面的优势，集中力量构建起视觉资源库，并实现资源之间的有效互联，为视觉搜索建立起高质量的视觉资源库。

      关联数据是语义网的关键之一，是一种通过可链接的URI方式来发布、分享、连接互联网中各类资源的方法[2]，它不是一种具体的技术，而是一种模式，一种数据组织和共享的框架结构[3]。关联数据使用资源描述框架（RDF）作为数据的模型，运用统一的资源标识符（URI）作为数据的标识，通过HTTP协议协调规范“数据”，从而实现在网络上的发布。关联数据能够揭示数据间的相互联系，并且提供了计算机可以理解的词义信息[4]。本文研究的目的正是基于关联数据构建一个数字图书馆移动视觉搜索框架——MVSMVC（移动视觉搜索的MVC框架），该框架的核心是通过关联数据实现视觉资源的语义化描述及全方位的数据关联，框架包括三个模块，具有以下主要特点：（1）充分发挥数字图书馆在资源组织方面的优势，在移动视觉搜索不断发展的大形势下实现服务模式的升级；（2）实现数字图书馆移动视觉资源（图片、视频等）的语义化描述（3）实现不同数字图书馆之间视觉资源库的有效互联；（4）实现数字图书馆视觉资源库与外部视觉资源库（外部互联网的资源）的有效互联；（5）通过关联数据的发布提供查询和搜索接口，并通过视图模块帮助用户更方便地获取搜索结果的相关信息。

      

      2 相关研究综述

      2.1 数字图书馆移动视觉搜索

      本文研究涉及的第一个主题是目前数字图书馆领域的新兴主题——“数字图书馆移动视觉搜索”。Girod等[5]指出：所谓移动视觉搜索，是指利用移动终端将真实世界中实体对象的图像或视频作为检索项，通过移动互联网搜索视觉对象关联信息的一种交互式信息检索方式。近几年来，移动互联网的迅速发展也催生出了对移动视觉搜索的大量技术性研究工作。Franchi等[6]提出MVS是指通过移动设备的摄像头来获取物理世界物体的图像，从而将其与数字信息产生联系的一种新技术。Tous & Delgado[7]指出MVS是指通过移动手持装置所制造的图片或视频来获取信息（视觉信息或非视觉信息）的过程。钟志鹏等[8]认为，MVS是通过手机拍照的方式来搜寻感兴趣物品资讯的技术，该技术采用计算机视觉的方法对物体进行识别，并将待识别的物体与相关的虚拟数字信息关联起来，使用户不需要输入任何关键字便能检索与之相关的信息。林杰[9]将MVS概括为使用移动设备实现现实世界的用户与虚拟世界的图像数据之间的连接，通过快读并有效的视觉搜索技术帮助用户从海量的数据中查询需要的信息。移动视觉搜索已经催生出较多的商业应用案例，主要包括两种类型的市场产品：一种属于可穿戴设备，比如Google Glass[10]、百度眼镜[11]等；另一种则是支持Android或IOS的移动应用。但是在数字图书馆领域，对于移动视觉搜索的探讨还远远不够，目前无论国内外，鲜有针对数字图书馆的移动视觉搜索研究。张兴旺、黄晓斌[12]提出了五点MVS在数字图书馆中的应用展望。此外，张兴旺、李晨晖[13]还探讨了数字图书馆移动视觉搜索机制建设的若干关键问题，提出应从移动环境软硬件资源局限性、用户需求多样性、移动用户体验质量、互操作性、协同管理5个方面着手建设数字图书馆移动视觉搜索机制。

      2.2 关联数据

      本文研究涉及的第二个主题是语义网领域的热门话题——“关联数据”。关联数据的概念在2006年被Tim Berners-Lee首次提出，随后受到了广泛的关注。而随着开放关联数据（Open Linked Data）项目的不断研发，关联的开放数据越来越多，关联数据的应用领域不断扩大。一些大型机构，比如Google、路透社、美国国会图书馆、纽约时报等都参与其中。美国和英国等国家开展了政府信息语义网的研究工作，这些国家的政府都把自身的一些信息发布成关联数据。在短短几年中，不仅LOD云图中的数据集合不断增加，而且范围逐渐扩大，数据涉及的主题领域从早期的生命科学、地理数据为主发展为多媒体、文献出版物、政府信息等。

      由于图书馆行业信息数据的优势和知识服务的需要，2010年5月，W3C（万维网协会宣布专门成立图书馆关联数据孵化小组，目的是帮助图书馆构建关联数据，从而使图书馆将各种数据（主题标目、MARC数据等）以关联数据的形式加以发布。目前，许多国家具有影响力的图书馆已经把主题标目、规范记录、MARC数据发布为关联数据，比如瑞典国家图书馆率先将瑞典联合目录（LIBRIS）以关联数据的形式发布[14]。

      从2010年开始，国内对于关联数据的研究开始增多，这些研究工作可以归结为以下几种：关于关联数据概念和内涵阐述的研究[15]、关联数据研究与应用现状的介绍和综述[4，16-17]、关联数据相关技术研究[18-20]。此外，国内的研究者也开始尝试将关联数据应用到不同领域中，并由此产生了一些实践和理论成果[21-24]，但是目前并没有将关联数据应用到数字图书馆移动视觉搜索中的成果。

      3 基于关联数据的数字图书馆移动视觉搜索框架——MVSMVC

      本文受软件开发领域中流行的MVC架构模式的启发，提出了一个基于关联数据的数字图书馆移动视觉搜索框架——MVSMVC（见下页图2），这个框架包含三个模块：模型模块（Model）是整个框架的核心和基石，这是由数字图书馆视觉资源在经过语义化描述和关联处理后所构成的全面互联的数据集。视图模块（View）主要负责提供用户检索的入口和检索结果的展示功能。控制器模块（Controller）实现视图和模型的交互，负责搜索特征提取、查询条件构建等工作。与传统软件开发中的MVC框架不同，MVSMVC框架中最核心、也是最复杂的工作集中在模型模块，这是与数字图书馆的技术现状与关联数据的运用紧密相关的。在数字图书馆环境下，图书情报领域的研究者并不擅长图像识别、特征提取等工作，其最大的优势在于资源描述和组织，而运用关联数据，数字图书馆可以做到在数据层的全面互联，不仅能够更有效地为用户提供关联信息，还可以解放控制层的工作，让其专注于查询特征提取等工作，而这些工作在商业领域已经有了相对成熟的方案。更为重要的是，模型层的构建和互联是商业领域已有的方案所不能代替的，这正是图情工作者擅长的，同时也是数字图书馆在移动视觉搜索体系中所拥有的核心优势。

      

      3.1 模型模块

      从图2中可以看出，模型模块在整个框架中是最基础、最复杂的模块。在模型模块中，每一个数字图书馆都应当将其内部的视觉资源围绕元数据本体进行描述，并将其转换为视觉资源关联数据，进一步实现数据之间的互联。同时，不仅单个数字图书馆内部的视觉资源形成互联，不同数字图书馆之间的视觉资源也必须形成关联。而为了真正达到关联数据的标准，还应当逐步和互联网上的外部资源实现互联，这样才能真正形成一个全方位的数据集。

      视觉资源元数据本体的构建是模型模块的基础：元数据在网络信息资源组织中发挥着重要的作用[25]，它最基本的功能就在于对信息对象的内容和位置进行描述，从而为信息对象的存取与利用奠定必要的基础。视觉资源总体上来讲包括两大类：静态视觉资源即普通静态图像，动态视觉资源即视频或者动图，视觉资源元数据的特点归根结底在于其与普通文本资源相比所具有的独特的内容特征。图书馆联盟（Digital Library Federation，DLF）使用面向对象的方法对数字对象进行分析，并且将数字图像的元数据分为三类：描述性元数据（Descriptive Metadata）、结构性元数据（Structural Metadata）、管理性元数据（Administrative Metadata）[26]。其中描述性元数据用于发现、识别和定位数字图像，结构性元数据定义对象的内部组织以及如何链接和显示该对象。管理性元数据包括数字图像的产生信息（如扫描日期）、识别信息（文件名、存储和传递格式、压缩方案等）、版权信息等。

      对于数字图书馆而言，构建一个视觉资源关联数据集可以分为以下几个步骤（见图3）：

      

      （1）资源发现。每一个数字图书馆中都有一定量的视觉资源，但是移动视觉搜索对于数字图书馆而言也是一个新兴的领域，因此数字图书馆仍然需要根据自身的资源情况，对内部的资源进行再发现，除了已经符合视觉资源格式要求的资源之外，还有必要通过再处理（拍照、扫描等技术）技术丰富和扩展自身的视觉资源库。

      （2）确定URI标识方案。关联数据要求使用通用资源标志符（Universal Resource Identifier，URI）作为Web上任何事物或资源的标识名称，因此确定好URI表示方案是进行RDF描述和关联的第一步。在这个过程中需要注意非信息资源的URI标识问题。非信息资源指的是实体对象或抽象概念（如文献资源、个人、组织机构、地点、事件、术语等），在关联数据中，它们也必须采用URI的方式进行命名，但是它们的URI地址不能够被HTTP协议直接引用[27]，有两种方式可以解决其在Web上的访问问题：Hash URIs和HTTP 303 URIs[21]。

      （3）RDF描述和关联。这两个过程结合起来就是实现数据关联化的过程，W3C在“图书馆关联数据应用孵化小组”官网上总结了一些和关联数据实现相关的技术和工具[28]。这里所形成的关联应当包括数据层面的关联和语义层面的关联，同时不仅数据集内部形成关联，还要与外部资源形成有效的关联。

      （4）数据集发布。关联数据集有多种不同的发布技术，数字图书馆需要根据自身数据集合的大小和更新频率来选择恰当的发布技术：第一种是直接发布静态的RDF文件，这种情况适用于数据量小、更新频率较低的情况；第二种方法同样基于生成的RDF文件，但是将RDF文件存储在RDF数据库中，这种方法适用于数据量较大的情况；第三种方法并不直接形成RDF数据，而是在请求时才根据原始数据在线生成RDF数据，这种方法适用于更新频率大的情况，但是当数据量较大时，对于系统的负载要求较高；第四种是D2R方式，它是语义网中非常流行的一个工具，它主要包括D2R Server、D2RQ Engine和D2RQ Mapping语言等几个核心部分，其中的D2RQ Engine能够将关系型数据库中的数据转换成RDF格式，这种方法适用于将关系数据库存储的数据内容发布成关联数据。

      3.2 视图模块

      视图模块主要是与用户进行交互的模块，包含两方面的重要职责：首先是为用户提供人性化的检索入口，而与传统的检索框式的搜索入口不同，移动视觉搜索的视图模块应当提供更多元、更便捷的搜索入口，移动视觉搜索的用户终端不仅包括手机，还包括各种可穿戴设备，最典型的就是谷歌眼镜这类的“增强现实”产品，因此这一点不仅涉及软件方面的升级，还涉及数字图书馆硬件资源的配置升级。其次，视图模块还需要为用户呈现更生动、更易懂的搜索结果，并且将关联信息进行充分展示。

      视图涉及的问题主要是信息可视化问题。传统信息搜索大多依靠文本输入，近几年才有部分搜索引擎增加了图片搜索功能；而移动视觉搜索的检索来源即是非文本的图像和视频，也因此两者在搜索结果的呈现方面也有差别。传统搜索更多地采用基于文本的、线性列表的方式组织和显示结果；移动视觉搜索则更倾向于采用图形界面来展示结果。这不仅较为生动直观，也可以揭示事物间的横向联系和结构关系。在这个过程中，需要可视化的对象包括：搜索界面的各选项；搜索结果的URL、标题等信息；结果中各种类型的资源，如HTML网页、PDF文档、Word文档等；检索结果与检索式的相似度；检索结果之间的关联信息等。

      3.3 控制器模块

      如图1所示，控制器模块是作为模型和视图之间的桥梁，其职责主要包括检索对象描述符提取，构建查询条件并执行查询，最后将查询结果传递给视图。由于MVSMVC中模型模块本身就是语义化和高度关联的数据集，因此控制器模块的职责有了较大的简化。传统模式下，如果要发掘一个数据集的关联信息，可能要经过复杂的数据挖掘和机器学习训练的过程。

      在移动视觉搜索中，用户提交的检索对象一般以图片为主，即以图搜图或以图搜文的模式是最常见的，而图像特征提取在计算机领域已经有了较多的研究成果，数字图书馆在构建移动视觉搜索框架时想要研究出更进一步的特征提取技术是不现实的，因此还需要引入已有的一些较为成熟的技术。

      而对于构建查询条件和执行查询操作，除了要依赖于检索对象的特征提取结果，由于关联数据要求使用RDF进行描述，因此还要借助专用的RDF查询语言。目前使用最广泛的RDF查询语言是W3C的SPARQL，它允许从RDF库中查询三元组，从3.1节中可知，关联数据集中的数据都是用URI来表示，因此SPARQL查询出来的结果也是URI，而通过URI可以连接到互联网中的任何数据，这就突破了关系数据库查询语言一次只能在单个数据库中查询的局限，整个Web对于SPARQL语言而言是一个巨大的整体的数据空间[29]，这种特点无疑使得用户能够更快捷地获取相关信息，只要关联数据集中存在相应的信息，便可以轻松实现跨越空间的信息获取。

      3.4 MVSMVC框架在数字图书馆中应用的展望

      MVSMVC框架从宏观角度出发，以关联数据作为底层支撑，构建了一个由模型、控制器和视图组成的MVC结构，框架中各个模块的职责明确，并且模块之间的交互有着明确的规定。在数字图书馆提供移动视觉搜索服务的过程中，MVSMVC框架可以作为整体服务架构的参考，而在应用MVSMVC框架时，数字图书馆还是应当以模型模块为核心，按照资源发现—语义化标识—语义化互联—数据集发布的流程，构建起语义化的、高度互联的视觉资源库。视觉资源库的建设是基石性工作，MVSMVC框架则可以使数字图书馆的工作紧紧围绕这个基石展开。

      4 结语

      本文提出了一个基于关联数据的数字图书馆移动视觉搜索框架——MVSMVC，该框架受软件开发中的MVC架构模式的启发，以关联数据为基础，共包括三个模块，每一个模块都有明确的分工和职责。同时笔者认为，在当前阶段，为了构建起移动视觉搜索框架，数字图书馆应该充分发挥自身在资源组织方面的优势，着力于模块模型的构建，也就是数字图书馆移动视觉资源的关联数据集的构建。本文目前只是提出了一个框架结构，对于数字图书馆探索移动视觉搜索的服务模式有一定的参考价值。后续的研究将首先深入到模型模块的具体构建工作之中，从元数据本体的构建到视觉资源的语义化描述和关联化处理，然后借助视图模块和控制器模块涉及相对成熟的解决方案，尝试MVSMVC的实际构建。

标签：数字图书馆论文;  元数据论文;  大数据论文;  语义分析论文;  用户研究论文;  数据检索论文;  移动搜索论文;  rdf论文;  框架论文;