多媒体人文信息系统设计与实施研究,本文主要内容关键词为:信息系统论文,人文论文,多媒体论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。
1 多媒体人文信息基本模式
1.1 多媒体信息特点
多媒体信息系统(MMIS)具有三性特征,即媒体多维性、集成性和交互性,其中媒体多维性指的是信息媒体的多种类、多性质、多样化;集成性在于将系统输入的“纷繁”而分散的数据和信息进行有机的包装、合成和组织,同时考虑多媒体信息空间中的交互作用,达到系统级的飞跃,从而将多维空间形成协调统一。
同样,随着电子计算机的发展(包括软件技术和硬件技术的发展),计算机世界可接受的数据也多样化了,即数据已经是多媒体数据。多媒体数据基本任务是:能够表示各种不同媒体数据的构造及其属性特征;同时能够指出不同媒体数据之间的交互关系,包括相互之间的信息语义关系,以及媒体特性之间的关系。而媒体特性之间最主要的是时空特性关系。
多媒体信息时空关系的建模不同于传统的数据模型。传统的数据模型只是对数据本身的信息内容进行建模,以表达语义。而在多媒体信息系统中,还存在另外一个重要方面——表现。表现是多媒体信息系统中所特有的,它不同于一般系统的显示;它是多种媒体的合成再现、加工再现、有交互性参与的创作再现。
因此,多媒体信息在表现时具有明显的视觉—听觉、静态—动态、暂时—永久、空间—时间等特性,而“空间—时间”这一对因素,在多媒体信息建模时是应考虑的主要因素,因为这一因素的变化会给其它因素带来直接的影响。
1.2 人文信息表达形式及其特点
人文科学信息流传久远,千差万别,从表达形式上与其它类型的文献信息有很大不同。其主要特征表现在:①思想性、时代感强;②卷幅浩繁;③图文并茂;④描述体式丰富多样,如有著作体式、论述体式、评述体式(文学文献信息);注释体式;校补、传记、墓铭、编年、记事本末、典制、学案、考试、地方志、图谱体式(历史信息)等;笔记本式(扎记、随笔信息);汇篡体式(类书、会要信息);列举体式(字典、辞典、书目、索引信息);诗、词、曲、赋体式(文学信息)等。人文信息的这些表述特征是其它任何一种信息表述不具备的,它是一种综合性信息的描述。
人文信息表达方式具有鲜明的特性,主要表现在:①积累性和继承性;②民族性和地域性;③历史性;④动态性和直观性;⑤载体多样性。
1.3 多媒体人文信息的特殊表达方式
人文信息表现形式丰富多采,但从多媒体技术表现信息的特征来说,无非就是图、文、声三种形式以及这三种形式的综合利用。归纳起来,这种特殊表达方式是:
(1)文本信息(Text)。这是一种描述人文信息的最基本的表达方式。文本信息可以描述人文信息表现的多种体式。实现的方法,可以通过输入设备(如键盘、扫描仪、语音识别设备等),将大量表达人文信息的文字输入计算机,并存储起来。
(2)音频信息(Audio)。描述丰富的音乐、音响、演讲、谈话等,可以通过录单、话筒、磁带、硬盘、光盘等收集所需信息存储。一般音频信息都需要通过压缩方式存放。
(3)静态图形(图像)信息(Image)。用来表现各种绘图、插图以及其它多种图片。通过高精度扫描仪将有关信息输入计算机,再用图形(图像)处理技术对其加工处理,得到所需图形(图像)压缩存储。
(4)动态图像信息(Video)。动态图像是生动表现人文信息的一种方式。通过实地录像、作一幅一幅的静态图,经过处理加工等方式采集信息压缩存储。
(5)混和信息。人文信息大部分都不是单一信息,往往都是两种乃至两种以上的信息的混合。这在处理、制作人文信息时,带来一定难度,同时也给设计人员带来了更高要求。一个好的人文信息多媒体系统制作、开发人员不仅要懂得程序设计,还要懂哲学、心理学、艺术、美学、音乐等,否则,不可能设计出人们喜欢的作品来。
2 多媒体人文信息系统基本框架
2.1 多媒体人文信息系统基本模型
根据人文信息量大、表现形式复杂、描述体式多样、超媒体连接方式等特征,多媒体人文信息系统应具有如下特点:①人文信息主要类型之间应具备逻辑连续性;②系统框架内信息表示数字化;③人文信息处理具有实时交互控制能力;④框架内具有产生、存储、传播多媒体信息能力;⑤易于扩充和移植;⑥易于排序和查询;⑦易于放到因特网的WWW中。
上述特点,在多媒体人文信息处理系统基本框架中,主要表现在:多媒体人文信息的产生与处理、多媒体人文信息的表现、多媒体人文信息的存储与检索、多媒体人文信息的传播与分布、成组通信与协调以及分布应用管理等方面的服务。如图1所示。
(1)输入模块:由一组输入设备构成。文本信息通过键盘、图形通过扫描仪、声音通过话筒、音乐通过录音等方式录入。
(2)对象处理模块:处理多媒体各种类型数据的压缩与还原、分类与索引、图形与图像的预处理、特征提取、识别及分析等功能。
(3)多媒体人文信息数据库管理:多媒体人文信息数据库类型分为两大类型,一类是文本类,包括文献库与诗、词、曲、赋库;另一类包括非文本性质的二进制类,包括图形、图像库与音乐、声音库。数据库两类数据相互关联形成超媒体链,完成存储结构、位置管理;实施完整性、安全性、并发性等控制;实施版本控制、恢复、查询优化、聚簇、索引等功能。由于多媒体人文信息数据库管理的特殊性,可以采用离散组织方式进行存储。
(4)查询模块:为用户提供交互式的方式查询。
(5)WWW转换模块:选择Web服务器,将多媒体人文信息转换为HTML格式,在因特网上发布。
2.2 多媒体人文信息数据模型
多媒体人文信息系统数据模型反映人文信息的基本概念、实体、属性和联系,反映了人文信息多种媒体的合成再现、加工再现、交互性参与的创作再现,因此,表现是多媒体人文信息系统中的一个重要方面。
多媒体人文信息系统数据模型不仅表达应用的语义,而且还考虑再表现时空编排,既包含对系统人文信息内容的语义组织,也包含人文信息表现时的合成关系。内容和表现是一个问题的两个方面,它们既相互独立,又彼此联系,统一于整体模型之中。
以层次观点看待多媒体人文信息应用及其数据模型,可分为三个层次,如图2所示。
多媒体人文信息系统应用级:从应用的整体结构和组织考虑模型的构建。
多媒体人文信息系统信息元级:信息元是具有了一定语义的组成应用的信息子集,通常由一个或多个单媒体数据元合成而成,如三峡工程开工典礼的描述,既有图像、文字,还有声音,是多个媒体的组合。
多媒体人文信息系统数据元级:经多媒体输入设备输入的数字化/矢量化/符号化/点阵化了的各种单媒体数据的进一步格式化(包括数据压缩)。
从表现角度看多媒体人文信息数据模型的表现与内容之间关系,如图3所示。
上层同步通过脚本/剧本(Script)的编排解决,中层同步解决多媒体人文信息系统信息元内多元素的时空合成,底层系统同步完成整个系统内部的协调、统一。
2.3 多媒体人文信息系统功能分析
多媒体人文信息系统功能必须满足两个重要条件,一个是多媒体的表现,另一个是人文信息的特征。多媒体的表现,在人机界面上应体现图、文、声并茂,而不再是简单的下式拉菜单的文字方式;人文信息的特征,在人机界面上应体现人文信息所包含的内容、形式,而不是一般的信息描述。
从信息组织分析多媒体人文信息系统的功能,有三峡水利枢纽工程、重要物资资源库、长江三峡风景、库区古文化遗址、历代名人咏三峡诗、词、曲、赋。
●三峡水利枢纽工程由三峡工程综合效应及中国世界之最、三峡工程前期工作编年纪、各蓄水方案数据指标及其分析、中央领导对三峡工程的关怀组成。
●重要物资资源库反映了三峡库区丰富的土特产品和稀有的物资资源。
●长江三峡风景区由瞿塘峡、巫峡、西陵峡近百个景点组成。
●库区古文化遗址由库区著名的古文化遗址组成。
●历代名人咏三峡诗、词、曲、赋由历代著名诗人、伟人歌颂三峡的诗、词、曲、赋组成。
从用户操作分析多媒体人文信息系统的功能,具有操作方便、易于维护、易于扩充、易于查询等特点。
操作方便:系统具有键盘与鼠标操作方式,功能选择通过直观的图形。
易于维护:系统为用户提供对各种信息的修改功能。
易于扩充:系统为用户提供各种信息的追加功能。通过扩充,不断完善人文信息所体现的特征。
易于查询:系统为用户提供直观的查询手段,尽量地不用或少用表示式方式、直接输入方式进行查询。
3 多媒体人文信息处理技术规范
3.1 多媒体人文信息系统数据与数据库管理
在数据库中,一般常用的多媒体数据类型有字符数值、文本、声音、图像(包括图形、位图图像、动画和视频)等。
字符数值:字符数值型数据记录的是对象非常简单的属性(如库区水涨、水落)、数值属性(如反映长江三峡的中国世界之最的数据)或高度抽象的属性(如景观与景点)。这种数据具有简单、规范的特点,易于管理。传统的数据库主要是针对这种数据的,在多媒体人文信息数据库中仍然需要管理大量的这一类数据。
文本数据:文本是常见的媒体形式,在人文信息中的三峡工程前期工作编年纪、名人诗、词、曲、赋、三峡风景介绍等无不是由文本媒体数据为主构成。
声音数据:在多媒体人文信息系统中有多种声音数据,如音乐数据、语音数据、效果数据等。音乐数据由符号表示,语音数据、效果数据以数字化的波形数据表示,这对传统的数据库管理带来一定困难,需要作一些特殊处理。
图像数据:图像数据有多种媒体形式,如位图式图像、矢量化图形、动画以及动态视频。由于其性质和存储上的极大差异,在计算机中的表示是截然不同的。图像数据在多媒体人文信息系统中出现的频率很高,有极大的实用价值。图像配上音乐、语音、效果等,使得整个系统逼真、直观,体现了多媒体人文信息系统的图、文、声并茂的特征。但是,这对传统的数据库管理带来了更高的要求。
3.2 多媒体人文信息数据库与传统数据库
字符数值、文本、图形、声音和图像等各种媒体类型是研究多媒体人文信息数据库的基础,但它却与传统的数据库管理有许多不同的地方:
(1)数据量巨大且媒体之间量的差异也很大,从而影响数据库中的组织与存储方法,如人文信息中的图形一般都在几十上百KB以上,而字符数值等数据仅仅有几个字符,就是文本信息也在IKB以内。而图形、声音、文本信息有机地结合,必须通盘考虑不同类型的数据存取与组织。
(2)媒体种类的增多增加了数据处理的困难。在多媒体人文信息数据库中,图像要求256色以上,声音要求WAV格式,要保证系统中的图像清晰、美观、声音悦耳,设计中要增加系统测试功能。
(3)多媒体人文信息系统不仅改变了数据库的接口,使其图、文、声并茂,而且也改变了数据库的操作形式,其中最重要的便是查询机制和查询方法。由于媒体的分散、复合、时序性质及其形象化的特点,查询不再是通过字符或关键词,而是通过各种图表方式。在多媒体人文信息系统中,名人诗、词、曲、赋,只要在诗人抚琴的图像上用鼠标一点,一首首诗词就展现在用户面前,音乐、诗词并发,犹如进入音乐厅、参加朗诵会。
3.3 多媒体人文信息数据库结构设计
关系数据库通过联结、投影等操作体现出结构语义的特征,给人简单易懂的形象,但对于多媒体人文信息数据库的设计,由于一个事务对应一个或多个对象,给数据库的设计带来一定难度。首先是一般的数据库管理系统没有图像和声音的字段类型,其次是一个事务对应一个或多个对象时,数据库的冗余度大,就是能管理,其维护复杂。在不使用多媒体数据库管理系统管理多媒体人文信息系统数据的前提下,如何设计一个合理的数据库数据结构,是本系统设计中应解决的一个重要课题。
经过分析,数据库采用对象索引法结构进行管理。所谓对象索引法就是一个事务由索引号、文本类、声音类、图像类组成。各类媒体文体存放在不同子目录中,如图4所示。
多媒体人文信息数据库采用对象索引法结构的管理方法有许多优点,突出表现在:①大数据量的图像、图形、音乐、语音信息脱离数据库的管理,系统负担轻,查询速度快;②图像、图形、音乐、语音效果以文件形式分别存放在不同子目录中,易于维护,即使这些文件作了适当修改,甚至替换,也不影响数据库管理系统的管理;③图像、图形、音乐、语音、效果以文件形式存放坚定性好,即使某一文件出了问题,也不会影响整个系统的正常运行。
3.4 基于表示形式的检索与查询方法
多媒体人文信息数据对数据库操作也提出了一些新的要求和特性,特别是对多媒体人文信息数据的检索和查询。一般的数据库检索和查询只提供了基于媒体描述、关键字一类。但很多的应用要求数据库系统能对图像或声音等媒体进行内容语义分析,以达到更深的检索层次。
因此,多媒体数据库管理系统中的检索与查询一般分基于表示和基于内容两大类。基于表示的检索与表示的数据类型和数据结构有关,不需对内容作任何分析,在多媒体数据库中常用于复合媒体对象的检索。对于基于表示的检索查询必须使用约束来限定检索空间。基于内容的检索则是根据媒体内容语义进行的。最容易做到的是对文本媒体的内容检索查找,由用户描述一组对象,然后对内容进行匹配。例如,查找“巴东三峡巫峡长”的诗句,则立即查到郦道元的《水经注》。在人文信息文本数据的全文检索中则是这样。对于文本检索主要是如何保证其查全率和查准率,而不会产生无法进行匹配的问题。对于图像、声音这一类媒体来说,基于内容的检索和查询就要困难得多。符号标注记(如关键字标注、属性描述)对于设计者来说实现容易,自动语义分析对于用户来说更为有利。但图像、音乐、语音的语义分析对设计者来说却有相当困难。
多媒体人文信息数据库检索与查询,对不同媒休采用不同方法,对于文本式媒体采用基于内容检索查找;对于图像或媒体采用基于形式检索查找。例如,在实现三峡风景查询时,屏幕上出现三峡景点图和有关三峡风景的描述。用鼠标点景点图像,屏幕上同时出现放大的景点图和文字描述。
基于表示形式的检索和查询实现的方法采用了超媒体的对象群节点联接子网的设计思想。
4 多媒体人文信息开发环境、工具与方法
4.1 多媒体人文信息开发硬件环境
在现有计算机系统中,要以数字化方式处理多媒体信息,因此,必须要把音频和视频信号数字化,以数字数据的形式键入到计算机存储器中。这样计算机软件才能够对它们进行有效的处理。
多媒体人文信息系统除了大量文字信息外,还有许多图形、图像、音乐、语音、声音等需要输入。
图像输入设备——图像扫描仪。目前图像扫描仪是多媒体人文信息系统中最常用的静态图像输入设备。
扫描仪可以为平板式、手持式和滚筒式三种类型。滚筒式扫描仪主要用于大幅面图形的输入,例如CAD图形、地形图等。手持式扫描仪主要用精度要求不高的应用环境,其扫描的宽度较窄,由于用手移动控制垂直方向的扫描,所以图像容易失真。平板式扫描仪对多媒体平台是最合适的,它的分辨率一般可达600dpi(每英寸点数),每个像素的量化可达24位(红绿蓝各8位),颜色达16位。多媒体人文信息系统图像输入采用平板式扫描仪。
音频处理设备——录音机、CD机、音频卡。在多媒体人文信息系统中,语音(如解说词、诗朗诵等)的输入先使用录音机进行加工、处理、合成,通过录音机输出输入计算机作文件方式存储;音乐可以通过CD机输入加工处理,以文件方式存储。存储的这些音频信息文件通过音频卡处理还原。
图像输出设备——显示系统。PC机显示系统由显示器(Monitor,监视器)和显示适配器(Adaptor)组成。现在常用的显示器有多步显示器和平面直角显示器。为了保证多媒体人文信息系统图像不失真,减轻对人眼眩目效应,增大可视区域,边角部位的图像质量较好,采用平面直角显示器。
DVI数字视频交互系统。DVI即数字视频交互(Digital Video Inte-ractive),是Intel公司推出的支持对多媒体信息进行处理及表现的一个集成环境。该环境采用一种全数字化的方法,对媒体信号进行存储和处理;压缩视频与声音数据;合成图形等,为存储和处理多媒体人文信息提供了强大的功能。
硬件环境是:使用该系统必须具备VDP[,1]像素处理器、超级CRT控制器、VDP[,2]、DVI音频处理器等。
硬件系统配置。多媒体人文信息系统对硬件系统的最低配置要求如表1。
4.2 多媒体人文信息开发软件环境与工具
硬件是多媒体人文信息系统开发的基础,软件是多媒体人文信息系统开发的灵魂。由于多媒体人文信息系统涉及到种类繁多的各种硬件,要处理形形色色差异巨大的各种多媒体数据,因此,如何将这些硬件有机地组织到一起,使用户能够方便地使用多媒体人文信息数据,是多媒体软件的主要任务。
多媒体软件可以划分不同层次。多媒体人文信息系统层次按其功能可划为六层,如图5所示。
(1)多媒体人文信息系统硬件,如4.1节所述。
(2)多媒体人文信息系统驱动软件。多媒体人文信息系统软件中直接和硬件打交道的软件叫驱动程序,它完成设备初始化,各种设备操作等。例如,图像扫描仪——扫描仪驱动程序;CD-ROM——光盘驱动程序;音频卡——声卡驱动程序;显示器——显示驱动程序等。
(3)多媒体人文信息系统平台。多媒体人文信息系统平台是多媒体人文信息系统软件的核心。它负责控制和管理多媒体人文信息系统硬件和软件资源,保证音频、视频同步操作以及信息处理的实时性。目前,用得最多的平台是DOS和Windows两类操作系统,传统的DOS环境已远不能满足一般多媒体软件的要求,更不能满足人文信息处理系统的要求。多媒体人文信息系统选择Windows95作为开发平台,是由于Windows环境不仅突破了640KB内存限制,具有多任务功能,使用GUI(图形用户界面),而且具有动态连接库DLL(Dynamic Linking Library)、动态数据交换DDE(Dynamic Data Exchange)、多媒体支持和目标连接嵌入OLE(Object Linking Embeded)等功能。
(4)多媒体人文信息系统开发工具软件有:
1)图像处理软件——Photoshop4.0 Photoshop是80年代末由美国Adobe公司推出的彩色图像处理软件,其软件设计优美、精炼、功能强大,利用Photoshop可以完成人文信息图像扫描(在Windows环境下先安装图像扫描仪驱动程序,再安装Photoshop软件,则Photoshop软件自动与扫描仪连接)、图像编辑、创意设计和绘图。
2)音频编辑软件 Cool95是Syntrillium Software公司开发的音乐、语音编辑软件,可以编辑的声音格式文件有aif、snd、au、iff、svx、sam、smp、voc、vox、wav、pcm等。
Sound Impression是Dennis Mcmahon公司1991-1994年开发的音乐播送工具,通过播放midi格式的音乐文件转录成wav格式。
Cool95与Sound Impression配合使用,可以将悦耳动听的音乐合成系统所需的音乐媒体。
3)DVI系统软件 DVI系统软件目前主要有两种,一种是基于DOS环境下的AVSS(Audio Video Support System),另一种是基于Windows下的AVK(Audio Video Kenerl)。多媒体人文信息系统采用后一种。在Wi-ndows95环境下,通过编程接口API把AVK连接到特定的应用环境,动态播放三峡景观。
4)PowerBuilder——数据库前台开发工具 PowerBuilder是美国著名的数据库应用开发工具生产厂家Powersoft公司1991年6月推出的功能强大、性能优异的开发工具。它是一种完全按照客户/服务器(Client/Server)体系结构研制的开发环境,是一种面向对象的、具有可视图界面的、快速的交互式的开发工具,自带内置数据库管理系统。PowerBuil-der5.0具有数据库数据转换WWW的接口,是接好完成多媒体人文信息系统总体设计思想的最佳选择。
(5)多媒体人文信息系统应用。这是多媒体人文信息系统设计与开发的主题。在总体设计思想的指导下,完成多媒体人文信息系统的所有功能,提供用户使用。
4.3 多媒体人文信息系统开发方法
多媒体人文信息系统开发采用原型法。所谓原型法就是开发者与设计者以及用户根据系统要求不断完善系统的设计方法。
多媒体人文信息系统设计流程如图6所示。
系统分析。由于该系统的研制与开发是国家社科基金科目——“多媒体人文信息数据库”的一部分,即计算机应用软件部分,因此,系统分析主要参照立项报告的要求具体化。
详细设计。从人机界面到数据库数据结构既要体现多媒体的表现,又要体现人文信息的特征,还要有创意,因此详细设计应从事务描述出发,体现事务中各媒体对象之间的关系及其活动。
采编素材。人文信息从内容上划分,包括三峡工程、三峡古迹、诗、词、曲、赋、风土人情、物资资源等,从表达方式上划分,包括文本、图像、声音(音乐、语音、效果)等。根据详细设计的功能要求,首先采集最能代表人文信息特征的内容,去粗取精,去伪存真,然后加工处理。
素材输入、加工处理。根据不同媒体采取不同输入方式,输入计算机,对图像进入扫描,加工编辑;对音乐、语音输入计算机进行合成等。
编码。根据详细设计的要求,进行界面设计、编写脚本。人机界面设计要求不落俗套,体现多媒体图、文、声融为一体的特点;脚本编写采用基于事件的编程工具。
调试。利用PowerBuilder的调试手段,如单步跟踪、设置断点、查看变量的值等方法,提高开发速度,缩短开发周期。
预审。这是原型法很重要的一个步骤,开发人员和设计人员根据立项报告的要求,逐项检查软件实现的广度与深度。预审满意否,可分两种情况,一种情况是素材采编是否充足或是否有误;另一种情况是从功能角度审查是否达到立项要求,这两种情况的着眼点均在是否完成立项中的各项指标。
试运行。跟预审一样,是完善系统功能,达到立项要求的进一步审核。
项目验收。经过一段时间试运行,再没发现错误或基本达到立项指标,便可向主管部门申请验收。
标签:信息存储论文; 文本分类论文; 用户研究论文; 文本分析论文; 图数据库论文; 数据检索论文; 电脑论文; 多媒体技术论文;