实化视图重新演算算法与实现

实化视图重新演算算法与实现

左亚尧[1]2002年在《实化视图重新演算算法与实现》文中认为数据仓库是为响应高层查询与分析(如决策支持和数据挖掘)而建立的一个数据库系统,它是实化视图的集合,实化视图存储于分配给数据仓库的物理空间中,并响应所有对数据仓库的查询请求。建好数据仓库后的重要课题就是如何对它有效地维护,尤其是下层数据源产生更新后,数据仓库的实化视图怎样与之保持一致就成了一个迫切的问题。就目前的研究现状来看,主要有两种方法:增量式实化视图维护方法和自维护方法。视图自维护方法通过在数据仓库中复制所有或部分源关系的数据,从而使维护数据仓库实化视图时不需要访问数据源。然而,实化视图仍必须从数据源获得必要的信息,大多数更新操作不能使用实化视图可自维护来演算,而且它增加了空间复杂性并导致信息冗余上升。因而通常更实际的情况是用增量式维护方式来更新实化视图。增量式实化视图维护方法实化基本关系中的相关数据子集成为实际的视图,并且依靠这个本地数据来处理用户查询,当收到数据源产生更新后,对实化视图进行增量式重演算维护,如ECA算法、Strobe算法、OLEC算法等。OLEC算法克服了ECA算法和Strobe算法的缺点,它不需要额外的本地补偿操作,视图增量提交时也不需要数据仓处于静止状态。 我们的目标是致力于构建一个通用的可嵌入现有MIS系统和分布式数据库系统的数据仓库引擎,以最小代价将它们提升为数据仓库系统,进而进行高层的数据应用开发。在这篇论文中,我们为数据仓库系统中的视图维护与一致性提出一个新的方法,称为PMDVM算法。它通过CORBA和JAVA技术来实现,以WHIPS数据仓库原型为基础,我们赋予OLEC算法并行处理并发更新的能力,也对WHIPS原型作了一定的改进,并且集中了几种不同的算法,包括相关性检测算法和视图自维护算法。当收到更新后,PMDVM方法首先用相关性对其检查,对不相关更新直接抛弃;对相关更新对其进行并发增量视图维护或自维护机制检查,对满足自维护的更新通过查询辅助视图(而不是查询数据源)来避兔网络传输和使实化视图与底层的数据源保持一致,对必须进行并发增量视图维护的更新由POLEC来处理。

徐文斌[2]2004年在《基于数据仓库实体化视图的数据一致性维护方法研究》文中指出通常,数据仓库中存储了大量实体化视图,这些视图中的数据主要用于决策分析。由于数据仓库中的数据大都是从操作数据库中提取出来的,因而,数据仓库中的数据应定期刷新,以与数据源中数据保持一致。在视图维护中,算法好坏直接影响到维护的效率。 常规的视图维护算法在维护实体化视图与下层数据源之间的一致性方面暴露出一些效率问题,而且有些算法还会导致异常问题。首先,本文以斯坦福大学提出的WHIPS系统为基石,详尽的介绍了它的运行原理,分析了它的体系结构和各模块的功能。其次,本文对常用算法作了系统地介绍,阐述了每个算法的原理,指出了其优缺点,并进行了改进。最后,本文提出了一个新的算法——并行视图维护(PVM:Parallel View Maintenance)算法。 PVM算法综合了几种不同的算法,包括在线纠错算法的并发版(POLEC)、相关性更新检测算法和视图自维护方法。该算法从不同的角度或方面来处理视图维护问题,以最小的时问开销来维护视图一致性,极大地提高了维护性能。当收到更新时,PVM算法首先用相关性对其检查,对不相关更新直接抛弃;对相关更新进行并发增量视图维护或自维护机制检查;对满足自维护的更新通过查询辅助视图来避免网络传输和使实化视图与底层的数据源保持一致;对必须进行并发增量视图维护的更新由POLEC来处理,增加了对更新的吞吐能力,减少了维护的延迟。 本文主要有以下叁个方面的创新: 首先,它修正OLEC算法只能顺序处理的瓶颈,赋予其并行处理能力,对并行处理所引入的问题作了深入地分析,给出了全面的解决方案; 其次,在POLEC的基础上,PVM算法结合几种不同类型算法的优点,首次在增量维护中引入自维护的思想和相关性更新处理,将这叁种不同类别的算法有机融合为一体; 再次,它继承了以往所有算法的优点,但又完全克服了这些算法所表现出的缺陷,从而不论是响应时问还是消息总量,都获得了改善,从本文对算法不同方面所作的科学估算来看,PVM在维护性能上具有十分明显的提升。

左亚尧, 舒忠梅, 潘久辉[3]2003年在《一种高效的视图维护算法》文中进行了进一步梳理通过选择性算法将增量式视图维护和视图自维护有效地融合在一起 同时它还利用相关性算法对不相关更新进行过滤 ,可以有效地降低消息总数和数据的通信量 ,从而大大提高视图维护的效率 ,具有现实的应用意义

舒忠梅, 李师贤, 左亚尧, 周晓聪[4]2006年在《基于模式和数据并发更新的视图维护机制》文中研究说明在数据仓库的实化视图维护处理中,如何有效地处理并发更新是一个重要而又棘手的问题.文中阐述了P2P环境下模式与数据全面并发的典型情形,分析了因并发更新而导致视图维护异常的原因,针对这些不同的方面提出相应的纠正策略.给出了一种基于时态演算的并发更新侦测方法,以及混合更新下对关联更新进行检测的有效算法,最后提出了解决乱序提交问题的增强代理机制,确保了数据仓库与数据源的一致性.

左亚尧, 舒忠梅, 汤庸[5]2011年在《一种维护分解的并行增量视图维护方法》文中提出实化视图维护是指在数据源的原始数据发生改变时,有效地将这种变化反映到数据仓库中,使相应的实化视图得到及时更新.当前的视图维护方法主要以C/S结构为基础,当更新频繁时将会导致数据仓库超载而崩溃.针对这种现状,提出基于维护查询任务进行分解的实化视图并行增量维护P3Sweep算法,算法修正了Sweep算法只能顺序处理的限制,赋予其并行处理能力.对于单个更新,P3Sweep算法通过对维护查询任务进行分解,并行执行左右扫描过程来完成维护演算;对于并发更新,算法通过递归分解方式进行细粒度并行演算.性能计算和实验测试结果表明,该方法增加了系统对更新的吞吐能力,减少了维护的延迟,从维护查询任务本身实施对实化视图维护的优化.

舒忠梅, 李师贤, 左亚尧, 周晓聪, 汤庸[6]2005年在《基于Peer-to-Peer的主动视图维护模型研究》文中研究说明1引言实化视图是数据仓库(Data Warehouse,DW)中存储的主要信息实体,它将各分布式数据源的数据实体化。在一个典型的数据仓库系统中,数据源是由不同的信息提供者拥有,并且功能独立于其他

肖书立[7]2006年在《激光传输过程的虚拟仿真技术研究》文中研究指明激光传输过程的可视化对激光技术的研究具有重要的意义。本文借助虚拟现实技术,结合可视化仿真技术等,首先建立了激光传输原型装置的样机模型,并对模型进行优化,从而建立仿真虚拟场景。根据激光的本身特点和空间传输特性,基于实体流技术和粒子系统,结合纹理贴图技术、Billboard技术等实现了激光的可视化建模。以数据库和光传输模拟演算软件为支撑,通过实时读取后台数据等方法,实现了基于物理规律的激光传输运动建模和可视化建模。接着分析了虚拟场景实时仿真技术的特点,以Vega为主要驱动引擎,结合游戏引擎,给出了基于MFCVega的虚拟场景实时仿真的设计方案。然后提出了模型广义包围盒(GBB)概念,以广义包围盒为基础,实现了场景碰撞检测、模型拾取等交互驱动机制。基于物理数据驱动机制,即通过光传输模拟演算软件同步计算所得数据,实现激光传输过程的实时仿真驱动和各关键光学仪器的安全工作状态监控。文中基于数据库技术实现了仿真信息的实时输出和查询,结合OpenGL、Matlab、ADO等,实现了虚拟场景的实时仿真叁维显示机制。最后,本文基于设计目标和功能需求分析,设计了仿真系统的整体框架,将仿真系统分为建模模块、场景驱动模块、仪器监控模块、信息处理模块、数据库管理模块、叁维显示模块等,具体设计并实现了各功能模块,开发出激光传输过程可视化仿真系统。同时整个系统所实现的功能进行总结,并提出对今后工作的展望。仿真系统的建立为激光传输的研究提供了一个仿真平台,可对激光传输进行验证、仿真、演示和训练手段。

李幸[8]2015年在《基于语义题库的智能教辅系统》文中研究表明在高速发展的当今社会,传统教育的弊端愈加显现,于是网络在线辅导系统随之产生。但是很多已有的在线辅导系统单纯基于纯文本和视频,教辅效果并不理想。此外,已有的中学数学领域的在线辅导系统还比较缺乏,与我国对中学数学教育的重视和关注程度达不到一致。因此,总结以往的经验,我们提出一种基于语义题库的智能教辅系统。简单的说,语义就是数据的含义。数据本身就是符号,于是被赋予了含义的数据才能被使用,这时候便有了我们所说的信息。在语义的概念中,语义有两大特征,一是领域性特征,即对于计算机科学而言,领域特征是用户用来说明计算表示和现实世界的途径;二是主观特征,即系统的对象是用户,正好信息概念又具有很强的主观特征,于是我们可以将语义的描述等同于知识的描述。因此,本文通过对几大关键技术的研究,建立感知学习场景,构建出一个支持网络互动的智能教辅系统,主要研究内容如下:首先,将对贯穿整个系统的技术理论进行研究。将本体理论应用到题库中,使一般机器能真正理解习题所要表达的内容,使系统共享程度和智能化水平更高。习题语义化之前的深入的知识点提取;研究用户信息和收集提交的反馈信息;学习分析展示用户学习情况。然后,使用几大关键技术,建立基于语义题库的智能教辅系统,贴近现实,模拟用户真实习惯,分别以学生用户和教师用户进行功能规划;基于题库的系统功能模块设计;叁大学习模式的研究;自动判卷的在线同步应用。最后,描述基于语义题库的智能教辅系统的设计和实现。首要是解决教学领域里的知识点的表示,以此提高语义题库的智能化和灵活性。同时在解题过程中最大程度的贴近用户的实际习惯,甚至提供最佳步骤和发散思维两种模拟解题思路。配合判卷在线功能,应用自动化达到同步性和一致性。提出针对学生用户的叁种学习模式,实现多方位学习。根据用户学习和答题的情况,跟踪,记录,反馈,形成专为用户定制的功能推送。对单个用户和多个用户学习情况的宏观和微观统计,便于学生和老师用户查看和分析,在网络互动的环境下,实现一个完整的基于语义题库的智能教辅系统。

参考文献:

[1]. 实化视图重新演算算法与实现[D]. 左亚尧. 广东工业大学. 2002

[2]. 基于数据仓库实体化视图的数据一致性维护方法研究[D]. 徐文斌. 中南大学. 2004

[3]. 一种高效的视图维护算法[J]. 左亚尧, 舒忠梅, 潘久辉. 计算机研究与发展. 2003

[4]. 基于模式和数据并发更新的视图维护机制[J]. 舒忠梅, 李师贤, 左亚尧, 周晓聪. 小型微型计算机系统. 2006

[5]. 一种维护分解的并行增量视图维护方法[J]. 左亚尧, 舒忠梅, 汤庸. 小型微型计算机系统. 2011

[6]. 基于Peer-to-Peer的主动视图维护模型研究[C]. 舒忠梅, 李师贤, 左亚尧, 周晓聪, 汤庸. 第二十二届中国数据库学术会议论文集(研究报告篇). 2005

[7]. 激光传输过程的虚拟仿真技术研究[D]. 肖书立. 华中科技大学. 2006

[8]. 基于语义题库的智能教辅系统[D]. 李幸. 电子科技大学. 2015

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  

实化视图重新演算算法与实现
下载Doc文档

猜你喜欢