张闯[1]2007年在《数据仓库中的索引技术》文中提出为了能更好地支持决策分析,发挥数据的更大价值,数据仓库技术应运而生。其中,联机分析处理(OLAP)是数据仓库最主要的应用之一。本文从提高数据仓库和OLAP系统性能的角度出发,讨论了基于关系存储的多表连接,研究了目前数据仓库系统比较流行的索引技术,并对位图索引进行了全面的研究。文章研究了B树索引、位图索引、索引组织化表、B~*树群索引在数据仓库中的正确应用,并就这几种索引技术的优缺点进行了分析,同时提出了在数据仓库中创建和维护索引的一些建议。位图索引是一种比较重要的数据仓库索引技术,主要基于二进制逻辑运算的简化操作来达到查询优化的目的,位图索引的主要特点是查询效率高,实现起来比较简单,具有很强的可操作性。然而在一些场合,也有不太适合的地方。位图索引不太适合数据仓库中的范围查询,最主要的特点是占用了较多的空间,本文提出了编码位图索引在范围查找中的应用,并实现了算法。实验证明,算法取得了预期的效益。基于关系存储的联机分析处理(ROLAP)通常会涉及多表连接操作。由于基于关系存储的数据仓库一般采用星型结构组织数据,所以传统的多表连接方法已经不太适合ROLAP查询的需要。本文研究了目前较新的多表连接方法,例如多表哈希连接算法、多表排序连接算法,它们结合了星型的特点,极大地提高了效率。本文提出了基于位图索引的多表连接算法,并加以实现和改进,这种算法能够极大地提高联机分析处理的速度,实验证明,算法达到了预期的目标。总的来说,数据仓库中的索引技术,是一个比较新的课题,每种索引各有所长,在数据仓库中要综合考虑,选择恰当的索引。
王军[2]2007年在《数据仓库技术在商业智能系统中的应用》文中指出当今世界已进入全面知识管理时代,信息量的急剧增加使得企业的决策过程日益复杂。新兴的商业智能技术为企业提供了新的选择,越来越多的管理者开始借助商业智能技术为企业寻求解决之道。虽然当前商业智能的研究与应用正处于从起步阶段向发展阶段过渡的转变时期,其理论研究与系统应用已成为目前国内外企业界和软件开发界广泛关注的热点问题。商业智能是对商业信息的搜集、管理和分析过程,目的是使企业各级决策者获得知识或洞察力,促使他们做出对企业更有利的决策。商业智能一般由数据仓库、数据分析、数据挖掘、在线分析、数据备份和恢复等部分组成。目前对于商业智能的开发还没有一套系统的研究,本文从这些出发对该系统作较为全面的研究,并在项目实践过程中对其中的经验进行总结,对其中的重要问题提供相应的对策。本文在第一章主要介绍了商业智能的产生以及体系结构,开发及实施过程以及商业智能的应用。第二章和第三章分别介绍了商业智能系统实现的技术基础:数据仓库和商业智能。在第二章重点对数据仓库产生的背景、数据仓库的体系结构、ETL、OLAP等技术做了深入研究;对数据仓库、数据集市、数据库做了比较分析;对数据仓库的实现策略、开发流程、实施特点进行研究,同时比较分析了常用的数据仓库工具以及数据仓库的新技术。这些为后面的系统实现奠定了基础。第四章和第五章主要介绍了系统的设计、实现。重要的是对系统实现过程中的经验作了总结,为以后系统的开发提供了重要的参考。
孟雅珍[3]2006年在《银行监管部门数据集市系统的设计与实现》文中研究指明银监会的正式成立,意味着中国的金融监管体制又向前迈进了一大步,同时也对银监会监管信息化提出了更高的要求。监管信息化涵盖了银监会业务的各个方面,其中非现场监管作为银行监管的一种重要方式,主要通过对银行数据、报表和有关资料,对银行经营业务进行风险监管和评价。实现非现场监管信息系统,可以帮助银监会运用成熟的监管模式和风险评价方法,对银行经营业务进行更科学地监管,提高监管效率,辅助监管决策。本文在此背景下研究和开发了以银监会监管一部为原型的非现场监管信息系统。非现场监管信息系统实质是一个决策支持系统(DSS),主要供监管人员浏览银行报表,进行各种数据分析,识别风险并对风险进行评价。通过对银行监管业务的分析,考虑银监会现有信息化基础,本文主要采用数据集市和OLAP多维分析技术来实现监管一部的非现场监管信息系统。数据集市是部门级应用的数据仓库,具有更强的实用性,针对部门需求开发,也是目前DSS系统普遍采用的实现方法。OLAP支持对银行多维数据的快速查询及分析,是非现场监管系统的核心应用。本文首先分析了数据仓库、数据集市及OLAP技术的研究现状,了解了它们各自的优缺点,总结了其在实现DSS系统的作用。同时,对银监会的银行监管业务作了详细的调研,归纳总结了非现场监管系统的需求。需求分析指出报表浏览、数据分析、指标预警、风险评价是系统的核心功能需求。在需求分析的基础上,本文作了详细的系统设计,将监管业务按照内容分成了8个主题域,每个主题域下都有相应的分析对象,并提出了风险监管指标体系。基于Web的非现场监管数据集市系统采用了J2EE平台进行系统开发,实现系统的三层架构。在底层数据库上,运用星型模式实现多维数据模型,自行开发了ETL数据抽取转换工具。在前台数据展现上,采用了BRIO作为商业智能应用,实现多维数据分析。在决策支持上,系统实现了对银行的风险评价体系。银行监管部门数据集市系统的实现,基本满足了银监会部门非现场监管要的要求。本文研究结果表明,基于数据集市的决策支持系统在银行监管信息化建设中具有实际意义,是可行的,并可为其他部门监管信息化或银行内部监管提供借鉴;数据集市作为一种支持DSS的底层技术,具有很好的优势,值得推广应用。
李丹, 孙艳秋, 闫朝升[4]2015年在《中药信息数据集市的设计与应用》文中进行了进一步梳理目的:探寻面向分析型需求的中药信息存储的有效途径。方法:在总结中药信息存储库的研究现状基础上,结合相关理论,设计中药的基本维度及其层次结构;利用星形模式,设计中药信息数据集市的多维模型;以查询为实例,设计并实现中药信息多维查询系统,验证中药信息数据集市的有效性和实用性。结果:中药信息数据集市实现了基于多维模型的信息组织,中药信息多维查询系统实现了多维度、多层次、多侧面的信息查询。结论:中药信息数据集市能够提供分析型信息存储环境;中药信息多维查询系统丰富了信息查询的方式,为其他对象的多维查询提供了可行的解决方案。
林向阳[5]2008年在《基于数据挖掘的移动大客户流失分析》文中认为随着3G的到来和运营商的重组,移动通信行业的激烈竞争加剧了客户流失,这对运营商的市场占有率、经济效益等多项关键指标产生直接影响。著名的“20/80”规则告诉我们,占企业客户总量20%的高价值客户贡献了80%的利润。可见面对激烈的市场竞争,我们应当更关注于挽留有流失倾向客户中的高价值客户。数据挖掘技术在移动客户流失预测的现状:由于移动行业的特殊性,如数据量大、数据结构复杂、客户资料不健全以及业务繁琐等等因素,目前客户流失预测的准确性以及可用性不高。多数开发商主要的手段是根据客户的历史数据建立客户属性、服务属性和客户消费数据与客户流失可能性关联的模型,找出客户属性、服务属性和客户消费数据与客户流失的最终状态的关系,并用这个关系建立不同的算法的挖掘模型[4]。因此,有必要进一步研究数据挖掘技术在移动客户流失预测的应用,以提高预测的准确性以及可用性。论文的主要工作在于:1.针对移动通信企业对集团大客户离网倾向的分析需要,通过对数据来源和数据映射关系的研究,在企业级数据仓库的基础上对数据进行进一步的抽取转换,建立大客户离网预测数据挖掘集市。2.对数据挖掘技术中的分类预测方法进行了一定的分析比较研究,并选用C4.5决策树算法进行数据挖据及结果分析,实现“移动通信集团大客户流失预测”挖掘主题的应用。3.引入“集团客户纯度”概念进行模型优化,对大规模客户群体和复杂业务环境下的大客户流失预测模型的建立给出若干规则的建议,对如何降低决策树对训练样本集的依赖、提高预测模型的稳定性和准确性进行一定的探讨。经过不断的模型校正和评估优化,“集团大客户流失预测”数据挖倔主题基本达到了实际应用要求,通过前端应用展现,为客服人员进行大客户挽留提供了有价值的参考信息,并且取得了较为明显的成效。
袁昕[6]2012年在《面向主题的专利分析系统》文中进行了进一步梳理专利文献是科技成果的重要表现形式,它能迅速全面的反应科技成果的最新动态,对企业、科研单位以及政府等都具有指导意义。因此,国内外科研机构都对专利文献检索、专利信息分析给予高度重视,希望通过收集专利数据,分析专利信息,挖掘其中有价值的知识,帮助企业或国家了解行业动态,技术发展趋势和技术机会,从而提高决策准确度,提升预警能力。近年来,国内外学者在专利信息抽取、采集、分析等方面有一定的研究,但在专利信息处理、专利分析指标、专利多维分析、数据挖掘以及面向主题分析等方面还没有进行深入的研究。同时虽然一些专家提出了一些专利分析指标、专利分析模型、但这些分析都需要人工手动分析,专利分析工作费时耗力,大大增加科研人员的工作量。根据专利分析需求和专利数据源,设计并实现了面向主题的专利分析系统。首先根据专利分析需求,抽取专利数据放入本地专利数据库中,本地专利数据库由于存储格式、下载方式、系统因素以及人为因素存在一些“脏数据”,这就需要设计相应的ETL(Extraction-Transformation-Loading)对专利数据进行初步的清洗、转换工作,从而得到干净的专利数据,为之后面向主题的数据仓库提供高质量、规范、纯净的专利数据。生成基础专利数据仓库之后,根据不同的主题分析模型,通过抽取、整合建立多个面向主题的数据集市,并针对数据集市建立多维立方体、KPI(Key Performance Indicator)指标,从不同主题对专利数据进行分析。同时将分析结果制作成专利地图实现可视化,最后将其发布到信息平台实现跨企业共享和集中式服务。创新之处在于:第一,利用Sql Server2005整合服务技术完成基础数据仓库的建立,同时设计主题模型库和KPI指标库,并利用ETL技术实现主题数据集市,建立维度表和事实表结构;第二,利用Sql Server2005分析服务建立多维分析模型,通过OLAP对主题数据集市实现切片,切块,KPI指标等数据分析操作,最后选择Excel2007作为结果展示工具,将结果利用透视图等形式展现,为商业决策提供依据。利用本系统,用户可高效地对专利信息进行规范整合,自动完成对某一项技术历史发展演变的刻画、自动的通过专利来衡量企业的创新能力,为国家、企业引导出新的预见和更高效的决策。
许小红[7]2008年在《数据仓库及数据挖掘技术在电信商业客户分析中的应用研究》文中进行了进一步梳理随着电信企业以产品为中心的业务模式向以客户为中心的业务模式转变,国内电信运营商间的竞争也由频繁的价格竞争转向服务质量竞争。导致各电信企业都在积极提高企业内部的科学决策能力,改善服务质量,提高市场竞争力。另一方面,电信运营商积累了大量的电子化业务运营数据,通过数据仓库技术和数据挖掘技术的应用,可以从中发现很多有价值的信息,为企业的科学决策提供有效支持。本文首先阐述了课题理论背景,数据仓库在电信行业中的应用现状和研究内容。同时,对数据仓库、统一维度模型(UDM)、联机分析处理(OLAP)、数据挖掘、SQL Server 2005商业智能等进行了阐述,包括数据仓库的概念、特征、数据仓库的关键技术,SQL Server 2005商业智能中的集成服务、分析服务、报表服务等。其次,介绍了电信商业客户分析系统的业务现状和需求,内容包括电信企业对数据仓库的应用需求、现状和存在的问题。电信商业客户分析系统对建立数据集市需求,对数据集市数据进行多维分析、数据挖掘分析和分析结果呈现的需求。针对这些需求,论文结合一些具体案例来进行详细讨论。第三,详细介绍了系统具体设计与实现,内容包括电信商业客户分析系统话费收入数据集市的建立,多数据源数据的加载,以及对数据集市数据进行多维分析、数据挖掘分析和分析结果呈现等。最后,指出了本文的特色与创新,以及可以进一步研究的问题。
穆新宇[8]2009年在《银行监管报表数据集市的设计与实现》文中指出目前是中国银行业发展的关键时期,随着我国金融体制改革的不断深入,特别是银行业开放过渡期的结束,中国银行业的发展面临着诸多机遇和挑战,需要对中国银行业进行审慎、有效、持续的监管。目前各银行都建立了监管报表系统,但是这些系统面临许多问题,如:业务系统繁多、业务逻辑复杂、整合难度大、指标口径不一致等。因此,银行期望通过对业务数据进行整合,探讨建立一个统一灵活的监管报表系统,来提高企业内部的科学决策能力,增强在市场经营等方面的正确判断能力。本文首先分析了数据仓库、数据集市的研究现状,了解了它们各自的优缺点。同时,对银行监管要求作了详细的调研,归纳总结了监管报表的需求。系统地分析指出报表需求、数据分析,功能需求等核心功能需求。在此基础上设计了基于Web的监管报表数据集市系统:其采用J2EE平台进行系统开发,实现系统的三层架构。在数据建模上,运用星型模式实现多维数据模型。在数据处理上,运用DI (Data Integrator)工具实现ETL数据抽取转换加载。在前台报表展现上,采用了水晶报表(Crystal Report)作为商业智能应用。本文研究结果表明,基于数据集市的决策支持系统在银行监管信息化建设中具有实际意义,是可行的,并可为其他部门监管信息化或银行内部监管提供借鉴;银行监管数据集市系统的实现,基本满足了银行监管报表报送要求。数据集市作为一种支持DSS的底层技术,具有很好的优势,值得推广应用。
高正源[9]2007年在《XX市科技咨询专家管理信息系统的研发》文中提出随着科学技术的快速发展,各种研究项目层出不穷,相应的项目评审工作也越来越多,参与的具有专业技能的高级专家也越来越多。原来的专家库系统功能单一,只能简单地从数据库中调用数据,在专家变更上往往无法做到实时更新,使得很多工作无法开展。对于数量庞大的专家的管理和如何抽取评审专家都成了一件困难的事。因此,为了公平公开公正地做好科技项目的评审工作,迫切需要建立一套具有辅助决策功能的专家库信息管理系统。本文结合XX市已有的专家库信息管理系统的建设现状,开发了基于Web和数据仓库技术等的简单的辅助决策系统。首先,介绍了数据仓库与数据挖掘新技术。数据仓库是将各类信息进行整理归档,其目的是为了支持管理决策而建立的。数据挖掘则是在随着时间变化而变化的数据仓库中从信息中发现知识的过程。并且能从海量数据中发现隐含的信息,从而挖掘出一些模式。然后,根据专家库管理系统的特点,建立了数据仓库应用系统的框架结构,提出了数据仓库的建模技术。鉴于数据仓库系统是多项技术的综合体,文中还详细地讨论了多维数据库技术、元数据管理、联机分析处理和数据挖掘等各项技术的原理及其在专家数据库系统中的应用。最后,在windows2003平台上利用微软SQL Server2000数据库的强大功能实现了基于Web和数据挖掘技术的咨询专家库管理系统管理系统。该系统能担负专家数据的整理、分析并从中抽取适合评审的专家,对专家信息的管理和评审工作的开展起到了重要作用,使工作效率明显地提高,在实际管理中有着非常重要的意义。
王龙雪[10]2014年在《基于SSH2应用系统的SSIS整合方案研究与设计》文中进行了进一步梳理随着企业管理信息系统投入运行年数的增加,系统中存储了大量的历史数据。在激烈的市场竞争中为了帮助企业获得有利于运营管理的信息,必须充分挖掘和利用这些海量数据,这需要对应用系统进行整合。整合不仅仅是一项技术工作,同时对企业各个业务领域的商业决策产生影响。目前现有的解决方案适应不了多变的实际业务需求,并且有些方案提供的数据不具有实时性,难以保证数据分析结果的正确性。因此,有效的整合现有及未来的企业应用系统已成为一个亟待解决的问题。本文在对商业智能相关技术以及企业应用系统功能特点进行综合研究的基础上,根据企业的数据分析需求,提出了一个基于SSH2应用系统的SSIS整合方案。文中给出了该方案的总体结构,并详细讲述了整合方案的设计和实现过程:首先通过SSIS实现了对多种数据源数据的抽取、转换和加载;然后构建数据仓库,并根据相应的主题建立了多维数据模型以满足多维分析的需要;最后通过报表方式进行数据查询和分析等操作,并将数据分析结果与应用系统整合。本文在基于SSH2应用系统的SSIS整合方案中,根据SSH2框架的开发过程和特点,创新性地提出了数据分析RS报表与应用系统的整合方法,通过配置验证模式、增加智能接口和设计系统新增页面布局的方法实现了在进入应用系统后对数据分析RS报表的一站式访问。本文的研究以企业数据库中的历史数据为基础,并能够实时地从多个数据源抽取和过滤数据,使得相关分析人员可以对企业运营情况进行交互的、多层次的分析,从而更好地发现隐藏在大量数据中的信息,服务于企业管理部门进行决策。最后以现有的会员卡管理信息系统的整合实施为例进行验证,对本方案进行了具体实现。该方案在功能上达到了决策效果的有效性和合理性,并且具有较强的可复用性和实用价值。
参考文献:
[1]. 数据仓库中的索引技术[D]. 张闯. 哈尔滨理工大学. 2007
[2]. 数据仓库技术在商业智能系统中的应用[D]. 王军. 华东师范大学. 2007
[3]. 银行监管部门数据集市系统的设计与实现[D]. 孟雅珍. 南京航空航天大学. 2006
[4]. 中药信息数据集市的设计与应用[J]. 李丹, 孙艳秋, 闫朝升. 中华中医药学刊. 2015
[5]. 基于数据挖掘的移动大客户流失分析[D]. 林向阳. 清华大学. 2008
[6]. 面向主题的专利分析系统[D]. 袁昕. 北京工业大学. 2012
[7]. 数据仓库及数据挖掘技术在电信商业客户分析中的应用研究[D]. 许小红. 南昌大学. 2008
[8]. 银行监管报表数据集市的设计与实现[D]. 穆新宇. 北京邮电大学. 2009
[9]. XX市科技咨询专家管理信息系统的研发[D]. 高正源. 重庆大学. 2007
[10]. 基于SSH2应用系统的SSIS整合方案研究与设计[D]. 王龙雪. 哈尔滨工程大学. 2014
标签:计算机软件及计算机应用论文; 大数据论文; 数据挖掘论文; 数据仓库论文; 数据挖掘算法论文; 客户分析论文; 多维数据库论文; 数据整合论文; 专利布局论文; 数据分析能力论文; 客户信息论文; 专利管理论文; 专利运营论文; 商业智能论文; 索引论文; 银行论文; 专利论文;