基于数据仓库的统计库的设计和实现

基于数据仓库的统计库的设计和实现

薛晶[1]2000年在《基于数据仓库的统计库的设计和实现》文中提出随着数据库应用的迅速发展,数据量急剧增加,用户的查询、分析需求越来越复杂。为了更好的适应决策支持和快速响应分析需求,操作性环境和分析型环境及其应用被分离开来,数据仓库的概念被提出。 数据仓库是一个面向主题的、数据集成的、相对稳定的、包含历史数据的数据集合,用于支持经营管理中的决策制定过程。从广义上讲,数据仓库描述了一种语义一致的数据组织与处理的体系结构,将多个分散的、异质的原始数据融合在一起,使得用户可以直接从数据仓库中提取信息来进行各种决策分析。数据仓库技术有效利用了企业在长期运作中积累的大量数据,从而解决了以往“数据丰富、信息贫乏”的矛盾,真正使决策支持系统从“模型驱动”到“数据驱动”的转变成为可能。 本文介绍了数据仓库产生的背景,及其与数据库的联系与区别,数据仓库的概念、特点,元数据和数据集市的概念,及数据仓库系统的体系结构;决策支持系统的发展历程,基于数据仓库的决策支持系统。然后论述数据仓库的设计方法。最后,着重阐述数据仓库技术在劳动力市场信息系统的统计分析子系统的应用——基于数据仓库的统计库的设计和实现。包括事实表和维表的设计,元数据结构的设计,及统计库功能模块的设计和实现。

李晓君[2]2000年在《基于数据仓库的多维数据模型设计和实现》文中研究表明数据仓库和在线分析处理技术是近一段时间以来,数据库界最重要的两种新技术。简单说,数据仓库就是属于一个组织的历史数据的集合;OLAP指在数据仓库存放的信息基础上,执行复杂分析的能力。 正如实体关系模型是OLTP应用的基础一样,数据立方体模型是OLAP应用的数据基础。如何定义一个数据立方体的数据模型和计算,成为成功实现一个OLAP应用软件的核心问题。而如何利用关系型数据库管理系统成熟的技术,来具体地实现一个数据立方体,是一个非常有现实意义的实践。 本文在介绍了数据仓库和在线分析处理的基本概念和特点之后,介绍了一种数据立方体的逻辑模型,然后,本文提出了一种采用ROLAP技术的数据立方体物理模型,并具体讨论了它的设计和实现。

李光亚[3]2006年在《财产保险中车险业务分析系统的研究与开发》文中研究说明中国的保险业是一个高度竞争和极富风险的行业,对经济效益的追求从依靠取得短期利益,转向依靠正确的战略决策在中长期取得最大利益,因而,决策支持系统在保险行业具有广阔的发展前景。而基于数据仓库、OLAP(联机分析处理)、数据挖掘这三项上世纪90年代出现的新技术的决策支持系统在近年来得到了广泛的应用,取得了较好的效果。 本文的主要工作是中国太平洋财产保险股份有限公司重庆分公司车险业务分析系统的研发,其主要内容如下: 数据仓库技术概述:首先对数据仓库技术和OLAP进行了系统的介绍,对Cognos公司的BI产品也进行了简单的介绍。 项目分析:分析了太保产险重庆分公司的主要业务流程、现有的业务系统、现有的数据查询和分析现状;收集并整理了公司各个部门的需求分析,将数据的统计口径和指标解释进行了统一;对项目本身进行了分析,包括项目描述、项目风险分析和项目的非功能性需求分析。 数据仓库搭建:运用数据仓库建模技术,构建起星型结构的车险数据仓库。编写和调度ETL转换程序,实现了数据仓库数据的增量抽取,又通过检查程序,保证了车险数据仓库数据的准确。 运用Cognos工具进行车险业务分析系统的开发:利用Cognos公司的BI产品进行OLAP分析,即建立面向主题的业务模型,通过使用模型生成的数据立方体(Cube)进行启发式分析(灵活分析),而由数据立方体定制的固定报表则发布到web上供相关人员查询和分析。Cognos有比较完善的用户管理和权限控制,使各个岗位的人员只能看到自己权限范围内的数据。

赵旭鹏[4]2008年在《商业财产保险公司业务分析系统的研究与规划》文中研究说明保险业作为我国新兴的朝阳产业,正面临着飞速发展的成长阶段,伴随着整个行业的发展,其信息化建设步伐也在大力推进。新的历史任务,新的挑战与机遇,为我们保险行业的信息技术人员提出了新的课题。本文旨在结合我所就职的中国人民财产保险公司包头市分公司的实际情况和业务需求,来尝试着应用现在较为前沿的数据仓库与数据挖掘技术,创造性地研究现代商业财产保险公司业务分析系统的设计与规划,以服务于公司管理层的决策支持,完善公司内部的信息化建设。

王艺涵[5]2011年在《基于数据仓库技术的产险再保业务管理系统的设计与实现》文中研究指明再保业务是构成现代保险业务的重要组成部分。就目前的发展情况来看,无论是在西方国家还是在我们国家,在整个财险业务领域中再保业务的地位都十分重要。由于再保业务状况和水平直接关系到财险公司的商业利润。因此在日益竞争激烈的新形势下,如何有效地促进再保业务决策分析和管理水平,是当前各保险公司所共同关心的问题。本文是在理论分析的基础上,结合中国平安财产保险股份有限公司新疆分公司再保业务管理系统的实际,设计了一种适合于中国保险行业中再保业务管理的计算机管理信息系统,并模拟实现的过程。设计思路主要是在分析系统需求的基础上,对系统的功能模块、拓扑结构、计算模式等进行详细的论述,然后采用数据仓库技术对大量数据进行分析处理进而提供决策支持。论文的研究内容主要包括以下几个方面:根据研究的需要,先对数据仓库技术进行了系统介绍,从而提出数据仓库技术的解决方案及其逻辑设计和物理设计的思路;然后对再保业务进行了阐述,给出了再保业务管理系统设计的研究目标,分析该系统的相关功能,按需求给出系统模型;在此基础上结合再保业务管理数据仓库建模原则,遵循再保业务管理数据仓库概念模型设计、逻辑模型设计和物理模型设计的一般步骤来对再保业务的管理系统的后台的数据仓库进行设计与实现;并对系统在设计与实现过程涉及到的关键技术(包括了在系统实现过程中涉及到的数据仓库技术、远程访问、安全控制、可扩展性等技术)进行了详细的阐述;最后,在对本系统的设计与开发过程中的所取得的经验和教训进行总结,为进一步研究提出了方向和展望。

周亚军[6]2006年在《基于商务智能的铁路货运营销分析系统的研究实现》文中研究表明随着信息技术的飞速发展,铁路信息化工作取得了极大成就,尤其是TMIS系统的全面建成,使铁路信息集成度得到极大提升,各级系统数据库中的运输生产数据呈几何级增长,这给铁路的运输生产管理带来极大便利。但是,由于TMIS系统建设周期过长,前后方案经过多次变更,各业务子系统基本上都是单独开发建设、自成体系,系统之间的连通性和互操作性较差,大量的基础数据需各系统自行维护,难以为其他系统及其管理人员有效利用,造成信息资源的巨大浪费;同时,由于我国铁路信息化起步较早,信息技术的飞速发展使得系统建设前、后期所依据并采用的技术手段相差较大,在对既有海量数据的有效利用方面,TMIS还存在着较大的挖掘空间。 面对激烈的市场竞争环境,铁路行业只有对自身运营状况有整体、全面、多角度的把握,才能够做出正确的战略决策。在此背景下,利用先进的信息技术和已有业务系统进行信息的挖掘开发就成了铁路宏观掌控、微观调节铁路运输生产的必然手段,而成熟的商务智能技术无疑给超大型分布式数据库的有效集成及二次开发提供了上佳的解决方案。 商务智能是将先进的信息技术应用到整个企业的一系列方法、技术和软件的总和,它不是一个单纯的产品,而是一个解决方案,是帮助企业提高决策能力和运营能力的概念、方法、过程及软件的集合。 商务智能的实现涉及到软件、硬件、咨询服务及应用等多个方面,其基本体系结构包括数据仓库、在线分析处理和数据挖掘三部分。其中数据仓库用于从信息共享平台中抽取、整合、分布和存储有用的信息,在线分析处理将对数据仓库中存储的历史数据进行多维分析,数据挖掘则是实现行业信息向决策知识转化的重要途径,能在数据仓库的历史信息中发现问题、找出规律,为铁路行业制定未来发展战略决策提供有力支持。 本论文依托于成都铁路局货运营销分析系统项目。课题主要研究意义包括两方面:其一,在对TMIS数据源进行分析的基础上,利用商务智能技术设计开发适合铁路货运管理一线的货运营销分析系统,为进一步拓展铁路货运市场提供有效分析工具;其二,本文将以此为契

张峰[7]2012年在《天津联通经营分析系统的设计和实现》文中进行了进一步梳理通信行业在国家的工业和信息化发展中占有重要的地位和作用,中国三大通信运营商也努力为国民提供更好的信息和通信服务。天津联通作为天津固定网络和移动网络主导运营商之一,有责任为天津地区的信息高速公路的发展担当更大的责任。天津联通的进步和天津信息化程度高低息息相关,天津联通必须有支持经营决策的信息系统,因此经营分析系统应运而生。本文基于数据仓库和OLAP技术,主要描述了天津联通经营分析系统的需求提出,根据需求对系统进行了模型设计,对各个模块进行了详细的设计,在此基础上对系统进行了实现,通过部署和测试,最后得到在天津联通的推广使用,从结果看对公司的经营分析起到了重要的作用。由于天津联通本身拥有固网业务、移动业务、融合业务等全业务的运营商,业务和业务规则的复杂性决定了对经分模型设计整合的难度,对大量业务规则和报表的整合是本文完成中所克服的最大难题。在实际应用中逐渐改进经分系统也是我们这次经分系统开发的重要一环。

张可新[8]2007年在《基于数据仓库的企业运营决策支持系统》文中进行了进一步梳理随着技术的进步和中国加入WTO,汽车制造行业的竞争日益加剧。商业压力和机遇促使经营者的兴趣转移到数仓库上。同时为了适应激烈的市场竞争环境,理应充分利用业务支撑系统产生的大量宝贵的数据资源,从这些大量的业务数据中提出有用的信息,实现对信息的智能化加工和处理,为市场经营工作提供及时、准确、科学的决策依据。所以用数据仓库技术来构建企业运营决策支持系统是必然的选择。本文阐述了决策支持系统、数据仓库、OLAP、数据挖掘的基本理论,并以某汽车制造企业运营决策支持系统的数据仓库的设计与实现过程为例着重讨论了数据建模、ETL和B/S模式的前端展示平台的实现技术部分并给出了基于数据仓库的决策支持系统的实现技术方案。

张佳民[9]2008年在《基于数据仓库体系结构的OLAP和数据挖掘技术的研究与应用》文中进行了进一步梳理近年来,数据仓库系统在电信业、银行业、零售业、政府机关等都有广泛的应用。数据仓库系统数据量迅速增长和对数据仓库系统需求的发展,对当代数据仓库系统有了新的要求,因此对数据仓库系统及其相关技术的研究有着重要的现实意义。本文通过对实现数据仓库系统的数据仓库、OLAP、数据挖掘三方面技术进行研究,最后以某市公安信息系统为例,设计实现了公安数据仓库系统。在数据仓库设计技术方面,主要包括实时数据仓库架构的设计和维护数据仓库中缓慢变化维的代理键的研究。实验表明:基于系统数据日志的实时ETL算法和混合型实时数据仓库架构,实现了实时数据仓库与业务系统数据零延时的要求;在数据仓库中,代理键自增序列算法的使用,除了可以维护缓慢变化维,还可以极大的缩减数据仓库的存储容量。在OLAP研究方面,主要研究了OLAP的实现技术与数据存储技术,提出了MOLAP基于Cuboid的数据立方体压缩存储算法,和基于该存储结构的解压缩算法和语义查询算法。实验表明:该算法在压缩稀疏数据的同时,改进了以往多维数组压缩算法对非稀疏数据的敏感性,解决了索引维信息冗余问题。在数据挖掘研究方面,介绍了数据挖掘在数据仓库中的应用,提出最大模糊后验假设,对朴素贝叶斯分类算法进行改进,并与OLAP结合,设计了基于数据立方体的改进朴素贝叶斯分类算法,实验通过对模糊系数的调整,明显提高了朴素贝叶斯分类算法的准确率。在公安数据仓库系统设计方面,结合了公安现有的信息管理系统、全国刑侦联查系统数据接口,设计实现了行政治安和全国刑事侦查两个数据集市组成的实时数据仓库系统。

郭锐[10]2015年在《基于数据仓库的人口数据分析系统的设计及实现》文中研究指明随着各行各业的信息化建设进程不断发展,结合各自行业特征的业务系统的应用愈加广泛,在业务过程中产生和留存下来的人口信息数据规模也逐渐显现。而这些海量人口信息数据理应通过研究、分析,发掘出它的潜在价值,并将其转化为可以对实际业务和决策分析提供支持的数据信息将发挥出更大的价值,因此建设一个以人口信息为基础的数据分析系统将会产生实际而重大的作用。目前,面向海量数据的数据仓库技术的研究和应用已十分广泛,而且越来越发挥出重要的作用,人口信息数据也具有海量存储的特点,如果基于数据仓库技术,并结合人口信息方面的统计分析、数据展现的应用进行研究将发掘出其蕴含的巨大潜在价值。本论文以人口信息数据作为数据支撑,以数据仓库作为技术基础,将系统中的各类数据源ETL (Extraction Transformation Loading,即抽取、转换、加载)到数据仓库中,按照实际业务需求将数据分类存储,根据要考察的数值和分析的角度,提炼业务数据、指定维度,形成事实表和维度表的分析数据模型,研究人口数据统计分析的基本方法,并采用多维分析OLAP(On-Line Analytical Processing,即联机分析处理)技术,按照多种维度制作成展现分析报表,最终建成一个供决策参考、分析研究的人口数据分析系统。建设一个以人口信息数据为基础的数据分析系统,将为决策参考、市场开发、研究宣传提供有效的数据支持,以及为社会各机构提供有效的、可定制的统计分析数据,发掘出人口数据本身所蕴含的更大价值。

参考文献:

[1]. 基于数据仓库的统计库的设计和实现[D]. 薛晶. 中国科学院研究生院(计算技术研究所). 2000

[2]. 基于数据仓库的多维数据模型设计和实现[D]. 李晓君. 中国科学院研究生院(计算技术研究所). 2000

[3]. 财产保险中车险业务分析系统的研究与开发[D]. 李光亚. 重庆大学. 2006

[4]. 商业财产保险公司业务分析系统的研究与规划[D]. 赵旭鹏. 内蒙古大学. 2008

[5]. 基于数据仓库技术的产险再保业务管理系统的设计与实现[D]. 王艺涵. 电子科技大学. 2011

[6]. 基于商务智能的铁路货运营销分析系统的研究实现[D]. 周亚军. 西南交通大学. 2006

[7]. 天津联通经营分析系统的设计和实现[D]. 张峰. 山东大学. 2012

[8]. 基于数据仓库的企业运营决策支持系统[D]. 张可新. 吉林大学. 2007

[9]. 基于数据仓库体系结构的OLAP和数据挖掘技术的研究与应用[D]. 张佳民. 吉林大学. 2008

[10]. 基于数据仓库的人口数据分析系统的设计及实现[D]. 郭锐. 中国科学院大学(工程管理与信息技术学院). 2015

标签:;  ;  ;  ;  ;  ;  

基于数据仓库的统计库的设计和实现
下载Doc文档

猜你喜欢