公安部天津消防研究所 天津 300382
摘要:随着经济社会建设的不断发展,网络科技和信息技术也取得了很大的进步。我国政府高度重视网络工程的建设发展,因此引网络技术及其衍生出的相关产品被广泛应用于政府的各级部门,并且各级政府部门可以利用网络工程构建与社会间的桥梁,搭建信任,对与社会的信息交流起到很好的效果。我国的各级公安消防部门为了改变过去陈旧的消防管理模式不适合用于现代消防工作的状况,也正在慢慢采用专业的信息管理系统应用于消防工作。消防信息系统数据应用中存在信息孤岛、数据分散存放、利用率不高等问题,数据集成是解决这些问题的最佳方案。本文浅析消防信息系统数据集成的研究与应用。
关键词:消防;信息系统;数据集成;数据仓库;中间件
引言
因某些地域开发并加以有效应用了消防信息管理的系统软件,不仅使其队伍管理效率得以有效提高,而且其还有效的提高了监督执法和科技含量以及工作效率。因此,如何有效的应用计算机系统与信息技术对于各级公安消防机构的消防工作将是非常有意义的,同时是消防管理工作发展必然趋势和消防管理工作的具体实际工作的需求。
1消防数据集成框架
1.1数据源层
它是系统的数据提供者,由各种分布、异构的系统组成,是消防信息系统数据集成的数据来源。它的类型多种多样,既可以是主流数据库(如Oracle、SQLServer、MySQL等)、XML(可扩展标记语言)文件等结构化数据,也可以是文本文件、消息队列、WebService等非结构化数据,其目的是打通各系统间的数据壁垒。消防信息系统数据来源包括消防内部数据(在用的系统数据源和遗留的系统数据源,通过平台数据接入)和外部数据(通过交换平台交换过来,通过数据安全管理系统保证其安全性)。
1.2数据集成层
数据集成层是整个集成框架的核心,是实现消防数据集成的关键。其功能是集成不同消防相关数据源的数据,让用户不需要考虑数据的存储位置和数据源的检索机制,从而为用户提供一个无需关心如何实现对不同数据源数据访问的数据使用环境。该层包括中间件和数据仓库两种集成方法,由数据仓库模块、中间件模块、元数据管理模块及适配器四个模块组成。其中,数据仓库模块是根据消防系统的标准规范、业务流程和数据特征构建一个物理化的全局数据模式,存放ETL(Extract〔抽取〕、Transform〔转换〕、Load〔装载〕)工具抽取的多数据源数据副本,并对数据仓库进行定期更新。中间件模块是利用标准的接口和通信协议构造的一个虚拟化的全局数据模式,通过中介器和封装器与各个数据源进行交互。元数据管理模块负责组织和管理以上两种集成方式中各个层次的元数据,包括元数据的获取、存储和处理等。适配器是在元数据管理模块的支持下为各类不同的应用系统选择数据的集成方式和访问形式。
1.3数据应用层
数据应用层以数据集成层为平台,开发各类数据应用系统(如查询分析系统、决策支持系统、数据挖掘系统等)。该层通过统一的数据访问接口为各类用户提供不同的数据服务(如查询、分析、决策、挖掘、报表等)。
2消防数据集成模块功能
2.1数据仓库模块
在本模块中,不同数据源的消防数据副本经过抽取、解析、清洗、转换和过滤,将分散的、不一致的消防数据用预先建立的统一的、标准化的公共数据模型表示,在剔除冗余数据后集中装载到数据仓库中。数据仓库中的原始数据数量大且杂乱,需要对这些数据按照类别的不同进行整理、组合、优化,并建立相应的关联关系。
期刊文章分类查询,尽在期刊图书馆为了支持多元化和个性化的消防数据服务,需要对数据仓库中的数据进行分类筛选、聚集汇总和多维分析,形成不同粒度、不同主题、不同维度的资源库、主题库、专题库等数据集市。用户通过对数据仓库全库或某个分库的访问,可以从多个不同数据源中提取固有的、以前未知的、潜在有效的消防数据,同时,利用联机分析处理及数据挖掘等技术进行多维度分析、个性化集成、查询和展现,得到决策支持服务。利用数据仓库集成消防数据的关键在于如何从不同数据源中将所需要的数据取出来,并按照统一的数据模型进行格式转换。在实际集成过程中,通常使用开放的XML格式进行数据交换,并用ETL工具实现从不同数据源中的抽取、清洗和转换数据,集中装载到数据仓库。
2.2元数据管理模块
元数据是对业务数据本身及其运行环境的描述和定义的数据。可将其按用途的不同分为技术元数据和业务元数据两类。技术元数据存储数据仓库和中间件数据处理过程中技术细节和处理规则的信息,如数据仓库结构的描述、数据的抽取和转换规则、数据源环境与集成环境之间的映射组成、各数据源及全局数据模式的定义等数据属性。业务元数据存储数据实体和数据处理的业务化描述信息,如业务数据模型(结构、位置、关联、语义等)、业务规则、指标定义和信息分类等详细的数据属性。消防元数据记录消防数据及其操作过程中的物理和逻辑属性,既能保证数据的真实性和长期有效性,又能保证集成数据的一致性。在数据集成环境下,用户通过元数据了解和访问数据,元数据已成为系统架构中的关键要素。因此,无论是数据仓库集成还是中间件集成,都需要全局性的元数据管理来协调。元数据管理的目的在于建立和维护全局数据模式,内容包括元数据的获取、更新、面向应用系统的元数据使用处理等多个方面,可通过建立元数据库来实现。元数据库存储元数据,包括各个层次的技术元数据和业务元数据。在用数据仓库或中间件集成数据时,通过访问元数据库,既可以实时掌握各数据源的数据存在情况,也可以根据消防数据属性确定各数据源与全局数据模式的映射关系,从而选择合适的数据集成手段和访问机制。为保证元数据的一致性,当数据源结构发生变化时,需要对元数据库进行自动更新。元数据库的建立可以集中保护元数据,使之安全和长期有效;可以及时获取各类消防数据的元数据,以确保消防数据的真实性和有效性;可以有效建立统一的消防数据访问机制。
2.3中间件模块
中间件模块是由封装器和中介器两部分组成。封装器负责一对一地与各种不同数据源进行数据交换,将不同类型的数据统一于全局数据模式。中介器完成查询处理中全局数据模式与局部数据模式间的数据映射。当中介器接收到应用系统对数据源的查询请求后,借助元数据库对查询进行解析,在判断请求格式符合语法规则后,将全局模式的查询请求分解为不同数据源的子查询,并通过封装器进入到各数据源中执行查询操作。各数据源将局部模式子查询结果返回给封装器,中介器结合应用系统提交的查询参数,再将同一全局请求的各子查询结果合并和优化成一个最优结果返回给应用系统。利用中间件集成消防数据的关键在于如何将应用系统对全局模式的数据访问请求转换成局部数据模式(各个不同数据源)可以执行的操作,以及如何将不同格式的返回结果转换成统一的表现形式。在实际集成过程中,可以把XML格式作为数据交换格式,通过XML文档建立局部模式和全局模式的映射关系,集成的核心就转化为XML文档与各数据源间的格式转换。
结语
在当前数字化信息技术不断发展的基础上,数字化消防信息系统也得以实现,并且有着十分广泛的应用,发挥了其明显优势。在实际消防工作中,消防工作人员应当对消防数据集成模块功能加强认识及了解,并且合理进行实践与应用,从而保证消防工作更好地开展。
参考文献:
[1]赖穗欢,刘忠.我国消防信息管理系统发展分析[J].消防科学与技术,2017,05:52-53.
[2]张黎明.数字化消防信息系统在实践工作中的应用[J].中国科技信息,2016,15:87+86.
[3]陈跃国.电子政务数据集成系统的建模与实现[J].北京:清华大学,2017.
论文作者:张蕾
论文发表刊物:《防护工程》2018年第6期
论文发表时间:2018/7/19
标签:数据论文; 数据源论文; 数据仓库论文; 全局论文; 模式论文; 系统论文; 模块论文; 《防护工程》2018年第6期论文;