流程工业大型实时数据库理论、技术与应用

流程工业大型实时数据库理论、技术与应用

王成光[1]2003年在《流程工业大型实时数据库理论、技术与应用》文中研究说明流程工业企业综合自动化系统的目的是利用计算机技术、信息技术和自动化技术,实现企业经营管理与生产过程的综合集成,进而提高企业的综合竞争能力。而实现流程工业企业综合自动化系统的关键之一在于使用流程工业大型实时数据库系统解决企业底层过程控制网络与上层管理信息网络间的数据集成和应用集成问题。国家高技术研究发展计划(863计划)和国家十五科技攻关计划都就此问题立项,并资助本课题的研究。本文探讨了流程工业大型实时数据库系统的理论、技术、设计和应用中的一些关键问题及解决方法。 本课题的研究结果和内容可概括为以下几个主要方面: 1) 分析了流程工业实时数据库系统的需求背景,从项目开发、实施、维护、质量等角度考虑系统的非功能性需求,系统地分析了实时数据库系统应当具有的功能,并给出了性能指标的要求,明确了系统设计的目标。提出了以多层COM/DCOM的C/S结构为特点的流程工业大型实时数据库的体系结构,该结构模块清晰,覆盖了表征系统的主要功能,核心模块具有处理业务逻辑的扩展性,支持具有弹性的网络应用模式。 2) 根据流程工业实时数据库的应用背景,提出了以位号映射为特点的工程数据模型,这种模型支持位号间的计算关系,支持录入功能和计算参数存储。针对该工程模型,提出了内存数据管理方法,建立了多层分组索引、基于局部ID的直接索引和临时索引,以满足各种高效查询的需要。对于流程工业数据的高级查询提出了一种查询表示和查询优化的方法,这种方法易于实现并且具有很高的效率。 3) 实时数据库系统的事务处理和并发访问控制是大型实时数据库系统的重要内容。在流程工业背景下,分析了实时数据库系统中事务和并发访问的特点,选择先进先服务为主的事务调度策略和有序共享两阶段锁的并发控制协议,根据文中阐述的流程工业实时数据库事务的分类和特点,提出了在该并发控制协议下的锁定策略,进一步提高了系统事务处理的效率。 4) 研究流程工业实时数据库系统中的重要部分——历史数据库的设计和实 现策略。主要包括:介绍了内存历史数据库的存储和实现策略,采用固 定长度的内存历史数据队列进行管理,简化了存储和查询过程,便于一 些先控和实时优化应用的访问;提出了磁盘历史数据库系统的实现框架、 磁盘历史数据库的多任务、归档数据文件系列的实现策略。历史数据库 中采用了基于时间序列的旋转门压缩算法,其优点是算法简单,压缩率 高,该算法应用在内存历史数据库和磁盘历史数据库中。 匀 容错、主动规则、分布式机制问题是关系到流程工业实时数据库系统功 能与应用的重要问题。本着实用的原则,提出了系统级和组件级的两级 容错机制,使得系统的各种错误得到了充分、全面的控制,而且更具有 针对性;参考主动数据库的思想,提出了一种在工程实时数据库内部建 立以事件规则库为中心的主动规则机制的方法,该方法易于实现,而且 满足流程工业实时数据库的需要。 6)本文在构建流程工业大型实时数据库这样一个大规模、多模块、具有多 部件的系统中使用了面向对象技术、组件技术和中间件的思想。提出了 基于COM、OPC、XML的叁层数据采集和服务体系框架,使系统更具 通用性。采用SOAP等技术,使跨平台能力和可扩展性进一步提高。软 件可靠性技术被用来验证流程工业大型实时数据库系统的数据访问性能 和关键技术的可靠性。 刀 以某石化橡胶厂企业综合自动化的实时数据库项目为例,对APC一SYS 实时数据库系统进行了应用研究,满足了橡胶厂的各种层面的需求。实 时数据库系统给橡胶厂的生产和管理带来了很大的变化,提高了企业的 经济效益,验证了软件系统及其相关技术、方法的可行性。 本课题的工作在借鉴现有理论与技术的基础上,结合流程工业大型实时数据库的特点,提出新的实现方案,注重实时数据库系统的完整性,强调实时数据库系统的工程应用背景。

叶建位[2]2005年在《大型实时数据库关键技术及系统构架》文中进行了进一步梳理随着计算机技术和数据通信及网络的蓬勃兴起和迅速发展,信息技术对传统工业控制领域产生越来越大的影响,新型的工业计算机控制系统和网络如集散控制系统(DCS)、现场总线(Field bus)、工业以太网(Industrial Ethernet)等大量涌现,给工业自动化带来一场深层次的革命。通过将计算机技术、控制技术、网络技术、管理技术等进行整合,提出了企业综合自动化的概念。实时数据库系统作为企业综合自动化的基础数据平台,为各类应用系统提供数据支撑,是工业企业综合自动化系统建设的核心功能模块之一。 论文结合流程工业自动化的特点,分析了国内外先进的实时数据库系统,提出基于组件技术的分布式大型实时数据库系统,在此基础上完成了ESP-iSYS实时数据库系列软件。 论文所取得的主要研究结果可以概括如下: 1.通过采用先进的组件技术构建大型实时数据库系统核心层,并借由分布式组件技术实现网络应用; 2.采用微内核体系,参考现代操作系统中内核体系的结构,并将各核心模块尽量独立,使外围业务彻底与内核剥离,同时采用内置的自诊断功能来确保系统的稳定性; 3.优化的数据压缩和存储技术,使得系统可以处理海量的数据流量,并且能够实现快速访问和历史数据的查询; 4.针对现有实时数据库系统相对封闭的特点,提供多种数据接口包括OPC、COM、OLE Automation、.Net、SOAP、OLEDB等; 5.提供内置的虚拟机实现可编程功能,能够有效支持包括先进控制、数据挖掘在内的复杂应用; 6.在外围应用上采用主流的B/S结构,并利用微软最新的.Net框架构建Web应用,提供功能强大的流程图、报表、数据统计等功能; 7.在数据采集方面通过接口层来隔离数据源和系统内核,实现了统一的数据传输,支持OPC、DDE、TCP/IP、RS232/485等通用协议,并开发出了基于无线网络OPC数据采集系统;

胡飞[3]2015年在《基于实时数据库的楼宇自动化系统设计与实现》文中认为近年来,随着社会市场经济和科学技术的高速发展,我国的楼宇建筑也在向智能化的方向发展,人们对建筑的智能化、安全性和舒适性等要求愈来愈高,使得对楼宇自动化系统的开放性和互操作性等方面的要求也愈来愈高。随着智能建筑的功能需求不断增长,其集成化程度也越来越高,建筑内需要监测和保存的变量也越来越多,这对楼宇自动化系统的实时性和准确性提出了很高的要求。BACnet协议标准的不断发展和推广、实时数据库技术的兴起和其在状态监控系统中的应用为解决上述问题提供了新的思路。BACnet是专门针对楼宇自动化及其控制网络所制定的一个数据通信标准,也是ISO国际标准。实时数据库可以将现场设备与上层监控系统连接起来,是工业监控系统的重要组成部分。将实时数据库技术与BACnet标准结合起来,有利于楼宇自动化向集成化、网络化和智能化的方向发展,对促进楼宇自动化系统的应用和发展意义重大。本文通过对智能建筑中楼宇自动化系统的设计原理的分析,结合我国的实际应用情况,对我国楼宇自动化系统的设计和应用问题进行了具体的研究和分析,设计并实现了一个基于BACnet标准和实时数据库的楼宇自动化系统。在研究与分析了楼宇自动化系统的组成部分和功能架构之后,本文提出了通过实时数据库采集现场设备的实时数据,实现对建筑中的楼控设备进行实时监视和控制管理的策略。实时数据库的接口联系着上层应用和现场控制设备,文中对所使用的DasRdb实时数据库的接口规范进行了描述和说明。为了支持BACnet标准,分析了BACnet协议模型的特点、体系结构和协议栈编码规则,利用实时数据库的接口开发了一个BACnet设备驱动程序,并且在数据链路层支持两种实现方案:MS/TP技术和BACnet/IP技术。文章最后对实时数据库和所开发的驱动程序进行了性能测试以验证它们能够很好地满足楼宇自动化系统的需求,并给出了本系统在海南七仙岭希尔顿逸林酒店项目的应用实例。

徐国风[4]2006年在《实时数据库关键技术研究》文中进行了进一步梳理具有定时特性或显式定时限制的实时数据库系统(RTDBS),随着应用领域的日益广泛,已成为现代数据库技术研究与工程应用领域的热点课题。 论文综述了国内外主要实时数据库系统研究与应用现状,阐明了研究工作的重要意义和主要内容。侧重分析了实时数据库的各种特征、应用环境、主要技术、设计原则和体系结构。 论文重点研究了RTDBS中的“微内核”结构、实时事务调度、事务并发控制、缓冲区管理、主动机制与分布式应用等关键技术,根据流程工业应用特性,给出了相应的结构和算法设计,主要有:任务分治调度、混合两阶段锁并发控制、改进型P—LRU缓冲管理、E—RG主动机制等。 论文在研究了RTDBS内存数据组织管理、装入换出策略、存取应用方法和历史数据管理的基础上,针对流程工业应用,结合某钢铁企业综合自动化应用现状设计了一个RTDBS总体方案,给出了体系结构、关键技术和实现原型。 论文最后总结了作者的研究工作,从实时数据库应用前景和技术发展两个方面指出了需要进一步研究的问题和方向。

高俊杰[5]2005年在《基于OPC的实时数据库技术与应用》文中研究指明以燕化仿真中心企业综合自动化实时数据库工程项目为例,针对用户需求:企业综合信息数据平台,异构系统的互操作性,简介了实时数据库的特点和基本概念,对Infoplus.21实时数据库系统进行了应用研究,满足了仿真中心各个层面的要求,达到了初步设计的要求。 本课题的工作在借鉴现有理论和技术的基础上,采用目前最为先进最为流行的组件通讯标准-OPC(OLE for Process Control)。OPC为工业自动化软件面向对象的开发提供一项统一的标准。它是为解决应用软件与各种设备驱动程序之间的通讯而提出的,它把硬件厂商和应用软件开发者分离开来,大大提高了双方的工作效率。重点阐述了OPC技术的基础COM原理和运行机制,OPC对象之间连接的通用标准接口,并描述了WIN2000操作系统下用于工程人员和终端用户在Infbplus.21中组态和存取数据的OPC接口设计与应用的具体实施和实现细节。 论文还分析介绍了OPC SERVER的总体设计结构,将COM技术应用于服务器的开发过程中,使用OPC服务器的线程模型,采用组件的概念和形式,使用接口和指针对象,完成OPC接口程序的编制,并进行了联机测试,各部分功能都得以实现,达到了预期的目的。

吴剑强[6]2004年在《流程工业实时数据库系统研究与开发》文中指出随着市场经济体制的进一步成熟和发展,作为市场主体的企业面临着日益激烈的市场竞争。以信息技术为核心的流程企业综合自动化建设为企业在竞争中取胜提供了一个新思路。实时数据库作为核心的关键技术之一,在流程工业企业综合自动化中起着极其重要的基础数据平台的作用,它为各类先进控制软件和其他应用提供了集成数据支撑。为了开发具有自主知识产权和全面支持先进控制软件的实时数据库,本论文展开了流程工业实时数据库的调查、研究、设计、开发和验证等工作,最终开发完成实时数据库ESP-iSYS-A。本论文的研究得到了国家高科技研究发展计划(863计划)重大课题(2001AA413020)和国家“十五”科技攻关计划项目(2001BA204801)等项目的资助。 本课题的所取的研究结果和内容可以概括为以下几个方面: 1.针对国内现有实时数据库产品普遍对先进控制软件提供数据支撑不足的现状,提出了能为先进控制软件提供集成数据服务的实时数据库体系结构。该体系采用了COM/DCOM组件技术,具有良好的分布式特性。 2.结合流程工业数据特点,定义了符合需要的组态数据、过程数据属性特征,建立了数据存储模型和数据服务模型。 3.针对控制系统数据接口多样性的难点,结合软件开发中的接口技术,提出了通用接口数据采集框架,大大降低了工程实施的难度。 4.考虑到先进控制软件对历史数据的不同访问需要,提出了内存历史数据库和磁盘历史数据库两种数据存储方案,并采用了高效的旋转门压缩算法。 5.为了满足先进控制软件在控制器切换、回路及通讯监控等方面的自定义需求,引入了ActiveX Scripting脚本技术。通过编写脚本可以实现所需的所有控制逻辑,极大地提升了实时数据库对先进控制软件的支撑能力。 6.为了先进控制软件多样化数据需求,尝试提供多种实时数据库的访问接口,包括OPC、ODBC、API接口以及ActiveX控件等,方便进行二次开发。 7.以某农药厂数据挖掘项目为例,说明了所开发的实时数据库产品ESP-iSYS-A为先进控制软件提供的集成数据支撑作用,同时也说明了实时数据库在加快企业信息化建设和增强企业竞争力方面所起的积极作用。最后总结了全文的工作,指出了实时数据库的进一步应用研究发展方向。

蔡艳园[7]2002年在《过程企业MIS中的历史数据库的研究与开发》文中提出流程企业存在极大的对实时生产信息进行处理、存储和集成的需求,能够高速分析处理现场数据是企业实施自动化管理和决策的基础。本文在分析了流程企业中实时数据库的应用需求后,以实际的工程项目“电厂实时监控软件蜂巢系统――Beehive”为背景,着重于分析其中历史数据处理部分设计中所采用的关键技术。本论文的主要研究内容,一是基于SQL Server2000的历史数据服务器设计,二是外围历史数据使用工具软件的设计。数据库的设计是整个工作中最重要的一部分,软件体系结构设计以及工具软件的开发,历史数据的应用逻辑的设计都建立在合理的数据库结构上。我们的系统采用的Microsoft SQL Server2000开发的。本文在讨论了开发中涉及到的数据库理论,包括关系数据库的理论,操作数据和分析数据,以及SQL Server2000的特点以及性能优化设计后,提出了适用于实时监控系统的历史数据库的设计,其组成部分包括数据库的新建、数据库的管理以及任务的定时执行。数据库的设计中最重要的是两个内容,一个是要将压缩的离散的数据按照一定的规律返回,这个任务是由几个存储过程协同完成的,可以输入参数控制返回;另一个是,实时数据大量积累在数据仓库中,要定时清理过期数据,因此使用Microsoft SQL Server2000的数据导入导出工具DTS完成了过期数据的删除或者选择保存为Access文件。除了服务器的数据库设计,文章在讨论了蜂巢系统软件的功能结构和层次结构的基础上,和其它相似的计算机系统进行了比较;介绍了历史数据使用工具软件的设计,包括两个模块EZSeek和EZReport,以及相应的数据库设计。EZSeek和EZReport中采用了通用数据访问,以及OLE自动化技术,利用microsoft Excel完成报表和数据的处理,并在界面上采用了MFC的文档视图类,利用叁个视图显示数据。另外报表的制作在本课题中是最关键的一个环节,仅仅建立了数据仓库并且设计了数据仓库管理是远远不够的。本文还在研究了数据仓库理论以后,在实际工作中的应用设计了一个适合于本系统的数据集市。数据集市中通过两个任务获取报表数据。这部分是对系统今后扩展的设想,还需要时间检验。

刘正才[8]2008年在《测绘工作中甚大规模对称矩阵管理的理论和方法研究》文中进行了进一步梳理测绘对称矩阵是人们经长期而艰辛的努力建立起来的重要基础信息之一,它在基础信息分析处理、空间大地测量、摄影测量与遥感、大地形变监测与大型结构物实时动态变形监测等领域和国家重大科技决策上发挥着重要作用。因此,在管理一般性测绘数据的同时,应高效地存储、管理和共享这些甚大规模的对称矩阵,以充分发挥这种基础信息在信息化测绘中的重要作用。近年来,空间大地测量、摄影测量与遥感、大地形变监测与大型结构物实时动态变形监测技术的运用和发展,每时每刻都在生成对称矩阵,且其规模急剧膨胀而形成多种甚大规模测绘对称矩阵,基于文件系统的对称矩阵的传统管理方法面临极大挑战,甚大规模对称矩阵的存储、管理和网上发布已经成为测绘数据管理的重要研究课题。目前的数据库技术还没有考虑用数据库表文件存储和管理对称矩阵。对此,本文建立了对称-关系数据库理论,并依据此理论研究了测绘工作中甚大规模对称矩阵的管理理论和方法。即先建立对称-关系数据模型,再以此扩展关系数据库管理系统RDBMS,形成对称-关系数据库管理系统SR_DBMS,以便在管理一般性关系型表的测绘数据的同时,高效地管理甚大规模的测绘对称矩阵,这在发展数据库理论和解决测绘工作的甚大规模对称矩阵的管理问题等方面有着重要的理论和实际意义。本文的主要研究工作有:1)系统地分析了测绘对称矩阵的规模膨胀特征,经分析得出:对称矩阵具有列数不固定,行列数同步增减的半结构化数据特征,不宜直接用关系数据库管理系统管理。2)在前人给出对称矩阵行(列)压缩的下标变换公式的基础上,推导和证明了相应的下标逆变换公式,并系统地形成了对称矩阵下标变换定理。结果表明,这些定理完整地揭示了对称矩阵的结构信息,奠定了对称-关系数据模型的数学基础。3)分析了ITRF的SINEX格式存在着两个冗余字段的特点,提出了SINEX格式的初步改进建议。提出了不同算法间的相对运行效率和测时显微镜算法等概念,由此探索了算法效率的后期测试方法,建立了ITRF对称矩阵的新查询算法,对新、旧两种算法进行了相对效率分析。结果表明,初步改进的SINEX格式及查询算法虽提高效率明显,但仍属于文本文件系统管理模式。4)提出了一种新的研究思路,即先用下标变换公式将半结构化的对称矩阵转换成完全结构化的表,用RDBMS来管理之,再用下标逆变换公式将管理结果还原成对称矩阵形式交给用户使用。5)提出了对称-关系数据模型,建立了对称-关系数据库理论,这包括:①定义了对称-关系数据模型和对称-关系数据库的概念体系,提出和建立了对称-关系数据结构、对称-关系构造器和析构器、对称-关系数据操作与完整性约束等对称-关系数据模型的组成要素;②提出和建立了对称-关系数据库的结构化查询语言SR_SQL、对称-视图,并分析了其特点;③构建了对称-关系的数据提取、查询和更新技术及关键算法。6)初步建立了对称-关系功能扩展模块,即SR模块。在Windows Vista和Visual FoxPro环境下,以ITRF数据集为数据对象,进行了实验研究,按软件工程原理用测试用例对SR模块进行了功能测试和效率测试。研究表明:用SR模块扩展RDBMS,来管理对称矩阵,既不损失一般关系型表数据的管理效率,与传统的ASCII文件系统相比,又可节约对称矩阵的存储空间65.8%,还可成百倍地提高管理对称矩阵的时间效率。ITRF成果数据,其90%以上是对称矩阵,是典型的附甚大规模对称矩阵的数据集,宜采用对称-关系数据库系统来管理。

李龙[9]2014年在《流程工业分布式实时数据库事务管理的研究与开发》文中指出随着流程工业的迅速发展,传统的单机实时数据库已经无法满足大型流程工业对规模、拓展性、容错性的要求。具有高容量、高伸缩性、高容错性的分布式实时数据库成为实时数据库领域的新方向。传统的实时数据库事务处理缺少对流程工业相关需求的针对性研究,没有充分考虑分布式事务处理面临的事务分解、事务合并、数据一致性等问题。本文通过深入分析流程工业实时数据库的业务特点,建立流程工业实时数据库的事务模型,应用查询事务优化、实时事务调度、分布式事务提交、分布式一致性服务等关键技术,研究并开发了一个分布式实时数据库的事务管理模块。本文深入分析流程工业分布式实时数据库中内部和外部请求的实时性特征、数据操作类型、原子性需求和重要程度等特征,根据相应的指标建立实时事务模型。基于该模型,采用具有准入控制的优先级调度算法对数据库事务进行混合调度,对具有较近截止期事务和内部事务赋予较高优先级,保证内部事务在截止期内完成的情况下提高系统的吞吐量。针对传统两阶段锁中出现的优先级倒置现象和抢占锁中出现的循环抢占现象,设计基于事务执行时间估计的优先级两阶段锁算法。该算法根据事务执行时间来决定是否抢占资源,以减少高优先级事务错失几率和不必要的资源抢占。为保证事务处理的实时性,创造性地提出无阻塞两阶段提交协议,在传统两阶段提交协议中增加候选协调者角色,解决了两阶段提交协议中协调者故障引起的阻塞问题。同时,本文设计基于多重副本的智能查询机制对于查询事务进行优化以提高查询效率。本文最后搭建测试平台,对事务管理模块的功能、性能和可靠性进行测试验证。测试结果表明:事务管理模块能正确处理历史数据查询、实时数据推送、实时数据订阅等各类请求;模块在半数以上节点存活的情况下能正常工作;并发查询规模、查询响应时间、数据一致性等性能指标满足设计需求。结果表明事务管理模块能够达到设计预期目标和性能要求。

史成全[10]2005年在《先进控制软件集成平台中OPC技术的应用研究》文中研究说明流程工业企业为了不断提高自身的竞争力以及在市场中占据有利的地位,越来越重视企业信息化建设,运用先进控制的理念和软件技术来提升现有的生产能力。但是国内现有的先进控制软件普遍存在着功能单一、各软件间集成性和互操作性较差的特点,使得企业难以综合运用这些软件,发挥其整体优势。在这样的背景下,本文以先进控制软件集成数据平台作为研究内容,该平台以实时数据库为核心,以OPC技术为主要数据通讯方式,不仅具有一般实时数据库的功能,而且能更好的提供对先进控制软件的支持。 本文首先介绍了先进控制软件和实时数据库的一些基本知识,然后系统地分析了集成平台的必要性和功能需求,通过对比的方式确定了集成数据平台的数据访问方式,提出了集成平台的体系结构设计,并分析了系统结构设计的优点。 本文研究的重点是集成平台OPC数据访问接口的实现,包括OPC数据服务器程序和OPC客户端程序的实现。在深入研究OPC DA规范和COM技术的基础上,本文从服务器的数据结构、服务器地址浏览空间、OPC服务器注册以及数据通讯方式等方面详细的介绍了OPC服务器程序的开发过程和方法;对于OPC客户程序的实现,本文主要介绍了客户端数据结构、STA线程的创建以及STA线程的工作。最后设计了集成平台实时数据库访问接口,并对所实现的OPC服务器和客户端分别进行了测试。 基于OPC技术设计的先进控制软件集成数据平台,使用户不必关心各种驱动程序和通信程序的编写,方便的读取所需的实时数据和历史数据,将主要精力用于先进控制软件的研制和开发。因此,先进控制软件集成数据平台的研究和开发,有着广泛的市场前景和较好的实用性。

参考文献:

[1]. 流程工业大型实时数据库理论、技术与应用[D]. 王成光. 浙江大学. 2003

[2]. 大型实时数据库关键技术及系统构架[D]. 叶建位. 浙江大学. 2005

[3]. 基于实时数据库的楼宇自动化系统设计与实现[D]. 胡飞. 东南大学. 2015

[4]. 实时数据库关键技术研究[D]. 徐国风. 西安建筑科技大学. 2006

[5]. 基于OPC的实时数据库技术与应用[D]. 高俊杰. 北京化工大学. 2005

[6]. 流程工业实时数据库系统研究与开发[D]. 吴剑强. 浙江大学. 2004

[7]. 过程企业MIS中的历史数据库的研究与开发[D]. 蔡艳园. 清华大学. 2002

[8]. 测绘工作中甚大规模对称矩阵管理的理论和方法研究[D]. 刘正才. 中南大学. 2008

[9]. 流程工业分布式实时数据库事务管理的研究与开发[D]. 李龙. 浙江大学. 2014

[10]. 先进控制软件集成平台中OPC技术的应用研究[D]. 史成全. 大连理工大学. 2005

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

流程工业大型实时数据库理论、技术与应用
下载Doc文档

猜你喜欢