摘要:目前,我国的经济发展十分迅速,经济的快速发展带动我国社会在不断的进步,文章主要以RealApplicationClusters(RAC)数据库结构为基础,将不同工程数据进行整合,构建工程数据资源池系统,解决数据时效问题及各系统数据相互独立不能有效资源共享问题。采用VS.NET的ASP.NET开发平台,基于C#语言的B/S结构网络架构和Oracle数据库架构提供的数据支持,实现了局域网与工程数据库服务器的互联,最终基于Big-Table模式开发了带有数据用户可视化功能的数据资源池系统,为实现生产辅助决策工作提供技术支持和数据基础。
关键词:RAC数据库;数据资源池;数据备份;工程应用
引言
大数据处理已被广泛应用于各个领域,人们已为此开发多个框架来加速不同类型的数据处理应用。由于一个大数据处理集群往往运行多个不同类型数据处理任务,公平资源共享是大部分平台所采用的资源配置策略。然而,不同类型任务对服务质量的需求是不同的,绝对公平并不总是终端用户和服务提供商的最佳选择。例如,实时数据流分析,需要快速完成任务;而综合决策系统,则主要关注系统吞吐量。
1OracleRAC集群体系结构简介
哈佛大学社会学教授加里•金说过:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”随着数据处理能力的增强,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。巨量数据的应用对数据库的要求越来越高。随着数据量的增大,除记录数据外,数据库还要面对存储容量是否可扩展、保存数据是否安全、数据的可利用性和数据的处理速度等问题。如何合理运用数据库并且减轻它负担,由此衍生出来针对企业信息系统的oracle数据库的RAC集群运行模式。集群是若干互联节点充当一个单台服务器。集群软件隐藏了结构,所有节点都可以对磁盘进行读写操作。RAC全称RealApplicationClusters,简单说它就是一个软件,RAC通过集群互连使得多个实例间可以互传协调信息和数据映象。从外部应用人员的角度看,RAC就像是一个节点在提供服务。
2数据资源池系统建设方案
2.1数据库备份方案
由于计算机系统中硬件故障、软件错误、操作员失误以及恶意破坏等情况将造成运行事务非正常中断,影响数据库中数据的正确性,甚至破坏数据库结构完整,造成全部或部分数据丢失。因此必须选择有效的备份方案,防止数据库的安全性和完整性被破坏,保证并发事务的正确执行,或者确保在数据丢失或遭到破坏的情况下可以快速恢复数据库,使系统恢复正常工作,因此本系统采用最新的Oracle数据备份功能进行系统优化。Oracle数据的备份有逻辑备份和物理备份两种方式,其中物理备份分为冷备份和热备份。在不影响用户对数据库访问的的情况下,系统采用Oracle数据库冷热结合的物理备份方式,同时也可以保证备份数据的安全性和数据恢复的灵活性,物理备份的频率为1周/次。
期刊文章分类查询,尽在期刊图书馆
2.2实际操作RAC搭建过程
1)注意事项在RAC中,grid用户的权限要比oracle的权限大,所以在RAC中监听listener已经不属于oracle来管理了,而是grid用户来管理。listener作为一种启动的资源来配置。lsnrctlstatus命令可以查看有几个实例注册了进来。2)搭建过程(1)首先需要配置网络,建立本地盘和共享盘(2)建用户及组、目录、权限并更新配置文件groupadd-g200oinstallgroupadd-g201dbagroupadd-g202opergroupadd-g203asmadmingroupadd-g204asmopergroupadd-g205asmdbauseradd-u200-goinstall-Gdba,asmdba,operoracleuseradd-u201-goinstall-Gasmadmin,asmdba,asmoper,op⁃er,dbagrid(3)修改内核参数vi/etc/sysctl.conffs.aio-max-nr=1048576fs.file-max=6815744kernel.shmall=2097152kernel.shmmax=536870912kernel.shmmni=4096kernel.sem=25032000100128net.ipv4.ip_local_port_range=900065500net.core.rmem_default=262144net.core.rmem_max=4194304net.core.wmem_default=262144net.core.wmem_max=1048586(4)配置共享存储运用ASM磁盘管理配置规划磁盘组OCR_VOTE,3个1G互为镜像(5)建立主机间的信任关系(6)配置Grid用户信任关系:生成密钥rsa类型:id_rsa为私钥,id_rsa.pub为公钥,它们自动保存到.ssh下[grid@tim1~]$cd[grid@tim1~]$ssh-keygen-trsa[grid@tim1~]$ssh-keygen-tdsa配置grid用户信任关系(Node1、Node2)(6)安装Grid解压安装包以root身份解压grid安装包和database安装包Node1:[root@tim1~]#cd/soft[root@tim1soft]#ls.
2.3性能评估
使用逻辑回归任务对交互式作业进行仿真,使用wordcount任务作为流式任务的仿真,使用pagerank任务对批处理任务进行仿真,分别采用本算法PR、先进先出算法(FirstInputFirstOutput,FIFO)和最早截止时间优先算法(EarliestDeadlineFirst,EDF)进行调度,比较仿真实验的结果。第一组实验比较的是这3种算法在不同的工作负载下的表现。在不同的工作负载条件下对3种算法的表现进行对比,结果显示,随着工作负载的提高,EDF算法和FIFO算法的性能显著下降,而PR算法产生的效用明显高于另外两个算法。在高工作负载下,PR算法产生的总效用比FIFO算法产生的总效用超出50%以上。
结语
OracleRAC应用集群技术不仅大大的节约了数据资源池系统的硬件成本,而且该技术支持灵活的应用规模扩充,保证系统性能的同时,使服务器使用最大化。通过并行处理技术提高事务响应时间,数据库和应用服务器的负载均衡,使系统的负载能力和扩展能力弹性很大,可以从容应付高强度的业务需求,为大量数据的查询和分析提供了条件。
参考文献:
[1]张晓明.大话OracleRAC集群、高可用性、备份与恢复[M].北京:人民邮电出版社,2009.
[2]张乐行.Oracle集群数据库在上海市标准信息服务系统中的应用[J].上海标准化,2005(10):17-18.
[3]冯宇彦,赵占雪,陈婉婷.云服务的解决方案探索[J].信息技术与标准化,2011,09:68-70.
论文作者:杨乐
论文发表刊物:《基层建设》2019年第24期
论文发表时间:2019/11/19
标签:数据论文; 数据库论文; 备份论文; 集群论文; 算法论文; 系统论文; 数据处理论文; 《基层建设》2019年第24期论文;