云计算集群之高可用数据库集群的设计与研究
孙佩娟 武汉传媒学院
摘要: 在经济和科学技术的日益进步,高可用集群应用也得到了长足的进步和发展,尤其是通过部署基于虚拟化的高可用云计算集群可以帮助企业解决其对数据处理稳定性的要求。本文着力于运用云计算与虚拟化技术给予高可用数据服务器的构建与运维提供全面的技术保障,希望可以对应用相关技术对传统的数据中心架构进行虚拟化升级改造,提供一定的参考思路和价值。
关键词: 云计算 集群 高可用 服务器
随着信息技术的持续飞速发展,社会已经步入大数据时代。为了方便海量数据的处理,越来越多的应用将迁移到云中。据前瞻产业研究院发布的《中国云计算产业发展前景与投资战略规划分析报告》统计数据显示,截止至2017年中国云计算行业市场规模增长至691.6亿元,同比增长34.3%,增速快于全球水平。初步预测2019年中国云计算行业市场规模将突破千亿元,并预测到了2021中国云计算行业市场规模将增长至1858亿元左右。可见,从全球范围来看,中国云计算行业发展较快,未来发展空间较大。
潮州电厂引进的1000MW#3、#4超超临界机组,分别于2009年11月9日、2010年1月18日通过168小时试运行,于2010年10月18 -22日进行了现场监测及调查。电厂废水为循环利用,实现零排放;大气颗粒污染物主要采用静电除尘器进行处理,脱硫采用石灰石-石膏湿法烟气脱硫工艺,采用低NOx燃烧器、分级配风、降低燃烧温度水平等方式控制NOx产生;固体废物由专门的公司负责清理。
云计算让资源更为的集中,只是这种“集中”不是集中到一台机器,而是集中到由1000台、10000台或更多机器从逻辑上整合成的集群。管100台、1万台还是100万台机器,那是完全不同的。机器少可以用人管理,机器多是不可能全部靠人工来完成的。 一方面,云计算要用云平台取代那些昂贵的物理解决方案。但是物理设备出了问题可以返厂维修,可以直接更换坏块儿。但是云计算是基于云平台搭建的框架结构,不存在返厂维修更换芯片的概念,所以在一定意义上来说云计算的目标是在故障成为常态的情况下保证高可用。
服务器集群(Server Cluster)可简称为集群,一般是指数台、数十台甚至更多台具有较高计算能力的服务器组成的数据处理集合,具有优于单台服务器的高性能、高可用性、高可扩展性的数据处理与服务能力。由于其卓越的性能,目前世界上主流的大数据处理都基于公用或私有的集群系统来构建。比如说IT行业的龙头——谷歌公司就维护着世界上最大的计算机集群系统,并且随着其业务的发展其集群数目还在不断的扩大。而在中国,作为全球B2B 电商龙头的阿里巴巴公司,早在2016年其数据中心的服务器数目就超过了100万台。并且为了支持其包括电子商务在内的繁重数据业务,该公司专门构建的“云梯”(YARN)服务器集群系统,仅其内部的物理计算节点都已经超过了二十万,有望成为电商行业内最大的集群应用之一。
随着网络带宽的不断提升,之前只能在特定类型的集群配置中实现的诸如高可用性、动态虚拟资源管理以及短期服务器故障转移等服务组合,都能够在虚拟的云计算环境中得到技术实现与性能提升。本文就是借助于vmware虚拟软件模拟生产环境,在 redhat6.5操作系统下用keepalived+mysql设计并构建高可用数据库集群,最后可以手动宕机或通过动态脚本进行测试。
keepalived是集群管理中保证集群高可用的一个服务软件,用来防止单点故障。它是以VRRP(虚拟路由冗余协议)为实现基础的,即将N台提供相同功能的路由器组成一个路由器组,这个组里面有一个master和多个backup,master上面有一个对外提供服务的vip(该路由器所在局域网内其他机器的默认路由为该vip),master会发组播,当backup收不到vrrp包时就认为master宕掉了,这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。
而MySQL由瑞典MySQL AB 公司开发,目前属于 Oracle旗下产品,是最流行的关系型数据库管理系统之一。关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。由于其体积小、速度快、总体拥有成本低,尤其是开放源码这一特点,一般中小型网站的开发都选择MySQL 作为网站数据库。
virtual_ipaddress {
virtual_router_id 88 #让master和backup在同一个虚拟路由里,id号必须相同;
(一)mysql 主主同步
电控变速器内集成了4根平行轴及齿轮:输入轴及齿轮、发电机轴及齿轮、驱动电机轴及齿轮、副轴及齿轮(图7)。输入轴的外花键与扭转减振器的内花键连接,将发动机的动力输入到E-CVT内部。输入轴也与超越离合器连接。驱动电机轴与驱动电机的转子连接,驱动电机轴齿轮与副轴常啮合齿轮啮合,然后通过主减速器、差速器、半轴将动力传给两个前轮(驱动轮),驱动车辆行驶。驻车齿轮通过花键与驱动电机轴连接,并随驱动电机轴同步转动。发电机轴与发电机的转子连接,发电机轴齿轮与输入轴的常啮合齿轮啮合。发动机转动时,通过常啮合齿轮传动带动发电机运转。
interface eth0 #vip 绑定端口,主从一般为一致
为了加强学生实践能力的培养,在实际教学过程中需要从3个方面改变传统的注入式教学模式:(1)教师角色的转变,由权威型转变为朋伴型;(2)学生地位的转变,由被动听讲转变为主动参与;(3)教学过程的转变,由单一传授型转变为引导互动型.在教学实践中,鼓励专业教师利用超星学习通、蓝墨云班课等不同的移动学习平台实施翻转课堂,把相应的课程教学资源(如授课教案、练习题、课外学习资料等)按照课时计划逐步放到网络学习平台中,从而改变传统的“教”与“学”的方式.这样的措施不仅提高了教师的课堂授课效率,也使学生的学习积极性得到提高.
priority 100 #优先级,谁的优先级高谁就是master;
建议源码安装keepalived软件,如果安装报错,建议查看ipvsadm kernel-headers kernel-devel openssl-devel poptdevel 是否安装。重点关注主备配置文件中不同的配置项,配置文件一般存放在/etc/keepalived/keepalived.conf中。其主要更改项如下所示:
因为本文的重点是实现数据库服务器的高可用,所以在此对mysql的主主同步仅做简要介绍如下所示: (1)设置master数据库的my.cnf文件;(2)导出master数据库多余slave数据库中的数据,然后导入到slave数据库中。保证双方在同步环境实现前的数据一致。[新建环境可忽略次步骤];(3)在master上设置数据同步权限;(4)查看主服务器master状态(注意File与Position项,从服务器需要这两项参数);(5)设置slave数据库的my.cnf配置文件;(6)在slave数据库中导入从master传过来的数据;(7)配置主从同步指令
state MASTER #主节点角色是master;从节点是BACKUP
所谓主从复制是指主库授权从库远程连接,读取binlog日志并更新到本地数据库,主库写数据后,从库会自动同步过来(从库跟着主库变)。而主主复制则是之主从相互授权连接,读取对方binlog日志并更新到本地数据库,只要对方数据改变,自己就跟着改变。
公司产品主要涉及PVC、PE管材和管件,广泛应用于城乡自来水工程、市政工程、建筑给排水、农田灌溉、喷灌工程、城市排污、室内供暖、海水养殖、电力通信等多个领域。公司具有独立的出口权,产品远销美国、英国、以色列、澳大利亚、日本、俄罗斯等30多个国家和我国台湾地区。
香雾缭绕,花瓶里的腊梅无声地绽放。四小姐慵懒地坐在桌前,摆弄一本古旧乐谱,翻过来过翻去,就是不能进入古乐的境界,最后索性合上。抬眼看看瓷瓶里的腊梅,看了好一阵,才伸出苍白纤细的手指,把其中的一枝捻转到一个合适的角度。
(二)安装keepalived,修改keepalived主备配置文件
本项目用MySQL做数据库服务器,用Keeplived来做心跳检测,其中一台服务器宕机,另外一台可以自动接管服务,从而实现数据库集群的高可用。其主要配置流程如下所示:
192.168.1.100 # 虚拟 ip
}
(四)状态检测
将SH-SY5Y细胞接种在6孔板中,2×105/孔,待细胞长至约80%时,将细胞用不同剂量的VPA进行处理,VPA的终浓度分别为0.1、0.2、0.3、0.6 mmol/L。对照组使用对照溶剂PBS处理。各组细胞处理24 h后进行检测。
两边均启动keepalived,然后手动或启用脚本让其中一台服务器宕机,观察服务是否正常运行。
随着技术的发展社会的进步,云计算的应用越来越普及,逐步形成了一种以数据业务为中心的商业计算新模式。原先作为专业应用领域的集群技术也随着云计算尤其是虚拟化技术的发展而变得低成本和易于实现,不管是单位还是个人都可以通过合法的手段在公有云平台上购买云主机来完成满足不同需求的服务器集群的搭建。因此,基于虚拟化技术的云计算集群技术已经成为当前数据应用的主要承载方式,相关技术发展与应用创新将是一个长期持续的研究热点。
参考文献
[1]余洪春.Linux集群和自动化运维[M].机械工业出版社.2016.8.
[2]徐保民,倪旭光.云计算发展态势与关键技术进展[J].中国科学院院刊 , 2015(2):170-176.
[3]杨建荣.MySQL DBA工作笔记:数据库管理、架构优化与运维开发[M].中国铁道出版社.2019.8