摘要：如今，我国正处于大数据技术飞速发展的信息时代，计算机技术也成功步入智能化时代，同时，随着大量服务器的涌现，导致海量数据产生，这给信息处理系统的工作人员带来了极大的工作负担，同时传统的信息系统也无法再继续满足海量数据的处理需求。因此，为了相应数据市场的变化去求，大数据平台的诞生势在必行。
关键词：大数据平台；自动化运维；监控技术
前言
大数据自动化运维平台，是我国科学技术和信息技术飞速发展，大量网络数据不断产生而诞生的信息处理产物。由于大数据已成为当今时代各大企业发展的重要因素，因而对海量数据进行处理分析，在海量数据中收集具有有效价值的相关数据成为了各大企业最为关注的重点之一，而大数据自动化运维系统则能够有效满足各大企业对海量数据处理分析的相关需求，不仅能够有效提高各大企业运营效率，还能进一步增强企业的运营安全性，这对有效推动企业高效稳步发展具有重大意义[1]。
1大数据平台运维体系
在大数据背景下的自动化运维平台，是结合多元化的手段、方法、技术、流程、制度以及文档等对相应软件进行系统、运营环境以及相关人员等众多资源进行自动化管理的新型管理模式。大数据背景下的平台与传统概念的信息系统在工作侧重点上有着巨大的差异，具体从以下几个方面体现。
1.1 平台架构
分布式调任务、部署工具、分布式文件系统、分布式数据库、计算机引擎、资源管理器、作业调度以及数据仓库等都是大数据平台自动化运维体系的基本架构，主要是通过使用PC端服务器搭建处一个大数据集群，以便于拓展、搭建以及维护大数据背景下的相关集群，并通过科学合理的相关设置，将多元化的方法、手段、技术、流程、制度以及文档等组织服务安排到各大服务器上，以此来起到响应众多服务器的相关信息要求的目的。
1.2 平台运维任务
大数据自动化运维平台，主要是通过大量的服务器集群所构建而成的，而传统的信息系统则是由一台或者几台服务器所构建而成。但随着科学技术和模拟技术的逐渐完善和大范围运用，各大服务器大量涌现，传统的信息处理系统已然无法满足当前信息市场的相关需求，从而导致了大数据自动化运维平台的研发诞生。相较于传统信息系统，大数据自动化运维平台的完成效率明显高于传统信息系统[2]。例如在运行过程中，若有相关设备出现异常故障，对于传统信息系统而言，这无疑是一种致命的打击，会直接影响信息系统的正常运作，导致信息系统中的磁盘损坏或者是直接导致服务器损坏，必须立即采取长时间的停运抢救措施，这会严重影响用户在服务器上的体验，降低用户的体验感受，最终出现用户大量流失，影响经济收益。而大数据自动化运维平台，若是磁盘或者服务器出现损坏，并不会影响该平台的正常运行，同时还能够达到及时发现和反馈故障设备，通过维修更换来保障平台的顺利运用。
1.3运维团队构建
组建团队构建，是大数据自动化运维平台最为基础也是最为重要的工作重点，相关的团队人员需要具备超高的综合素养、专业运维技术技能以及良好的实践动手操作能力。大数据自动化运维平台的团队人员，主要是由团队负责人、硬件安装维护人、平台架构师以及软件技术开发人组成，其中软件维护人员主要负责整个平台软件的安装与维护，架构师则主要负责整个平台的软件运营环境，每个组员都对整个平台具有极为重要的意义，缺一不可[3]。
期刊文章分类查询,尽在期刊图书馆
2 大数据平台涉及的相关技术
大数据自动化运维平台由于拥有可以同时相应成百上千各服务器信息需求的作用，就需要对海量数据进行有关的分析和处理，从而在海量数据中进一步挖掘并向服务器提供有价值的信息因素，在这一运作过程中，通过自动化运维平台的监控技术可以有效地提高工作效率，并能达到极高的有效性[4]。对于大数据自动化运维平台的监控技术主要涉及以下几个技术层面，具体内容如下所示。
2.1 体系架构
随着我国科学技术的飞速发展和运用，市场经济的发展也格外迅猛，大数据运维平台在各大互联网行业中的应用也越加广泛。大数据运维平台能够同时对众多服务器的数据和信息进行追踪、分析和处理，将所有数据中有价值的信息分析剥离出来，这对有效提高服务器中相关数据的利用价值具有重大意义。
2.2 数据建构与存储
在众多服务器中，每天都会有海量的数据需要进行分析处理，而在这些海量数据中，具有使用价值的数据其实只占很小一部分，因此，大数据自动化运维系统在处理和分析这些数据时，就需要对这些数据建模并找到数据与数据之间的相关规律，并运用数据网络对所有数据进行分析和处理。关于数据建模，需要对所采集的相关数据进行特征寻找，并利用数学统一归纳思想血对数据进行相关处理，并进行科学合理的综合分析及处理，以此来建构整体数据的数据建模模型。在对数据进行处理的过程中，需要有效协调各类数据的相关内容，并收集和关注数据中所蕴含的有效价值以及数据特点中是否具有全局性[5]。如此一来，便可避免由于所采集的数据不具有全局性而在建模时出现局部特征突出，而无法对所有数据进行同时分析处理的严重问题
3.3 网络计算
在大数据运维平台中，网络计算主要是将系统运营中的任务分配给不同的计算机进行计算工作，从而达到提高系统的容量以及系统性能的作用，最终达到提高整体系统运营的总成本的目的。进行网络计算的主要原因是由于大数据运维平台在计算的过程中，对部分计算过程及算法无法达到全部转换或者是无法完全将所有函数嵌入数据库的效果，因此，在对所有数据进行自定义函数提取时，为了有效减轻分析师的任务量，就不得不对服务器进行增设和扩容。但增设和扩容需要花费大量成本经费，为了有效降低系统运营成本，又能达到全面有效的数据提取，就不得不采用网络计算这一有效措施。
3结论
综上所述，随着我国科学技术、信息技术与模拟技术的大力发展，大数据自动化运维平台逐步融入了各大互联网集团的运行和发展当中，这对各大企业的海量信息处理，资源管理以及信息采集与应用有着极其重要的意义，不仅能够提高企业在运营过程中的运行效率，还能大大提高企业运营过程中各大信息数据的安全性。
参考文献
[1] 曾怡.基于大数据平台的自动化运维及监控技术研究[J].科技创新导报,2018,15(25):1-2.
[2] 宋跃明,谢科军.基于大数据平台的自动化运维及监控技术研究[J].数字技术与应用,2017(06):102-103.
[3] 许振. 自动化运维的技术在高速公路收费系统中的应用[J]. 电子世界, 2019, 560(2):170-170.
[4] 熊炎. 基于多参数监测的井站运维监控系统研究与设计[J]. 电子世界, 2019, 560(2):206-206.
[5] 杨光, 谢锐, 薛广涛. 私有云平台资源监控与优化系统[J]. 计算机工程, 2018, 44(3):1-7.
论文作者:丁金多 罗富宝
论文发表刊物:《当代电力文化》2019年第11期
论文发表时间:2019/10/16
标签：数据论文; 平台论文; 各大论文; 海量论文; 服务器论文; 信息系统论文; 技术论文; 《当代电力文化》2019年第11期论文;