摘要：互联网时代数据量激增，数据的抓取调度已成为有效采集关键信息的重点问题。提出一种分布式系统的大数据分层调度算法，该算法依据数据集的维度特征属性，利用凝聚层次聚类对数据集进行分层处理，结合小型Hadoop分布式系统实现数据集分层调度。该算法为互联网时代下大数据的快速采集调度问题提出了一种新的解决思路。
关键词：分布式系统；凝聚层次聚类；分层调度
引言
近年来，随着科技飞速发展，使金融业向大数据化转型。一系列科技成果应用于金融数据统计、分析领域，为金融业发展提供了动力。随着大数据云计算时代的来临，各大型公司数据库在长期运行使用中出现海量数据通信调度响应慢，数据调度迟缓的现象。经过深入研究发现，问题产生根源在于数据通信调度方法采用的数据调度算法要素引入面窄、预测算法逻辑同意性差，导致数据调度准确度低、相应迟缓。
1大数据概念
所谓大数据是指运用常规的软件工具，无法进行处理的数据，它要依靠特殊的处理模式从而展现出丰富的信息资源。在大数据的背景下，计算机行业面临前所未有的窘境，它无法实现对丰富信息的基本处理，因此计算机网络技术亟待改变自己的工作模式，以适应时代的不断发展。
从表面上理解，大数据是指信息数据含量大。挖掘其深意，就可以得出，处理手段复杂、多样，处理速度快、价值低也是大数据的特征。它是理论、技术和实践的结合，对于大企业的精准营销、小微企业的服务转型有很重要的作用。成本低、效率高、信息含量大是大数据超越计算机处理信息的优势。因此，这种新时代的科技产物，在数据处理上有着得天独厚的优势，它符合计算机发展的时代要求，对整个社会的各个方面都有着积极的影响。
2数据通信调度的典型应用
数据通信调度在现有的通信资源的基础上，利用数字通信技术、ＤＳＰ话音处理技术和计算机网络技术，整合现有的卫星通信、ＰＳＴＮ、移动通信，数据通信等通信资源，组成指挥调度系统的核心，形成一个有机的、无缝的通信网络。在如此网络环境下，各种通信终端之间实现互联互通，并且在通信调度过程中，任何一类终端在不改变原有应用方式（双工或半双工等），且具有高稳定性、高可靠性及多种通信方式通信调度的能力。数据通信调度系统的内部常采用分体设计，集中控制的模式。将接口单元、协议信令控制单元、交换单元、中心控制单元等进行模块化，统一分配接口资源，所有接口利用高速总线连接，方便系统的维护与管理。数据通信调度的典型应用大数据背景下电网通信调度中的应用可以有效解决基础资料的管理问题。因为大数据电网通信系统具有容量大、智能化和灵活的优势，并逐步朝着多元化和系统化的方向发展，因此，将大数据技术引入电网通信调度系统可以有效地解决传统电网通信调度系统中的基本资料管理问题。其次，大数据技术在电网通信调度系统中的应用可以直接提高信息搜集和处理的效率和准确性。最后大数据技术在电网通信调度系统中的应用可以增加各系统信息之间的联系，进而促进调度系统信息库的完善和保证信息资料的准确。当前，大数据背景下的数据通信调度系统存在的不足有：信息大量浪费、信息不开放、信息之间的联系不足。针对上述问题，提出大数据背景下海量数据通信调度3+1集成法设计。采用3+1集成法，即三项技术加一套快速执行代码。通过ＣＰＵ信号强度波动算法对数据调度处理过程中处理器运算信号波动强度进行检测、分析、优化，使得数据通讯流更为通畅；经过处理器数据节点动态数检测技术，将处理器数据调度交互过程中节点电频波段进行宽域处理，增强调度数据信号抗干扰性；最后，采用电频信号转换算法对上述数值进行多条件引入运算，完善海量数据调度过程中的逻辑性，保证数据调度稳定、准确、高效。采用3+1集成法能够有效解决大数据背景下数据通信调度方法准确度差、数据断层等问题。通过仿真实验测试证明，提出大数据背景下的数据通信调度3+1集成法具有数据调度速度快、资源开销小、数据调度准确度高的特点，充分满足大数据背景下的数据通信调度的日常应用要求。
期刊文章分类查询,尽在期刊图书馆
3大数据在调度系统中的应用
3.1交通通信网络化目标及整体架构
基于大数据环境下的交通通信网络化，需要对资源共享以及信息化管理等提出一定的交互需求，这种需求不仅仅包括要与目前每一类宽带接进的设备、规则约定、协议相适应，还要能够给每个系统提供时间源与同步方式，同时必须确保其统一性和高精确性。在建设交通通信网络化时，其主要目标是为了给负责运营的通信系统提供服务，从而逐渐达成统一通信。进行通信服务的网络化建设与系统化建设需要关注的重点是非常多的，例如配置应用，例如如何有效提供通信服务，同时还需要根据网络化的通信系统来对通信服务进行设计，从而完成后续的建设与运行工作。由于交通网络化运营对交通通信有着一定的需求，可以看出目前单一的通信服务已经逐渐落后，无法满足日益发展的社会要求，因此，必须要建立一个公务通信应用服务平台，这个平台必须要做到十分完善，而且还要具备语音功能和信息功能。同时，要将视频分析为基础，开展网络化应用，实现软交换技术下，多媒体、语音、信息这三者的相互融合。交通业务具备很多要求，例如特殊化、多样性、安全性等，因此，必须要重视网络化公务通信，在进行管理和交换的过程中确保与软交换技术相符。由于交通在对时间的要求与支持上是不可避免的，因此，在建立通道时，要构建出复合通道，确保能够进行多业务承载，将其引到通信系统的建设运营当中，也便于后期的系统维护。
3.2数据的分层调度的应用
选取一套MVC模式的应用系统，用于对本文提出的算法效果进行测试验证，分别在单机和分布式的环境下进行了3h的数据调度测试。其中分布式环境选用了两台PC服务器分别作为Master节点和Slave节点组建Hadoop集群，服务器配置。分布式集群中单个节点的效率同单机节点相比略低，这是由于分布式环境中存在网络带宽等瓶颈因素，同时分布式系统还需承担作业调度、系统IO等额外开销导致的。但是两个节点的总体运行效率比单机提高了约59.58%，随计算节点的增加运行效率还可进一步提高，这也是分布式计算的优势。
3.3电力调度大数据的应用
对于电力调度管理者来说，收集数据是一切分析与决策的前提。而调度大数据系统天然具有数据优势，可为调度各专业精益化管理提供全方位的平台。调度控制专业可集成过载设备监视、预计设备过载、设备过载统计功能；调度计划专业可集成输变电设备检修浏览、清洁能源出力消纳、等效平均负荷等功能；设备监控专业可集成全网监控信息展示、监控信息分析、油温负载率越限、电压越限、无功电压潮流等功能；继电保护专业可集成远方操作统计、保护设备统计、保护缺陷分析等功能；自动化专业可集成状态估计、厂站运行率、缺陷分析、智能告警等功能，甚至是调度综合管理也会得益于它的强大数据处理能力，生成全网人员管理、调度工作评价、网站栏目发文统计、会议室管理等实用性功能。
结语
针对传统数据通信调度方法存在的问题进行了分析，并对问题存在根源提出了大数据背景下数据通信调度3+1集成法的设计。通过仿真实验测试证明，提出的数据背景下的数据通信调度3+1集成法的设计，各项测试数据都优于传统数据通信调度方法，满足设计改进要求，为数据通信调度方法研究领域未来发展提供新的思路。
参考文献
[1]姜明月．云计算平台下的大数据分流系统的设计与优化[J]．现代电子技术，2016.39（2）：28-32.
[2]朱景瑜.基于移动通信基站大数据检测浙江省高速公路/交通状态的质量评估分析研究[J].黑龙江科技信息，2016（30）：157~159.
[3]吕梦蛟.基于移动通信基站大数据的高速公路交通状态采集研究与应用[J].中国新通信，2016，18（8）：38~40.
论文作者:王勇
论文发表刊物:《电力设备》2017年第25期
论文发表时间:2017/12/25
标签：数据论文; 数据通信论文; 通信论文; 分布式论文; 系统论文; 信息论文; 节点论文; 《电力设备》2017年第25期论文;