摘要：信息技术的发展，大数据的涌入，在当今的大数据时代下，国家电网乃至电力自动化系统对数据处理提出了更高的要求，本文主要从目前电力化系统数据处理存在的问题，大数据时代下的数据类型，大数据时代下的数据生命周期和大数据时代下的数据传输四个方面进行探究，数据处理成为常态，选择合适的数学模型进行数据处理尤为重要。
关键字：大数据；数据处理；电力自动化系统
0 引言
信息化技术日益渗透到各行各业中，并孕育了新一代的数字化产业；大数据技术除了在计算机领域内应用广泛，并且取得了非常好的成就。今年来在电力行业也展现出巨大的应用潜力。电力化系统数据处理的目的是发掘出与设备状况相关的信息，并将处理结果反馈的执行层。电力系统中每天都会产生大规模的数据，这些数据中存在着大量的有用信息，但是信息之间也存在着冗余与耦合，因此需要采用合理的数据处理方式对数据进行清洗智能分析发挥出内在的价值。
1 电力自动化系统数据处理存在的问题
电力自动化系统时时刻刻产生大量数据，例如SCADA系统每2-5秒收集一次数据，AMI系统每1-15分钟收集一次数据等。因此，数据管理与数据处理成为目前最大的挑战。
1.1标准和互操作性
智能电网包含不同的类型的设备、网络、系统和数据，每个模块具有不同的特点，数据具有连续或非连续性，系统包含交互式或非交互式，网络存在快速或者低处理性等。如此一个复杂的环境，使得智能电网在数据管理，数据处理方面面临巨大挑战。国家如果不能提供标准的通信协议，无法实现数据的互操作性。
为了标准化智能电网，目前已经开发了很多信息模型，从用于与MDMS相关企业应用程序通信的IEC 61850开始，IEC 61970/61968公共信息模型逐渐成为信息交换和信息传递的信息模型。最近，智能逆变器的集成需要先进的协议，信息模型已经发布了IEC 61850-90-7协议。
1.2海量数据的管理
电力自动化系统可以存储大量的数据，但是需要成本比较高，目前，很多公用事业因为缺乏基础设施和数据分析技能导致不能充分利用收集的新数据。除了海量数据无法合理管理利用之外，客户在数据管理方面也存在一些问题，例如客户很难使用智能网络平台提取大量的数据，造成很多数据得不到很好的利用。
1.3安全和数据隐私
在电力自动化系统中，大量的设备通过通信网络相互连接，网络存在很大的漏洞。目前虚拟化技术可以使企业在虚拟机上运行应用程序，是云计算技术的关键，可以降低硬件的投资成本。由于用户之间使用的是共享平台，导致网络带宽在实际应用中出现低延迟问题，从而安全性受到威胁。如果设备之间没有安全连接，则无法保证数据的保密性，为了保证通信安全，需要采用认证机制。
2大数据时代下的数据类型
大数据时代的到来对于增强数据管理提供了新的机遇，大数据具有结构化，半结构化和非结构化三种不同的格式，不仅仅速度快而且能够在收集的数据集中提取有效数据。
数据来源比较广泛，主要包括仪表，传感器，设备，变电站，移动数据终端，控制设备，智能电子设备，分布式能源，客户设备和历史数据等。因此不同的数据有不同的类别，根据提取值的不同，分为以下几种数据：
1）运营数据，也就是电力系统中的电气产生的数据，数据主要是功率，电压，响应能力。
2）非运行数据，此数据和电网功率无关，是电能质量和可靠性相关的主数据。
3）仪表产生的数据，主要是平均值，峰值和时间相关的数据。
4）事件消息数据，主要产生于智能电网设备事件中，如电压损失/恢复，故障检测事件数据等。
期刊文章分类查询,尽在期刊图书馆
3大数据时代下的数据生命周期
3.1数据集成
数据集成现代信息与通信技术主要用于提高电力自动化系统可靠性和效率，以下介绍几种方法来确保数据集成：
1）服务导向架构（SOA）是集成了大量软件的系统，每个软件都有各自独特的方式提供用户服务，SOA可以使软件使用单一方法进行通信，从而使数据集成更容易，灵活，SOA在数据集成中占据重要地位。
2）企业服务总线（ESB）是管理GIS，OMS，CIS等不同类型系统之间通信的一种方法。ESB可以降低时间成本，在管理，监控方面提供便利，ESB技术与SOA紧密结合，可以更加便捷的进行数据集成技术。
3）通用信息模型（CIM）主要用于集成数据，在数据管理方面至关重要。CIM可以降低数据集成时间成本，和技术网络基础设施之间进行数据通信，是电力系统的基础，保证数据的互操作性，和ESB共同使电力自动化系统数据标准化。
3.2数据存储
数据存储是数据处理的前提，在电力自动化系统中起关键性作用，主要从发送的数据源以输入/输出形式进行数据收集并存储数据，开发一种可扩展的数据存储机制是大数据时代的要求。
1）分布式文件系统（DFS）允许多台计算机上的多个用户同时共享文件和存储资源。 作为基于客户端/服务器的存储机制，允许每个用户存储本地数据。DFS使用比较广泛，例如谷歌GPS，HDFS，Ceph等。
2）NoSQl数据库在大数据下可以克服传统SQL数据库带来的局限性，是一种新的数据库。主要提供三种架构，键值编码，如Dynamo和Voldemort；列存编码，如Cassandra和 HBase；文档数据，如MongoDB和CouchDB。
3.3数据分析
将收集的数据存储为大数据集，下一步需要进行数据分析，数据来源多样化，主要数据分析包括基于信号处理的信息分析、事件数据分析、状态数据分析、电网运营方的工程分析和客户产生的数据分析，具体详见图2。
数据分析模型比较多，如描述性，诊断性，预测性和规范性模型。描述性模型主要用于描述客户行为，了解客户基本的实践。在客户描述之后，诊断模型了解特定的客户行为并分析客户，进行决策。这两种模型可以作为预测模型，主要用来预测客户未来的决策，规范模型是智能电网中最高水平的模型，可以参与策略并对策略做出相应的决策。
大数据处理主要有两种方式：第一是数据批处理，主要是针对一段时间内的数据直接进行处理，对响应时间没有很高的要求。 第二是数据实时处理，用于实时数据，这种数据处理需要非常低的响应延迟。
3.4数据可视化
数据可视化可以将数据处理后的结果以上位机软件形式展示出来，为了方便评估数据，对于高维数据可以使用2D或者3D可视化,随着大数据的到来，数据变得庞大而复杂，可以以散点图，波形图等形式展示数据状态。
4 大数据时代下的数据传输
大数据时代中数据传输起着至关重要的作用，数据传输需要保持高带宽容量和速度，并且注意数据安全性和数据隐私等。数据传输基于通信技术，首先从接入网技术开始，包括PLC，ZigBee，WIFI；然后是区域网络技术，使用M2M，蜂窝网络，以太网等十大核心网络技术；最后是主干网络技术，包括光纤技术，微波链路，分波多工技术等。
大数据生命周期由五个阶段组成：数据源，数据集成，数据存储，数据分析和数据可视化。大数据分析是生命周期中最重要的一步，数据分析过程中，应用程序可以识别需要获取的有用数据并且智能化存储，进而数据可视化处理。电气公司应该采取正确的数据分析模型，使自动化系统数据在计算速度，兼容性，图形功能上更加完善。企业应该考虑更多标准，可以使用多标准决策（MCDM）工具，目前比较流程的MCDM为层次分析法。
4总结
电力自动化系统需要收集大量的数据，为网络带来智能化。数据处理成为至关重要的一部分，本文从四个方面进行阐述当今时代下的大数据，即电力化系统数据处理存在的问题，大数据时代下的数据类型，大数据时代下的数据生命周期和大数据时代下的数据传输，采用合理的数据处理方式对数据进行智能分析成为一种趋势。
参考文献
[1]朱池. 电力自动化系统的数据处理［J］. 河南科技，2011（24）.
[2]蒋亚. 电力自动化系统中的数据交换［J］. 科技创新导报，2011（4）.
[3]张玮. 浅析电力系统自动化中的数据处理［J］.科技创新导报，2009（30）.
[4]张钢. 大数据时代下的电力自动化系统数据处理[J]. 广东科技, 2013(22):20-21.
论文作者:车立丽
论文发表刊物:《当代电力文化》2019年第04期
论文发表时间:2019/7/15
标签：数据论文; 数据处理论文; 自动化系统论文; 电力论文; 模型论文; 时代论文; 客户论文; 《当代电力文化》2019年第04期论文;