摘要：国家发展改革委、国家能源局下发《关于促进智能电网发展的指导意见》，要求加快智能电网的建设，开展智能计量技术应用，完善多元化计量模式和互动功能。推动智能电网建设，电力光纤到户是关键，电力光纤到户搭建了小区公共服务平台，为智能电网配用电侧的信息采集、智能互动用电等业务应用提供了有力支持，同时利用富余带宽为社区公共服务建设提供基础。电力光纤到户将获取配网线路的监控设备、用户端智能电表、家庭智能用电设备等大量实时数据，特别是智能电表上的电流、电压及每15分钟的冻结表底电量数据及时上传至主站系统，实现信息的实时采集、监测，并结合电力企业的内部营销业务域、生产业务域及计量自动化业务域数据，应用大数据技术构建智能分析服务应用，将优化电网的运行和管控，提高供电可靠性，提升客户服务水平。
关键词：电力；光纤入户；大数据应用
光纤入户短时间内实现仍有一定的困难，这里面最难的是施工问题而不是技术问题，政府应对FTTH接入网络建设进行规范，打破电信业务垄断和消除行业壁垒，同时政府部门可以积极使用光纤到桌面（FTTD）接入技术来推动FTTH的发展和普及。光纤入户是未来几年甚至几十年电信网接入宽带化的终极目标，它将带动一系列相关产业的发展，形成数千亿乃至上万亿元的市场规模。因此，光纤入户是电信业保持可持续发展的核心技术动力之一，也是电信业推进社会信息化的重要利器。
1光纤入户是未来电信网的发展目标
1.1百兆宽带是国家战略需要
近年来，很多国家都提出了各自以光纤为基础的国家宽带战略，开始“光纤进家庭”建设计划。宽带作为承载信息的主体基础设施，已经被很多国家提升到国家战略层面，普遍将100兆宽带作为升级的目标。美国计划2020年前向1亿个美国家庭提供速度为100M的网络。欧盟委员会也提出，到2020年50%家庭用户的网速要在每秒100M以上。可见，100M超级宽带将逐渐成为市场主流。在我国，工信部和电信运营商均将“国家宽带计划”列为通信业发展的重中之重，“宽带中国”战略已经形成共识，国家“十二五”规划也制定了相关内容。《北京信息化基础设施提升计划（2009-2012年）》中明确提出，北京要建设国际先进水平的城市高速信息网络。为此，要推进光纤入户，逐步替代传统铜缆。北京市光纤宽带网络规模国内第一，2011年底已覆盖近400万户，光纤宽带用户也接近百万户。
1.2光纤入户开创新应用
用手机拍下照片后，对着电视轻轻一甩，手机上的照片就“粘”在电视的显示屏上了；手机里正在播放的视频看得不过瘾，对着电视一甩，就能在电视机的大屏幕上接着看手机里的视频。这些业务的基础需要大容量带宽的支持，这就必须做到光纤入户。此外，光纤入户还能改善现有应用，使其变得更加容易便捷，成本更低。如智能家居，不论在家里的哪个房间，用手机等随身移动设备做遥控器便可控制家中所有的照明、窗帘、空调、音响等电器，可随时随地通过视频监控观察家中情况，根据需要启动或关闭空调和热水器等。
2技术架构设计
2.1离线数据集成实现
2.1.1集成架构设计
离线数据主要包含各子系统存量数据及增量数据，数据集成主要通过ETL实现跨系统、异构数据集成。跨业务系统的异构数据源之间数据差异性大，不仅存在结构化数据，而且存在大量半结构数据及非结构数据；同时，异构数据的ETL操作要求数据在抽取和加载的过程中进行远程传输，本方案针对离线跨系统异构数据采用基于Kettle构建ETL集成模型。对分散在各业务系统中的現有数据进行抽取、转换、清洗和加载。数据抽取过程包括数据剖析、增量数据捕获以及数据抽取三个环节。数据剖析是对源数据中数据结构及其内容的统计分析；增量数据捕获是实现增量数据抽取的解决方案；数据获取则是对源数据的获取。
期刊文章分类查询,尽在期刊图书馆
2.1.2离线数据计算
针对系统应用到的离线数据计算框架主要采用MapReduce及Spark组件。离线批量处理主要针对营销客户用电相关数据和计量自动化设备监测历史数据，由于其数据的有序性和准确性相对较高，能充分挖掘用户用电行为习惯及设备运行特征，使数据分析挖掘价值更贴近实际，为决策等提供有效的数据依据。
MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算，适用于分析如电力企业的几年营销业务域、生产业务域或计量自动化等大量历史存储数据。
Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用并行框架，Spark拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
2.2实时数据集成实现
2.2.1集成架构设计
用电用户对用电信息的实时信息查询及电力企业内部人员对设备的实时运行监测是电力行业实时性要求较高的常规业务工作，特别是对设备实时运行的分析统计和故障预测应用是保证供电可靠性重要手段，服务应用分析平台实时数据集成主要针对光纤通道直接接入智能电表数据、家庭智能家居和配网线路上的各类监测设备数据，基于SOA的Webservice集成接口实现数据的采集，再通过多任务进程及分区方式进行流数据的接入计算。
2.2.2流式数据计算
流式计算中，无法确定数据的到来时刻和到来顺序，也无法将全部数据存储起来。因此，不再进行流式数据的存储，而是当流动的数据到来后在内存中直接进行数据的实时计算。流式计算主要针对计量设备的电流、电压、表底数据及潮流等信息通过电力光纤通道传输至服务分析应用主站平台服务器进行实时流式计算，通过移动应用及系统主站提供可视化展示。
2.3数据处理
信息服务分析服务平台建立不同的数据分析处理模型，主要包括聚类和分类算法模型的应用，找出用电行为和设备运行的规律特征，并不断的训练和验证分析模型的准确度，实现电力数据的大数据价值挖掘。
聚类分析能将高维数据集合划分为很多类，使得同一类内数据对象相似度最高，类与类之间的数据对象的相似度最小即相异度最大。kmeans算法的应用以用电用户用电量为分类依据，设定0-50、50-100等不同层次的用电量，即为K值，建立相似或相似关系，通过计算机对所有用户进行逐一比对；将所有用户进行归类，以缴费时间为分类依据进行二次聚类，根据缴费的及时率设置用电用户的优质等级，经过二次组合分类即可快速的在所有用电用户中科学的筛选出优质的用电用户，实现用电行为特征的分析挖掘。
根据主站系统获取的大量的设备运行数据和非运行数据，采用设备状态评估大数据挖掘分析方法，基于多元多维度数据进行状态评估，重点考察设备状态量（包括设备权限、故障的结果性状态量）之间的关联性。根据配网线路监测设备、智能电表、家庭智能用电设备等实时信息的采集，结合历史运行计量设备数据实现大数据的设备状态运行评估等应用，为运行决策提供重要数据支撑，提高供电可靠性。
3结论
本文基于电力光纤通道获取的生产设备运行实时数据，并结合电力营销、生产及计量业务相关历史数据，采用大数据挖掘分析技术，通过对实时运行数据流式处理和历史数据的批量处理，构建大数据分析服务应用并进行示范，实现大数据技术在电力光纤入户领域的应用，增强电网运行管控和客户服务能力。
参考文献：
[1]张学晨.浅谈我国光纤到户（FTTH）的解决方案[J].建筑科技与管理，2015.
[2]屈伟平.我国光纤到户（FTTH）市场发展综述[J].有线电视技术，2015.
[3]周荣娴.光纤到户技术及其发展概况[J].中国电子商务，2016.
论文作者:刘易琳
论文发表刊物:《基层建设》2017年第36期
论文发表时间:2018/4/9
标签：数据论文; 光纤论文; 实时论文; 设备论文; 智能论文; 离线论文; 电力论文; 《基层建设》2017年第36期论文;