摘要：供水管网是城市生命线之一，随着城市的快速发展以及供水规模的不断扩大，地下供水管网的体系越来越庞大和复杂，面对管网老化、管网非正常工况运行等容易造成管网事故的隐患，传统的管网风险评估方法存在以经验判断为主，缺少充足数据支撑的问题，难以对供水范围内所有管网做到全面的分析与评估，也难以对管网进行风险预测。本文阐述了如何基于大数据技术，将供水管网的各类数据集成与整合在一起，进行数据分析、数据预处理、风险影响等级设置和可视化分析，实现了对供水管网动态化的风险评估，最后对基于大数据的供水管网风险评估的效益进行了分析。
关键字：大数据、供水管网、管网风险评估
Study and Application of Water Supply Pipe Risk Visualized Analysis Based on Big Data
Yan Yuyu
Shanghai HUGEGIS Technology Co.,Ltd, Shanghai Shanghai 200233
Abstract: Water supply pipe network is the lifeline of a city. With the rapid development of cities and continual expansion of water supple scale, the system of underground water supply network is becoming more and more vast and complicated. Facing the hidden dangers which are easy to cause pipe accidents, such as pipe aging and operating in abnormal state, traditional pipe risk evaluation methods, which are mainly depended on experience and lack of data support, are difficult to achieve overall pipe analysis and assessment of entire water supply area and also difficult to predict pipe risks. This article expounds how to integrate, analyze, pretreat and visualize various water supply pipe data and set risk influence level in order to realize dynamic water supply pipe risk evaluation and finally analyze the benefit of water supply pipe risk evaluation which is based on big data.
Key words: Big Data、Water Supply Pipe Network、Water Supply Pipe Risk Evaluation
1.引言
供水管网是城市生命线之一，承载着将“生命之源”从水厂运输到用户终端的职责，随着城市的快速发展以及供水规模的不断扩大，地下供水管网的体系越来越庞大和复杂，不同区域的管网存在材质不同、管网竣工年限不同、管网施工质量不同等问题，而管网老化、管网非正常工况运行等情况又容易造成管网漏水、爆管等事件，对居民生活及城市安全运行均会造成影响，因此供水企业对供水管网的管理难度和管理压力日益增大。
对管网运行状态进行及时的评估与处置，可以有效预防管网事故的发生，降低管网的爆漏率，提高供水安全，但由于供水管网具有分布广且埋设于地下的特点，难以具有直接且直观的评估方法，因此国内供水企业通常是将管龄较长、漏损率较高的管网作为更新改造的主要对象，同时通过日常巡检、及时维修维护等工作来保障供水管网的安全运行，这些传统的管理办法存在以经验判断为主，缺少充足数据支撑的问题，难以对供水范围内所有管网做到全面的分析与评估，也难以对管网进行风险预测。
而大数据时代的到来恰好可以解决这个问题，通过各类业务系统积累管网的静态数据和动态数据，将各类数据集成与整合在一起进行数据分析，挖掘数据之间的关联性与数据的价值，从而提供比传统手段更多维度的管网风险评估方法，为管网更新改造计划及重点维护对象提供更为精准的数据依据。
本文阐述了基于大数据技术，集成供水管网的基本台账数据、日常业务数据、实时监测数据等，通过数据分析、数据预处理、风险影响等级设置、可视化分析的过程，实现了动态化的供水管网风险评估，最后对基于大数据的供水管网风险评估的效益进行了分析。
2.供水管网数据特征分析
供水管网的数据主要包括有管网基本台账数据、管网运行实时监测数据、管网日常运维数据、管网多媒体数据等，这些数据既有属性数据，又有空间数据，即包括结构化数据，又包括大量非结构化数据。基于此，对供水管网的数据归纳了以下几个特点：
1）数据量大
供水管网错综复杂，围绕着供水管网所产生的数据均具有数据量大的特征。
在供水管网GIS数据方面，据国家统计局公布数据，在2017年我国城市生活供水管道长度已达到79.7万多公里。
在供水管网运行实时监控数据方面，包括有对管网流量、压力、水质等的监测，以分钟或小时的频率进行数据采集，同样数据量巨大。
而在供水管网的日常运维数据方面，主要分为供水管网抢维修数据、巡检数据、工程数据等，据不完全统计，大型城市每月的抢维修工单数量可达上万张。
2）数据种类多
供水管网中的数据包括有GIS图形数据、管网属性数据、SCADA数据、与地理位置相关的现场工单数据、工作轨迹数据、图片数据等，这些数据来自于不同的业务系统，按各自系统的规则进行存储与管理。
3）数据结构复杂
随着智慧水务的发展，供水企业的信息化建设突飞猛进，不同的业务条线上逐步都开始建设专业的应用系统，从而为供水企业积累下丰富的日常业务数据。这些业务数据有很大一部分属于非结构化数据，例如现场施工中所拍摄的照片、管网内部CCTV视频数据等。这些数据均可真实地反映出供水管网在某一时刻的运行状态。
3.供水管网数据预处理
大数据时代，在收集海量数据的同时，也会面对许多无效数据，在供水管网的海量数据中同样存在着无效数据，例如因传感器故障或通信干扰造成的实时监测数据的噪点、跳点、遗漏、离群；因GPS信号较弱或信号屏蔽造成坐标位置丢失、偏离；因设备养护出现数据重复等情况，这些数据有可能会对数据分析造成一定的干扰，因此在进行大数据分析时，需要先将数据进行预处理，对数据质量进行检测和纠正，使其更加适合挖掘。数据预处理是一个广泛的领域，包含大量以复杂的方式相关联的不同策略和技术[1]。
本文中用到的数据预处理方式主要有：
3.1丢失数据处理
在对供水管网的数据进行分析时，很少会有完整的数据，丢失数据主要出现在实时监测数据丢失、GPS定位数据丢失等，由于这些数据具有一定的规律性和延续性，因此采用特征平均值替换丢失值的方法来消除丢失数据。
3.2异常点数据处理
在供水管网的压力、流量、水质等实时运行监测数据中，有时会出现一些不符合一般规律的数据，这些异常点既有可能是运行数据本身固有的波动性，也有可能是由测量误差造成的，因此需要对异常点数据进行甄别，一方面需要去除错误的异常点，以确保数据的可靠性，另一方面要对真实变化的数据进行准确分析，以反映出供水管网的异常运行状态，因此采用基于距离的技术来检测异常点。
4.供水管网风险影响等级的设置
本文中用以研究的实例是CC市的供水管网数据，基于供水管网的基础数据和动态变化的业务数据，依据不同数据情况对管网的影响程度设置指标权重，建立起各指标间的关联系数。
4.1管道内在因素的风险影响等级设置
1）管材的风险影响等级设置
表1管材的风险影响等级设置
Tab.1 Risk Level of Pipe Material Influence
2）管龄的风险影响等级设置
表2管龄的风险影响等级设置
Tab.2 Risk Level of Pipe Age Influence
3）管网口径的风险影响等级设置
表3 管网口径的风险影响等级设置
Tab.3 Risk Level of Pipe Diameter Influence
4.2管道外在因素的风险影响等级设置
1）管道埋深的风险影响等级设置
表4 管道埋深的风险影响等级设置
Tab.4 Risk Level of Pipe Buried Depth Influence
2）接口方式的风险影响等级设置
表5接口方式的风险影响等级设置
Tab.5 Risk Level of Pipe Interface Mode Influence
3）管道维修次数的风险影响等级设置
表6 管道维修次数的风险影响等级设置
Tab.6 Risk Level of Pipe Maintenance Rate Influence
5.大数据分析与空间可视化
供水管网风险评估的结果需要直观向供水公司的用户表达，以帮助他们理解风险评估结果并从中获取到信息，辅助他们对高风险的供水管道进行及时、有效地处置。可视化工具把原始实验数据或仿真数据转化成人们能够理解的形式[2]。
可视化的展示分析有很多种，本文中主要运用地理空间可视化的方式对供水管道风险评估的结果进行展示。
5.1管道健康度可视化分析
依据供水管道健康度的影响因素以及风险影响程度等级的划分，用不同的颜色范围反映管网的风险严重程度，并在管网GIS数据上，依据下表划分的颜色渲染规则，实现管道健康度的可视化分析。
表7管道健康度可视化分析
Tab.7 Thematic Visualized Analysis of Pipe Health
图1管道健康度可视化分析
Fig.1 Thematic Visualized Analysis of Pipe Health
5.2管龄专题可视化分析
依据管道管龄数据，生成管道管龄专题图，通过不同颜色渲染，直观地反映供水区域中的不同地方的管龄情况。
图2管网管龄专题可视化分析
Fig.2 Thematic Visualized Analysis of Pipe Age
5.3管材专题可视化分析
管材专题可视化分析是对供水区域内管材的比例分布情况进行分析与展示，对铸铁管、球墨管、塑料管、钢管、硂管等管材按特定区域进行统计，以此反映出不同管理层级内或不同管辖范围内的管材使用情况，结合管网破损及爆管事件，辅助供水企业管理人员对管网风险程度进行评估。
5.4维修事件专题可视化分析
对管道维修事件的可视化分析采用热点分析的方式。热点分析是通过对点要素进行统计学计算，寻找令人感兴趣的异常区域，即热点和冰点[3]。
整合现场维修工单的接报数据、事故发生地点、事故发生原因、维修类型等数据，将维修事件叠加到GIS图上进行展示。管网维修事件专题可视化分析可以反映出供水区域中维修事件发生的密度、事件的数量等情况。
5.5管道压力专题可视化分析
集成SCADA压力数据、水力模型数据（如有），运用反向距离权重法（IDW）进行压力数据的插值计算，并生成供水范围内的等压曲线图。将等压曲线图与供水管网、基础地形图进行叠加展示，可直观反映出供水区域中的压力分布情况。
图3管材专题可视化分析
Fig.3 Thematic Visualized Analysis of Pipe Material
图4 维修事件专题可视化分析
Fig.4 Thematic Visualized Analysis of Pipe Maintenance Incidents
图5 管道压力专题可视化分析
Fig.5 Thematic Visualized Analysis of Water Pressure
5.6管道水龄专题可视化分析
集成水力模型计算所得的水龄数据，对节点水龄数据进行颜色渲染，并将其叠加在供水管网图、基础地形图上进行展示，直观地反映供水区域中的不同地方管网水在管网中的停留时间情况。
图6 管道水龄专题可视化分析
Fig.6 Thematic Visualized Analysis of Water Age
5.7管道流速专题可视化分析
集成水力模型计算的流速数据，以离散点的方式在GIS图上叠加节点流速数据，并通过不同的颜色渲染，直观地反映供水区域中的不同地方管网水流速情况。
图7管道流速专题可视化分析
Fig.7 Thematic Visualized Analysis of Water Flow Velocity
6.效益分析
通过整合不同供水业务系统中的数据，对数据进行预处理，并对大数据以空间可视化的技术形成各项专题图，向供水企业的人员直观展示现有管网的运行状况、风险程度。
在此过程中，从业务系统中抓取集成的数据均为动态、实时数据，因此在对大数据分析与可视化分析时，均结合时间的维度，展示当前以及过去任一时间断面的数据情况，突破了传统管网风险评估中的数据难以获取、评估时效性不足等问题，可形成自动化、动态化的数据分析及可视化呈现，帮助供水企业的管理人员从管网事故被动处置的状态逐渐向事前分析的状态转变，更有效地降低管网事故率，保障供水安全。
7.结语
大数据的应用在越来越多的行业中得到应用与发展，本文是将供水管网中的大数据为研究对象，以管网风险评估为研究方向，结合空间可视化技术的应用，将大数据分析结果进行直观呈现，后继还将引入更多、更深入的管网评估模型，结合大数据技术，进一步进行研究与分析，使供水管网风险评估向智能化、智慧化方向发展，为供水企业带来更多经济效益与社会效益。
参考文献
[1]Pang-Ning Tan, Michael Steinbach, Vipin Kumar. Introduction to Data Mining[M].2017年1月北京第25次印刷.范明,范宏建等译.北京:人民邮电出版社,2011年1月第2版:27
[2]Mehmed Kantardzic. Data Mining:Concepts, Models, Methods, and Algorithms, Second Edition[M].2017年10月第4此印刷.王晓海,吴志刚译.北京:清华大学出版社,2013年1月第1版:366
[3]宋关福,钟耳顺,李绍俊,蔡文文,王少华.大数据时代的GIS软件技术发展[J].测绘地理信息,2018.2第43卷第1期
论文作者:颜愉愉
论文发表刊物:《基层建设》2019年第13期
论文发表时间:2019/7/22
标签：管网论文; 数据论文; 管道论文; 风险论文; 等级论文; 专题论文; 风险评估论文; 《基层建设》2019年第13期论文;