广州市城市规划勘测设计研究院 510060
摘要：随着社会经济的快速发展，城市化进程不断加快，地下管线布局越来越密集。由于当前科学技术的发展，越来越多的技术应用于地下管线数据整合中。本文主要以某城市为例，通过对数据整合方式和数据整合流程的探讨，充分发挥计算机技术的快速、精确的特点，同时引入人的决策能力，整合常规数据处理工具及技术，按照数据处理流程，严把数据质量关，才能够满足城市地下管线对数据整合的要求，同时也为城市地下管线补充测绘及数据建库做好铺垫。
关键词： 城市；地下管线；数据整合技术
0引言
随着城市建设进程的加快，城市地上风光无限，地下杂乱无章的状况越发明显，“重地上轻地下”、“重建设轻管理”、“重使用轻维护”成为个大中型城市地下管网建设、管理、维护的真实写照。《国务院办公厅关于加强城市地下管线建设管理的指导意见》的颁发，从国家层面上提出了地下管线建设管理方针，各城市也逐渐启动地下管线普查及综合建库的工作。地下管线普查工作分为两部分，一是城市各职能单位所持有的现有地下管线数据的整合；二是对资料缺失部分的补充测绘。本文以某城市为例，对现有地下管线数据整合的技术方法与技术流程进行探讨与研究，解决城市现有地下管线数据整合技术难题。
1现有数据特点
该城市地下管线数据整合主要针对两大部分，一是政府职能部门根据职能管理需要历经多年所积累的管理数据；二是管线权属单位，对各自建设的地下管线有着详细的数据，且多数已建立管理系统，方便管理。然而，政府职能部门数据和管线权属单位所持有的数据，均是服务于各自的日常管理与专业部门，数据格式、属性字段多样，且标准不统一，无法直接将数据导入城市地下管线综合管理平台，服务公众，其主要特点如下：
（1）多源性
数据来源多样，例如水务集团（权属单位）所持有的给排水管线数据，水务局也持有给排水管线数据，两种数据来源不同、形式不同、内容不同，无法直接进行数据合并。
（2）多时空性
数据采集时间、空间跨度大，不同时间点采集的统一空间范围内的数据与同一时间点采集的不同空间范围内的数据，统一性查，数据质量无法保障，导致数据整合时，需对统一空间范围内的，不同时间点采集的数据进行比对剔除。
（3）数据格式不统一
不同单位，甚至同一单位不同部门所持有的地下管线数据由于管理职能不同，数据格式也不同，有GIS数据格式（MDB、SHP、GeoDatabase）、CAD数据格式（DWG、DXF）、PDF数据格式、Excel数据格式、各种手绘图等。
（4）属性字段不统一
存在同一字段内容不同单位命名不同、不同字段内容不同单位命名相同、属性字段缺失、字段内容不规范。
2数据整合思路及技术流程
2.1 数据整合思路
目前常用的数据处理方式是借助计算机编程技术，通过定制算法，实现数据的批量处理，然而数据整合的难点在于数据质量的判定与数据的取舍，单纯依靠计算机算法难以全面地进行数据质量判定与数据取舍。本文探讨人工辅助计算机决策的方式，充分发挥计算机技术的快速、精确的特点，同时引入人的决策能力，以计算机学习人为决策的方式来实现。
（1）计算机算法设计
数据整合的算法设计包含数据处理逻辑与系统学习逻辑。其中数据处理逻辑是一套指标体系算法，通过数据整合具体指标的设定，算法能够检查数据质量、划定数据可信度、推断数据可利用方式及数据可利用的内容；系统学习逻辑则是将机器学习理论引入到地理信息的海量数据处理中，通过识别数据质量规律、数据采纳规律、人机交互习惯、人工决策规律，并通过计算机算法的自优化能力，对数据质量、数据采纳提出新的可利用方案。
（2）人工辅助计算机决策
数据工程师根据计算机所提供的方案进行方案比选、方案交叉融合，或者直接指定新的方案输入到计算机中，来帮助计算机判定遇到某种特殊情况时应该如何处理。该过程是计算机学习的过程，也是人工参与的过程，能够将人的决策能力与计算机的学习和计算能力结合起来，提高数据整合的效率与质量。其工作思路如图1所示。
图1 数据整合方式的算法基础
2.2 数据整合技术流程
数据整合工作流程如图2所示：
图2 数据整合工作流程图
（1）制定工作方案及资料收集
首先，根据规土委数据入库要求及数据标准，制定收集资料的标准，同时通知各单位，收集符合要求的资料。其次，到信息中心、各管理局等单位，将其所持有的区域地下管线数据，根据类型接收，管线类型包括市政管线综合管线（污水［包括排污箱涵等］、雨水［包括暗渠化河道等］、燃气、电力、电信、工业、综合管廊）、城中村综合管线（污水、雨水、燃气、电力、电信）。
（2）数据有效剔除与重复剔除
数据有效剔除：管线数据格式多种多样，按地下管线数据标准要求，有AutoCAD、EPS、MapGIS、SuperMap等，将收集到的数据进行质量分析以及格式标准化分析，指定ArcGIS的Shape格式为标准格式，通过软件自身转换工具完成格式转换，转换后确定信息无丢失。对质量明显不符要求和格式明显无法进行数据转换的数据进行剔除。主要考察数据图属一致性是否符合《深圳市地下管线普查技术规程》，数据格式是否支持数据转换（常规格式包括GIS数据格式、CAD数据格式、Office数据格式、VF数据格式以及其他常用格式）以及格式转换后是否会发生数据丢失。
数据重复剔除：首先由于不同来源的数据交叉，导致部分区域某类或多类管线有两份甚至多份数据，通过数据分析，提取多份数据中质量最可靠，格式最规范的数据，同时将其他数据剔除；其次，若多份数据中每份数据的数据质量和数据格式规范性都不稳定，则需要提取每份数据中最优秀的部分，进行区域性数据融合，组成该区域的数据，将其他数据剔除；再次，同一区域同类管线多份数据有的表现为图形数据优秀，有的则属性数据表现优秀，有的这属性数据的某部分表现比较优秀，则需要分别提取各份数据的优秀部分，共同组成该区域该类管线的数据，最后通过上述三种方式以及其他方式采用混合数据处理手段进行数据融合，将批次多、质量不统一、格式多元的数据统一到标准入库格式。
标准化后的管线数据具有相同的数据格式、属性项和坐标系统，便于后期处理。对多源管线数据进行对比分析，按多源管线数据→工作范围→确定重叠指数→确定主数据源→缩减重叠指数→重叠指数归一→数据街边→成果入库的技术流程对多源管线数据进行整合。
（3）数据融合接边
将各个区域已得到的优秀数据进行图形数据接边，组成有机联系的管线数据网；再根据规土委所提供数据标准，从管线数据网中提取有益数据，统一格式到深圳市管线数据库，形成格式统一，相互联系的管线数据。具体方法为：①根据数据来源，划定接边线。②利用接边线切割源数据。③接边线缓冲分析创建接边区，标识接边数据。④通过距离最近原则自动接边。⑤手工检查接边区，修正接边错误和未接边数据。
图3数据融合方式
数据整合通过ArcGIS软件实现，合并完成后，形成工作区内唯一的地下管线数据。
（4）数据质量检查及验收
首先对已融合的数据进行质量检查，包括图形数据的拓扑检查（包括点线关联、位置唯一、位置规则等）和属性数据（包括坐标准确性、值域检查、逻辑性检查等。坐标准确性指图上坐标和属性表中坐标是否一致）的规范性、合理性检查，去除错误信息，标识外业核查数据。对数据中严重质量不符的区域进行提取，同时查阅该区域是否有其他可以运用或替代的数据，若有，则经过质量分析，并入管线数据网，若不存在则考虑该部分区域数据是否可以通过数据处理提升其质量，若数据处理后数据质量明显提升，且能达到入库要求，则实践该方法，否则考虑将该部分数据剔除。
其次，根据检查内容，编制检查规则，通过ArcGIS软件实现。数据检查时，先对每类数据单独检查，之后对整体数据检查优化，即先分类后整体的检查策略。检查过程中将错误数据和信息直接删除或修改，疑问数据的“是否核查”属性值设为“是”。
再次，外业核查，制作外业核查工作底图并规划核查路线→将工作底图装载到平板电脑中→外业实地核查记录需修改的信息→内业导出修改信息，对数据修改完善。
最后，将检查过的数据与规土委数据接收端进行数据交换，若数据满足要求则入库，若仍有无法入库的内容，则通过提升数据质量，修正数据错误来不断试验入库，直至数据最终通过规土委验收并入库。
3结束语
多源、跨时空的海量地下管线数据整合存在各种无法预期的情况，本文对数据整合方式和数据整合流程进行了重点探讨，认为通过人工辅助计算决策的方式，整合常规数据处理工具及技术（包含GIS技术等），严格按照数据处理流程，把好质量关，才能够满足城市地下管线数据整合要求，为城市地下管线补充测绘及数据建库做好铺垫。
参考文献
[1]国务院办公厅.国务院办公厅关于加强城市地下管线建设管理的指导意见[Z].2014－06－14.
[2]张会平，董军，耿振国.银川市城市综合地下管线数据整合技术应用[J].城市勘测，2012，12(6):152～157.
[3]杨伯钢，张保钢，陶迎春等.城市地下管线数据建库与共享应用[M].北京:测绘出版社，2011.
[4]鲍井林，潘九宝.城市地下管线多源数据整合研究[J].现代测绘，2015，38(2):26～28.
[5]魏金明，邵飞，仲伟政.基于空间关系的地下管线数据整合方法初探[J].城市勘测，2015，4(2):62～65.
[6]缪冬生，潘伯鸣，孙雪梅.城市地下管线综合管理信息系统的研究与实践[J].常州工学院学报，2014，27(6):17～22.
论文作者:徐露欣
论文发表刊物:《防护工程》2018年第5期
论文发表时间:2018/7/6
标签：数据论文; 管线论文; 地下论文; 城市论文; 质量论文; 数据处理论文; 数据格式论文; 《防护工程》2018年第5期论文;