云南省交通运输厅信息中心 云南 昆明 650031
云南省交通运输厅信息中心 云南 昆明 650031
云南省交通运输厅信息中心 云南 昆明 650031
云南省交通科学院有限公司 云南 昆明 650031
摘要：在综合交通运输大数据背景下，如何构建一个标准统一、结构严谨、处理高效的数据管理体系，对全面提升交通运输大数据应用水平，推动交通运输信息化建设发展有重要意义。本文根据当前交通运输行业大数据建设基本情况,对综合交通大数据资源体系进行分析，并依托数据管控技术，构建统一的交通运输数据资源管控体系，实现交通运输数据资源共享，促进交通运输行业大数据综合应用。
关键词：交通运输大数据、数据管控
随着交通运输行业的快速发展，交通运输行业内部积累了大量数据资源。但是由于交通运输行业部门较多，业务错综复杂，数据资源管控成为交通运输信息化建设亟待解决的问题。交通运输数据资源管控就是对现有的交通运输数据进行统一管理，通过统一的数据管控平台，对数据进行统一的存储、交换、应用，并规范数据内容、提高数据质量、提升数据价值。本文将针对交通运输信息化建设中，数据生产部门多，数据库多，库表多的现状，提出在综合交通运输大数据背景下数据管控体系。数据管控关键技术包含数据质量治理、数据资源目录、数据交换管理，下面将分别进行阐述。
一、数据质量治理
数据质量治理是数据管控重要工作之一。数据质量管理的目标是帮助数据管理者了解数据真实情况并提升数据质量。数据质量治理对数据关键性指标进行评估，解决数据本身存在的问题。通过相关的标准、规范进行专业剖析，确保数据全生命周期内的规范准确。数据质量治理主要包含以下几个方面。一是建立数据治理标准规范。数据治理标准规范是数据资源中心建设的基础。数据治理标准规范能够定义数据库表及字段内容、类型、规则，对数据字段的准确性校验。此外，标准规范还能够定义校验类型权重范围，以支持数据校验检测结果，促进数据质量改进。二是提供不同维度数据治理方案。可对不同时期，不同内容、不同数据生产者的数据资源进行评估，并设立相应指标，如超过临界值，将告知数据管理者进行处理。三是建立数据质量剖析工具。根据数据治理标准规范，用户设定不同的规则、标准组合进行剖析，剖析完毕形成一个完整的数据剖析报告及数据治理方案，并通过告警的方式告知数据管理者，协助数据管理者完成数据质量治理。
二、数据资源目录
为更好的管理和应用数据，数据管控平台应提供数据资源目录。通过数据资源目录的发布，数据资源管理者可以展现数据资源，数据资源使用者可以根据目录获取所定制的数据资源。数据资源目录应具有以下三个基本功能。一是数据资源目录的审核管理。数据资源管理者通过对提交申请的审核决定是否共享数据，同时对数据使用者的使用权限进行定义。二是数据资源目录的发布功能。数据资源管理者完成数据资源目录的订制后，提供数据资源的订阅服务，支撑数据交换和共享。三是数据资源的订阅功能。数据的使用者可以数据资源目录提交需求申请，对数据资源目录的内容进行订阅，实现数据资源获取。在数据资源的分类问题上，可根据交通运输行业的实际情况，以下两种方式进行分类。一种是通过主题分类，即通过数据资源本身的内容属性进行分类，另外一种是可以通过数据资源的采集部门进行分类。具体的数据分类方式如下表所示。
分类方式分类内容
按主题分类公路基础信息；公路运输信息；水路基础信息；水路运输信息；高速公路收费信息；质监造价；城市交通信息。
按数据采集部门分类运管数据；公路数据；联网收费数据；质量监督数据；工程造价数据；交通流量调查数据；出租车数据；公交数据。
表1 数据资源的分类方式及分类内容
（三）数据交换管理
数据交换管理主要是对数据资源交换共享进行管理及监控。并按照一致性、完整性、规则化对数据交换进行管理，保证数据交换共享的同步、及时。数据交换管理包含：数据库连接配置、交换节点的管控、交换流程的监管、数据交换安全保证体系。数据交换管理整体框架如下图所示。
图1 数据交换管理框架
1、数据库连接配置。通过JDBC对部署数据库（支持Oracle、MySql、SqlServer、DB2）进行管理，并通过图形界面进行配置，支持多个数据库并发连接以及交换任务的复用。
2、交换节点的管控。实现交换节点的新增、修改、删除，并能提供设置交换节点的信息（包含交换节点名称、IP、端口等）及监控交换节点信息（包含故障、报警、启停时间等）。
3、交换流程的监管。实现数据交换流程的创建、修改和删除等，配置数据交换流程（包含数据交换时间、频率、数据转换、日志等），支持数据ETL配置，并对E环节、T环节、L环节进行监控，对常用组件（如输入、输出、转化）进行配置，支持业务逻辑的可视化组合，支持数据交换运行的实时监控，对数据交换传输状态进行监控。
4、数据交换安全保证体系。数据交换安全保证体系始终贯穿数据交换全流程，需要从数据交换配置、流程、节点等多个方面出发，确保整个数据资源交换共享安全可控。
三、结束语
在交通运输行业数据资源信息整合及大数据建设的背景下，本文提出了综合交通运输大数据管控体系的数据质量治理、数据资源目录、数据交换管理方案，实现了数据资源共享交换的模式的创新，对加强数据资源的共享开放，促进交通运输行业信息资源应用有重要意义。
参考文献
[1]中华人民共和国交通部.JT/T697交通信息基础数据源[S].北京:人民交通出版社,2007.
[2]布莱恩 伯杰伦.共享服务精要[S].北京:中国人民大学出版社,2004.
论文作者:赵传昕 和林钰 闻恩友 方皓
论文发表刊物:《科技新时代》2019年5期
论文发表时间:2019/7/23
标签：数据论文; 资源论文; 交通运输论文; 数据交换论文; 目录论文; 质量论文; 节点论文; 《科技新时代》2019年5期论文;