（1.云南省交通运输厅信息中心 云南昆明 650031；2.云南师范大学 650500）
摘要：近年来，交通运输大数据建设快速发展，但仍存在数据资源分散、数据传输效率低下、数据交换过程冗繁等问题。本文通过对交通运输数据资源共享交换现状进行分析，设计了基于消息中间件的分布式交通运输数据资源中心，为解决交通运输数据资源交换共享问题提供了新的途径。
关键词：分布式；数据交换；数据资源中心
交通运输大数据伴随交通运输行业信息化的发展，交通数据资源种类越来越多、应用场景越来越广。但是现有交通运输数据资源应用往往停留在行业管理部门内部，只有少数部门能方便的获取数据资源，所以在目前信息化建设规模有限的情况下，建设分布式的交通运输数据资源中心是推动交通运输大数据应用的有效的解决途径。因此，本文提出了基于消息中间件的分布式交通运输数据资源中心设计。
一、消息中间件
消息中间件是数据传输服务中广泛应用的软件程序，用户通过配置连接不同部门或系统之间的数据源，分布式系统借助这种软件即可实现数据资源的共享。消息中间件通过队列（Queue）、作业（Job）等操作实现数据交换共享等具体操作。
1、数据交换传输方案
交通运输行业数据资源中心建设目标是将交通运输行业不同部门的信息资源进行整合应用。也就是将“公路部门”、“运管部门”、“路政部门”、“高速公路部门”、“航务部门”、“海事部门”、“民航部门”、“铁路部门”的数据和应用通过数据资源交换框架连接在一起，使得它们之间能够进行数据交换、共享。传统解决方案是通过程序开发，实现数据资源整合。但随着部门、系统增加，整个数据交换网络结构日益复杂。传统的数据交换流程如下图所示：
图2 统一管理的分布式数据交换平台
2、分布式数据归集
为确保跨部门数据稳定传输，统一的数据交换平台应具有分布式数据归集功能。一是能提供完整的数据交换构架。在多数据源环境下，可实现数据由一个系统数据库无差错的传至另外一个系统数据库，并支持跨网络、跨地域数据同步或异步传输[2]，能够为数据传输提供调度策略配置、数据链接管理等功能。二是具有标准化的对象集成组件功能。支持各种流文件格式，如：数据流文本、XML、二进制数据流等等；系统具有标准化的程序框架，方便用户调用，支持JMS、JDBC、TXT等数据源的快速集成；提供丰富的组件接口、管理接口，可以方便用户进行个性化功能拓展。三是提供强大的数据处理功能。支持数据压缩传输、数据格式转换、数据脱敏过滤，数据加密等功能；支持多数据流处理并发功能；支持数据备份功能，当系统出现异常时，能快速恢复至正常状态；提供集成开发环境，方便用户进行应用开发、部署。
二、交通运输数据资源中心设计
根据“共建共享、一数一源”的建设要求，以交通运输行业各业务单位数据为基础，本文构建了交通运输数据资源中心框架。整体架构按功能层次划分，由低到高分别是数据资源、数据交换、数据管理以及数据应用，共同构建起分布式的交通数据资源中心。数据资源中心设计如下图所示：
图3 数据资源中心框架结构
1、数据资源采集。数据资源是整个数据资源中心的基础，为数据资源中心提供的可交换的基础数据。交通运输数据资源是指交通运输行业生产过程中产生的基础数据及动态数据。数据来源来自交通运输行业各个管理部门，包括：“道路运输运管部门”，“航务部门”，“海事部门”，“路政管理部门”，“铁路管理部门”，“公路管理养护部门”，“工程造价部门”，“质量监督部门”，“高速公路管理部门”，“民航管理部门”，“出租车管理部门”，“城市交通管理部门”等。同时，该层数据还应包括与交通运输行业相关的外部数据，如：“自然资源部门”，“公安交通管理部门”，“文化旅游部门”，“气象部门”等外部数据源。
2、数据交换。数据交换工作是由分布式数据交换平台实现。平台通过对消息中间件、数据源、数据交换域有效集成实现交通运输行业各类数据与数据资源中心之间无差错的数据交换。数据交换层的建设是整个数据资源中心有效运行的关键。其数据交换方式内容、数据交换的稳定性等都会对数据资源中心的运行产生重要的影响。数据交换平台各模块之间关系如下图所示。
图4 数据交换平台各模块示意图
3、数据管理。实现数据资源中心对已采集的数据进行建模及管理功能。数据管理建设参照交通运输部“交通信息基础数据元（JT/T 697）”标准[3]，建设统一的元数据模型和数据资源中心库。其主要功能包括以下内容：数据清洗、分类、整理、归档、审核；数据标准化建模管理；数据共享注册、发布、审核；数据库管理；数据关联分析；数据专题化分析；数据交换共享服务等。
4、数据应用。数据应用是数据资源中心所有数据成果应用的集中体现，是数据价值的重要表现形式。数据的应用将与交通运输行业重点工程相结合，重点突出大数据的挖掘分析功能，实现数据的有效应用。典型应用场景如下表所示。
表1 数据资源应用表
三、结束语
本文设计了基于消息中间件的分布式交通运输数据资源中心，利用统一的数据交换共享平台实现了交通运输行业多部门之间的数据交换。本文首先介绍了消息中间件，并从数据交换传输、分布式数据归集方式两个角度来分析解决当前分布式数据资源共享的问题。其次，本文提出了基于四层架构的交通运输数据资源中心设计，通过数据资源交换采集，满足了交通运输数据资源应用的需求，提升了交通运输数据资源共享效率。
参考文献：
[1]Geihs K. Middleware Challenges Ahead . Computer IEEE, 2001,34(6): 24-31.
[2]Korhonen M. Message Oriented Middleware. Helsinki University of Technology, ttp://www.tml.hut.fi.
[3]中华人民共和国交通部.JT/T697交通信息基础数据源[S].北京:人民交通出版社,2007.
论文作者:赵传昕1,张立宪1,丁雪2,陈彬2
论文发表刊物:《科技研究》2019年5期
论文发表时间:2019/7/24
标签：数据论文; 资源论文; 交通运输论文; 数据交换论文; 分布式论文; 部门论文; 中心论文; 《科技研究》2019年5期论文;