中国铁路呼和浩特局集团有限公司 内蒙古呼和浩特 010030
摘要 当前，铁路企业如何准确预判市场发展趋势，精确的掌握客户个性化需求，制定切实可行的策略成为制约铁路发展的关键。在Hadoop和云计算等大数据技术的基础上，使用大数据分布式计算和存储平台组件，搭建数据仓库，采用面向服务架构（SOA）设计，构建基于大数据理论货运营销决策系统，建立从业务层到管理层到决策层的智能分析体系，实现集团货运数据资源的集中、整合和分析挖掘，为集团公司货运营销管理及决策支持。
关键词 大数据 货运 营销 面向服务架构 数据仓库
0设计背景
物流行业每天都会产生出海量的数据，科学利用这些海量信息对于物流企业的发展至关重要。随着移动互联网、云计算、物联网和大数据技术的广泛应用，数据仓库、数据安全、数据分析、数据挖掘等围绕大数据价值的开发与应用逐渐成为各行业争抢的利润焦点。从全国来看，目前，德邦、普洛斯中国、中远等大型物流企业已将大数据理论成熟的运用于市场分析与预测，物流企业间的竞争逐渐演变成数据与信息之间的竞争。
从铁路内部来看，铁路企业对物流市场及客户的研究分析仍很欠缺。从对数据的利用来看，仅仅对通过铁路运输指标进行统计及简单的分析，对数据的全面开发与深入挖掘远远不够，无法真正的了解市场变化及客户实时需求。如何快速应对市场，制定切实可行的策略成为制约铁路发展的关键。如何迅速的获取有价值的市场与客户信息，有针对性的做出应对措施，准确预判市场发展趋势，精确的掌握客户个性化需求等等问题，将是后续集团公司货运营销工作是否有成效的关键因素，充分利用大数据理论开展货源营销分析并进行营销决策，将是货运发展走出困境的必然选择。
1方案设计
1.1 总体方案
根据集团信息化发展规划与业务需求，建设基于大数据理论货运营销决策系统，实现集团货运数据资源的集中及整合，提高企业数据的处理效率与共享程度。实现对集团企业内部数据和外部数据的分析挖掘。有效提升统计分析工作效率, 准确匹配营销策略，为营销决策提供依据。系统将在Hadoop和云计算等技术的基础上，通过整合既有的货运日班计划平台、18点运输统计分析系统、货票信息综合运用系统、铁路集装箱运输管理信息系统等铁路既有系统资源，并采集客户实时数据、公路物流数据、下游市场行情变化、政策制度影响等信息，构建铁路货运营销数据集中处理平台。在基于大数据理论统计分析的基础上科学预测，建立从业务层到管理层到决策层的智能分析体系，实现对集团公司货运业务数据进行分类、管理、统计和分析等功能，给各级货运营销管理人员提供准确的数据依据，切实把握铁路运营的变化规律和条件，为营销决策提供依据。系统包括客户关系管理、市场信息采集、下游市场监测、政策信息管理、统计分析、预警追踪、营销决策等模块。
1.2系统总体架构
基于大数据理论的货运营销决策系统是一个可扩展的数据平台，后续逐步整合集团公司生产业务数据，建立从业务层到管理层再到决策层的集团数据智能分析体系。系统采用新技术建设构建集团企业级的数据仓库，实现对现有业务系统数据的整合；建立统一的数据采集加工平台，供系统平台从各业务系统及外部环境采集、加工、清洗、爬取数据；建立数据分析平台，用于经营分析和决策支持；通过可视化交互查询、图表展示、地图展示、驾驶舱等建立数据可视化展现平台；通过人机交互，实现业务需求；建立统一对外接口，为后续功能扩展与系统对接提供统一对外API接口。
.jpg)
1.3技术方案设计
基于大数据理论的铁路货运营销决策系统，结合当前大数据开发开源技术与框架，使用大数据分布式计算和存储平台组件，构建基于Hadoop的数据仓库，采用面向服务架构（SOA）设计，搭建应用开发平台。
1)应用开发平台，主要包括：J2EE应用服务平台和Spring框架、报表和分析展现平台、ETL数据集成平台、身份认证和访问控制组件、全文检索组件等。
2)大数据分布式计算和存储平台组件，主要包括：分布式列存储数据库、分布式文件系统、SQL引擎、实时流处理引擎、联合查询引擎、并行化R算法执行引擎、全文检索引擎、分布式批处理计算引擎（Hadoop/Spark/MapReduce）以及任务调度与监控等组件。
3)基于Hadoop构建数据仓库。通过数据集成及ETL平台，采集集团公司现有业务系统数据，经清洗、转换、加工后将数据批量加载到数据仓库。通过分布式消息队列（Kafka）和流处理引擎（Spark Streaming），实时采集处理流数据；流处理引擎可通过SQL接口将流数据实时加载至分布式内存或分布式数据库中。
结构化数据导入数据仓库后，通过PL/SQL脚本、Python脚本和Hadoop/Spark批处理引擎进行数据关联操作和汇总加工处理；非结构化数据导入数据仓库后，通过全文检索引擎Elastic Search快速创建全文索引。
同时数据仓库为数据分析提供可视化的数据建模工具、数据分析挖掘工具、并行化R算法模型库及分布式计算引擎。平台还提供分析报表和仪表盘、OLAP多维查询等可视化数据展现组件。
4)基于支撑平台开发的应用系统采用面向服务架构（SOA）设计。采用J2EE/Spring、Apache CXF框架，实现内置的服务注册功能。集团已有的ESB服务总线平台，可通过JDBC/ODBC接口与SQL引擎对接，将分布式数据库查询访问封装为Web Services，供相关应用系统调用；ESB平台可通过HTTP/JSON接口与联合查询引擎对接，将非结构化数据和结构化数据联合查询访问封装为Web Services，供相关应用系统调用；基于ESB平台可将报表/分析平台生成的分析挖掘结果封装为RESTful服务，供相关应用系统调用。
1.4接口设计
平台对外提供各种开发接口，能够使传统业务场景向系统平台进行平滑迁移。包括完全兼容Hadoop 开源各个组件API接口，REST访问接口，以及JDBC/ODBC接口。此外，系统平台为数据挖掘提供JAVA API以及R语言接口。通过接口，用户可以直接使用R语言与SQL进行交互式数据挖掘探索，同时可以通过平台开放的API进行二次开发，通过JDBC/ODBC接口给上层应用进行SQL查询。
2结语
通过基于大数据理论的铁路货运营销决策系统的应用，大幅提升了集团公司货运营销效率与决策能力，运输组织各环节的衔接能力明显增强，客户认可度、满意度不断提高。同时基于客户、市场大数据的分析预测，为市场营销决策提供了判断依据，对客户价值的把握更加准确，对基于客户价值分类的资源分配更加科学；对运输政策的调整的更加灵活，为提高企业经营效益提供了有力保障。
参考文献：
[1]姚国平.铁路局货物运输需求大数据分析［Ｊ］.铁路计算机应用, 2016,25(9):46-48.
论文作者:姚国平,,周起,,史宏伟
论文发表刊物:《科学与技术》2019年第08期
论文发表时间:2019/9/25
标签：数据论文; 平台论文; 系统论文; 货运论文; 分布式论文; 接口论文; 铁路论文; 《科学与技术》2019年第08期论文;