大数据技术在智慧交通中的应用论文_许挺

大数据技术在智慧交通中的应用论文_许挺

(湖州智城信息科技有限公司 浙江湖州 313000)

摘要:新一代信息技术的涌现,如物联网、云计算以及大数据等,不仅引发了城市发展的新一轮变革,创建新的管理模式。智慧交通作互联网背景下交通的新变革,其被人们视为有效舒缓环境、交通与资源等方面压力的关键。

关键词:大数据技术;智慧交通

1 概述

在现代交通中采集的海量视频数据、图像数据、流量数据等各类数据,利用大数据处理技术,综合运用现代通讯技术、信息技术和计算机技术、导航定位技术、图像分析技术等,将交通系统所涉及到的人、车、道路、和环境有机地结合在一起,是其发挥智能作用,从而使交通系统智能化,更好地实现安全、通畅、低公害和耗能少的目的,在这个过程需要对大量的数据进行实时计算。

2 大数据技术

2.1数据采集技术选型

2.1.1批量采集

Kettle 是采集技术工具,可以提供了强大ETL(抽取、转换和加载)能力。同时也提供了友好易用的图形界面设计编辑器,缩短了数据抽取工作的开发周期时间,并且容易维护。Kettle 设计器界面功能强大,不但提供了工作流设计模式,而且能满足各种应用场景实现。

2.1.2实时采集

Flume 是一个分布式日志采集系统,主要用于收集海量的日志数据,它可以做定制化开发,实现各种数据的发送方功能,Flume 不仅具备数据收集功能,还能对收集到数据进行合并数据,它是具备高可靠性、可扩展性、可管理性、功能可扩展性等功能。

2.2大数据存储和计算

2.2.1分布式文件系统

Hdfs是一个分布式的文件系统,它可以存储多种格式的数据,包括支持多源(DB/文件/log)、异构(结构化/半结构化/非结构化),这是它的最大优点,相对于传统关系型数据只能存储结构化数据,已经是一个质的改变,它的出现给商业企业数据资产存储带来质的改变。

2.2.2 Nosql 存储

Nosql数据库泛指非传统关系型的数据库,主要是以键值对(Key-Value)进行存储,主流的Nosql数据库主要有Hbase数据库、Mongodb数据库等,Nosql数据。Nosql数据库无关系性特征,它的数据库结构比较简单,它具备非常高的读写性能优势,可以不用预先了解数据类型的情况下,为存储的数据建立字段,极大提高开发效率。

2.2.3数据仓库Hive

Hive是Hadoop生态圈里的一个开源组件,主要是为访问底层数据提供一种标准的HQL查询语言,极大简化开发人员的工作量。

2.2.4内存计算Spark

Spark 内存计算框架,可以实现批量计算与实时计算,它的原理是通过把数据加载到内存中进行计算,减少数据读取的时间,从而提高数据处理能力。

2.3流式计算

Storm 是流式处理计算框架,主要应用到实时性较高的业务场景,例如金融结算、支付结算等,数据延迟一般在数毫秒之内,Storm 计算框架可以实时性较高的数据处理场景,主要用于流数据处理,它可以对不断进来的数据进行实时消费,可以把处理之后的结果集写入到指定的数据库存储中,包括Hdfs、Hive、Mongodb 进行存储,Storm 流式处理框架比较适合用在实时流数据处理场景,因为它的实时性处理做得比较好。

期刊文章分类查询,尽在期刊图书馆

2.4分布式系统技术—心跳

以固定的频率向其他节点汇报当前节点状态的方式。收到心跳,一般可以认为一个节点和现在的网络拓扑是良好的。当然,心跳汇报时,一般也会携带一些附加的状态、元数据信息,以便管理。故障检测是任何一个拥有容错性的分布式系统的基本功能,而实际上所有的故障检测协议都基于心跳通讯机制,原理很简单,被监控的组件定期发送心跳信息给监控进程(或者由监控进程轮询被监控组件),如果有一段时间没有收到心跳信息就被认为失效了。

心跳机制除了用于检测节点故障检测之外,还可用于服务故障的检测,例如Client端定期的发起一些无损的业务请求,Server收到处理后,返回ACK,通过收到的ACK,Client可以感知Server当前服务是否运转正常。

2.4.1智慧交通定义

智慧交通系统,目前同样尚无公认的定义。这是因为,不同的研究者从不同的角度考虑,对智慧交通系统的认识不同。但总体上对以下智慧交通系统的定义是形成共识的:物联网、云计算、大数据及移动互联等IT技术的出现,与原有的智能交通系统融合形成了智慧交通系统。智慧交通系统是智能交通系统的升级。它的出现将解决原来智能交通系统时代很多悬而未决的交通问题。

智慧交通系统设计主要涉及以下几个领域:一是交通运输业务本身,即交通运输基础设施和运载工具及其组织、运营与管理;二是交通运输的公共行政管理,包括政府宏观决策、市场监管、公共信息服务和安全应急等。智慧交通具有以下典型特征:实现人与交通运载装备、基础设施的智能化、广泛互联;实现虚拟与现实的结合、线上与线下的互动;实现安全、可靠、高效的运输生产组织与管理;提供更具弹性、适应性更好的客户服务;提供门到门的一体化运输解决方案。

2.4.2智慧交通主要建设内容

1)智慧交通路网。从新的公路、桥梁及场站等建设方案设计入手,配置交通智能感应设备,安装交通流量自动观测设备、视频监控及诱导系统等智能交通装置,形成更加完善的交通路网感知体系。

2)智慧交通装备。将地理信息系统、卫星定位系统及射频自动识别系统等智能安全管理装置逐步推广到所有车辆。可应用的技术有二维码、射频技术等物联网技术、大数据技术以及5G技术。

3)智慧交通出行。充分利用互联网,将交通门户网站出行信息、交通联网售票系统、智能交通流量引导系统、电子地图、出租车电招等信息资源进行整合,构建基于互联网平台的立体化公众出行服务平台,实现多种出行方式信息服务对接和一站式服务。

4)智慧物流。通过车联网、物联网、大数据等技术,促进人员、货源和车源等信息高效匹配,提高物流体系的信息化、网络化和自动化水平。应用先进物流组织方式和标准软件,加快向物流链两端融合,逐步从提供单一服务向提供一揽子人性化服务发展。

5)智慧交通管理。行业之间、各级交通行政部门之间的信息共享,建设综合交通运输信息网络平台,建立信息管理和指挥控制系统。

6)智慧交通应急系统。利用互联网、物联网、大数据技术提升预警管理水平。建设以地理信息系统技术为支持的交通灾害监测信息综合平台。

3 结论和建议

结合目前已经建设的智慧交通,笔者建议:1.强化政府部门的主导作用;2.财政统筹先行,作为“一把手”工程;3.加快搭建统一平台;4.提高各部门的合作配合;5.加强和完善基础社会建设及服务功能;6.发挥重点产业基础支撑作用;7.建立数据的安全系统;8.提高基础通信设施的共建共享,避免重复建设。9.提高公职人员信息安全意识。

智慧交通的实现需要通过在交通行业应用大数据,优化交通网络,通过对交通需求进行预测来构建良好的交通运输环境。大数据在智慧交通中的应用也必须重视人与物的需求问题,加快制度建设,进行标准化管理,进行专业人才的培养,并且还需要加强交通各部门之间的联系,提高数据资源的共享性,最后还需要加强财政投入,加快基础性设施建设,让大数据的应用更加科学合理。

参考文献:

[1]王玉晶 《绵阳智慧交通大数据应用服务问题与对策研究》 2015.12

[2]邓玉勇 李璨 刘洋 《我国城市智慧交通体系发展研究》

论文作者:许挺

论文发表刊物:《电力设备》2019年第4期

论文发表时间:2019/7/8

标签:;  ;  ;  ;  ;  ;  ;  ;  

大数据技术在智慧交通中的应用论文_许挺
下载Doc文档

猜你喜欢