基于云计算的地铁大数据分析方法研究论文_张罗来

基于云计算的地铁大数据分析方法研究论文_张罗来

成都地铁运营有限公司

引言

近几年来,我国各个城市的地铁迅猛发展,建设运营总里程不断增加。对于地铁运营企业来说,客流分析是线网规划和运营组织的重要参考之一,而随着计算机和信息技术的迅猛发展和普及,地铁领域积淀了海量的乘客出行信息等数据,因此,结合海量地铁AFC刷卡数据分析客流特征,实现资源的合理配置,进而更好地服务地铁客流的出行需求,对降低乃至消除供需不平衡情况有显著研究价值。在处理此类问题上,大数据处理技术和方法支持具有强大优势,随着决策需求的日益复杂,地铁大数据的应用场景也越来越广泛。当前关于地铁客流大数据分析的研究主要偏重于大数据分析的政策性、前沿性综述方面以及客流出行特征分析。

1概述

云时代的到来促进了大数据的广泛应用:在天文学领域,天文学研究人员在几分钟内从大数据中提取相关内容以鉴定所有的类星体。大数据将轨道交通数据用数字方式存储,建立完善的地铁运营系统,查看客流数据并依据客流量以及视频监控及时的调动相关岗位人员,帮助乘客有序的疏散,减少了乘客乘坐地铁的困难。结合不同研究结果,可以将大数据的基本特征归结为4个方面:(1)容量非常大,是超出人工计算能力的;(2)变化速度非常快,由于大数据衍生源头受到自身条件、社会环境等多种因素的综合影响,数据本身并不是一成不变的,而是始终处于动态变化的;(3)种类非常多,任何行业、事物都可以提炼出基本的数据,不断汇总、提升,逐渐形成大数据,所以就有了代表不同特点的大数据类别;(4)具有非常高的应用价值,大数据表面看似杂乱无章,实质上通过认真研究分析,就可以找到大数据反映的基本规律,就可以挖掘出大数据下隐藏的价值信息,稍加利用、应用就可以创造出新的财富。

2大数据分析方法

2.1数据读取方法

在本地编程软件如Java开发工具平台上编写代码对原始数据集的数据结构进行读取,获取包括行分隔符和列分隔符的信息,从而可以保证顺利将数据集上传云端数据库

2.2数据存储方法

在云端数据库新建与Step1获得的数据结构相对应的表结构,利用云客户端的MapReduce分布式上传功能完成云端数据库读取大数据的操作,即将大数据存储在云端数据库中。

2.3数据清洗方法

在云平台完成数据的清洗工作,包括将String类型的值转换成Int类型以方便后期匹配计算,将一些列中带不规则字符的数值重新统一格式。

2.4数据分析方法

在云平台对清洗后的数据进行SQL分析操作,可从地铁AFC数据记录中筛选计算出各地铁站的客流情况、进出站断面情况、乘客出行时间分布情况、OD量情况和卡类型情况等。

2.5数据可视化方法

将前述步骤中求出的各类数据结果进行保存,并在云端利用百度地图API进行程序开发实现可视化分析。

3云计算技术效率测试

当分析的数据规模较大时,本地数据库处理速度会降低,本地计算资源占用率也会提高,云计算本身不占用本地资源的模式也让用户更好地分配了资源,节省了成本,提高了效率。相比传统数据库技术,云计算具有很好的适应性和应用前景。采用云计算处理方法可以有效避免资源的集中消耗,分布式的处理机制也可以有效提升数据的处理速度。

期刊文章分类查询,尽在期刊图书馆第1次SQL运算阿里云MaxCompute需要4s,但是SQLServer数据库只需要1s,有2点原因,一是因为本地计算机提交SQL请求到阿里云计算平台会存在网络传输和SQL语句读取初始化的时间,二是阿里云计算平台将MaxCompute拆成一个分布式的任务去调用,MapReduce初始化时的反应速度会比较慢,所以即使是复杂度很低的SQL语句,也会需要一定的时间。而后3次不同规模的SQL运算中,SQLServer数据库的运算时间成倍增长,阿里云MaxCompute的运算时间却保持相对稳定。这说明随着计算数据规模的扩大和SQL复杂度的提高,云计算平台初始化的时间相比于总计算时间所占的比重降低,基于云计算平台的分布式调用方法相比传统数据库技术的优势性就显现出来。

4大数据在解决地铁轨道交通中的优势

4.1在大数据分析客流车次调度上,设置的购票系统准确记录了一天当中不同时段乘客购票的基本情况,细化到乘客增加、平稳、下降的不同时段,通过客观分析,地铁调度中心可以适时、恰当的安排现有车辆,高峰时段加开车次,谷峰时段有序调减相关车次,最大限度的提高了地铁车辆的使用效率,避免了空座带来的浪费。

4.2在视频监控和定位系统方面,在相关的地铁路段,一旦发生安全事故,视频监控系统可以在第一时间回传相关的事故信息,方便消防、医院、地铁管理单位等组织现场应急救援,最大限度的维护车客群众的生命财产安全。定位系统则方便乘客随时掌握即将进站车辆的基本情况,做好避让、上车等相关准备。

4.3在自动售票系统方面,通过自动售票设备会产生大量的购票数据,通过对产生数据的基本分析,除了可以掌握不同时段的乘客数量情况外,可以准确分析乘客本人的基本信息,随着掌握基本信息的增多,可以在某段乘车区推出相应的身份交通卡,既便于地铁管理部门的管理工作,也切实方便了经常乘坐地铁的乘客,少去了排队买票的麻烦。

4.4在智能检测隧道系统上,通过该智能检测,可以对特殊路段进行长期的,连续性的监测,提前发现各路段可能存在的安全隐患,例如,在地质条件较差路段,可以通过相关的智能监测系统,提前发现地质变化情况,提早做好相关的防范准备工作。

5地铁大数据的未来发展趋势

5.1人脸识别技术的推广应用

随着科学技术的日渐成熟,在人脸识别技术研究领域不断的投入人力、物力和财力,人脸识别技术有望应用到地铁管理领域,一旦实用成功,既提方便了地铁管理,也提高了乘坐地铁的安全系数,有效减少各类犯罪隐患。

5.2智能服务系统的广泛应用

在信息化时代,各种集成技术批量出现,随着地铁的逐渐普及,将会出现集自动售票、安全检测、视频监控等于一体的智能服务系统,该系统既方便地铁管理,抓好服务,更是满足了乘客多层次的需要。

结语

大数据离不开云计算,云计算平台为大数据提供了弹性可拓展的基础设备,是处理分析大数据的平台之一。对于云计算供应商和用户双方来说都做到了资源的高效分配和节省成本。基于云计算的数据处理技术相比传统本地数据库处理技术,具有效率高,不占用本地计算机资源的优势,对基于大数据的地铁客流分析研究有很好的适用性和应用前景。

参考文献

[1]朱建生,汪健雄,张军锋.基于NoSQL数据库的大数据查询技术的研究与应用[J].中国铁道科学,2014,35(1):135?141.

[2]美国政府出台大数据研发计划[EB/OL].[2012-11-12]

[3]丁慧娟,申亚伟,周杰.城市地铁轨道交通中的大数据分析[J].智能城市,2017,02:327.

论文作者:张罗来

论文发表刊物:《中国西部科技》2019年第5期

论文发表时间:2019/6/5

标签:;  ;  ;  ;  ;  ;  ;  ;  

基于云计算的地铁大数据分析方法研究论文_张罗来
下载Doc文档

猜你喜欢