1引言
大数据也被称为"未来的新石油和矿产",它的出现开启了大规模生产、分享和应用数据的时代,能让我们通过对海量数据进行分析,以一种前所未有的方式获得全新的产品、服务或独到的见解,最终形成变革之力,实现重大的时代转型。这就好比当我们感受浩瀚无垠的宇宙时,用望远镜只能看到宇宙的冰山一角,但更广阔的区域都在表面之后,等待着进一步的探索。大数据正在改变我们的生活及理解世界的方式,正在成为新发明和新服务的源泉,同时也为各行业发展提供了前进的驱动力,民航业也在其中。
二:大数据技术
1大数据概念
大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合,正快速发展为数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析,从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。
2大数据的特征
大数据具有十分广泛的特性;例如高速性,规模性,多样性,价值型,有效性,真实性等;而现在大数据业内普遍认为大数据主要具有"4V"特征,即Volume(体量大)、Variety(种类多)、Velocity(速度快)和Value(价值高)
特性特性描述
Volume
(体量大)大数据,顾名思义,在于其"大"上;数据的储存从最初的TB增长到ZB的程度,这与大数据的数据储存技术和网络应用技术的提升密切相关;数据加工处理技术的快速提升,网络宽带的高速发展和社交软件的大幅度应用都为这一进步提供了大量的数据储存量,极大促进了大数据的发展。据统计,从文字出现到21世纪初,人类产生的数据总量只相当于现在两天的数据流量;IDC(国际数据资讯公司)曾预测:2013年全球储存的数据预计达到1.2ZB;处理如此多的数据全要归功于大数据技术的发展,大数据技术也确实为我们提供了相当大的便利;例如:腾讯的QQ和微信每天均有上千万条的数据需要分析存储,正是基于大数据技术的应用,才为人们提供了如此便捷实用的处理人际关系的软件。
Varety
(种类多)大数据与传统数据的不同在于,它的数据来源更广,维度更多,数量也更繁杂;而数据也分为关系型和非关系型,这也就意味着大数据需要辨别数据彼此之间的关系特征,发现其内在关联。随着科技的快速发展,数据不仅仅局限于机器仪表自动产生的数据,还包涵了人自身的生活行为;数据种类也各中各样,从原本的文字和数字等结构化数据延伸到现在的音频,录像,网络日志,图片,点击量和其他一切有用的信息非结构化数据,且占整体数据的90%以上,而大数据的作用就在于在海量信息中筛选出有用的,抛弃无用的;对与有用有关联的进行收集,分析,加工,使之成为有用的信息。
Velocity
(速度快)大数据与传统数据和小数据有一点显著的不同:大数据的数据生成,储存,分析,处理的速度要远高于传统数据和小数据。例如:欧洲的核子研究中心CERN的离子对撞机每秒生成的数据高达40TB,一台波音飞机的喷气发动机每半小时产生10TB的运行数据,再有我国超级计算无锡中心研制的"神威-太湖之光"在ISC上荣耀夺冠,该系统峰值性能达12.5亿亿次/s,其一分钟计算能力相当于全球七十亿人用计算器连续计算32年
Value
(价值高)大数据有巨大的潜在价值,其价值具有稀缺性。假设把数据比作一处海域,大数据技术则是帮助你寻找你所需要的物质,甚至可以实现意义上的"海底捞针"
3大数据的处理流程
大数据的到来导致一场信息时代的变革,大量的结构化数据和非结构化数据需要人们进行分离、整理、归类、存档、分析等操作,而我们也通过以上操作来获取自己想要的数据。因此,做好大数据的采集,导入与预处理,统计与分析,挖掘是十分重要的
3-1大数据的采集
大数据的采集通常运用多个数据库的连接来进行终端数据采集,包括智能硬件端,移动APP应用端,网页端等。例如电商平台一般使用传统的关系数据库MySQL和Oracle来存储每笔业务数据信息;腾讯则将数据以NoSQL 高速存储方式存储在数据洞当中。
数据的采集方式分为数据抓取、数据导入、物联网传感设备自动信息采集几种方式。在数据进行采集时主要遇到的问题还是对多个数据进行同时抓取时并发问题,毕竟有时是同时对成千上万的数据进行同时采集。
3-2导入与预处理
虽然采集端会有很多数据库,但是要对海量的数据加以精密的分析,还是需要将这些数据导入一个大型的分布式数据库或分布式存储集群当中,同时在导入的基础上对数据进行清理和预处理。
预处理的特点就是导入数据量会很大,通常会达到百兆,甚至是千兆级别。预处理的方法很多,主要包括数据清理,数据集成,数据变换和数据归约。
3-3统计与分析
统计与分析主要运用的是分布式数据库或分布式计算集群,以此来对其中数据进行分析和分类汇总,以满足操作者的要求;在这其中,可以使用GNU系统的一个源代码开发的软件--R语言用于对数据的分析。
期刊文章分类查询,尽在期刊图书馆
在大数据统计与分析过程中,主要面临的挑战还是涉及的数据量过大,对其系统资源,特别是I/O占用极大
3-4大数据挖掘
与前面对大数据的统计和分析不同,大数据挖掘是没有预先设定好目标的运行,它是对创建数据挖掘模型的一组试探法和计算方法,通过对数据的分析,确定模式和趋势,最终创建模型。常用方法有分类、聚类、关联规则、预测模型等
在大数据挖掘过程中,挖掘算法很困难,并且涉及到的统计量和计算量都很大,故常用的挖掘算法都以单机或单线程为主。
三、大数据在民用航空领域的应用
北京第二外国语学院旅游管理学院的厉新建教授曾在其课堂上明确指出"只有满足了以下三个条件时,才表示大数据时代的真正到来:(1)形成创新性的自我数据收集机制;(2)孤立封闭的公关数据真正具有公共性;(3)能够快速高效处理数据结构与质量。"确实,随着时代的进步,科技的发展,人们对大数据这门科学的了解也愈发深入,从而引起了各行各业的改革进步,并且,各行业之间也开始互相了解,融合。也正是因此,人们的生活才得以更加丰富多彩:在家时,有智能语音管家为我们贴身服务;外出旅游时,可以直接在网上预购抢票,并且,APP上还会给出相应适合旅游,住宿,餐饮的最佳地;在付费上,云闪付,支付宝,微信等方式的在线支付极大的节省了出门带钱的风险......迄今为止,大数据的高速发展,为人们的生活提供了快捷的服务,也为个行业的发展提供了帮助;它可以及时预警经济危机、还可以提升风险管理效率。同样的,在民航领域中,它也起到至关重要的作用。
1大数据技术在空管监控中的应用
2011年,中共中央政治局召开第十七届中央委员会第五次全体会议,讨论十七届四中全会以来中央政治局的工作,研究制定国民经济和社会发展第十二个五年规划的建议等问题;在这次会议上,民航总局得到明确指示"提高空管设备运行管理水平,加快值班和运行管理系统建设,完善空管设备运行监控系统,健全空管设备维护维修体系。"
在得到这个消息后,中国电子科技集团第二十研究所毅然决然抗下这一面大旗,经过不懈的努力,终于研制出了一台专供民航组织所用的设备--民航空管设备大数据信息化分析管理应用平台;这个平台可接入民航空管的多个系统,比如数据语音系统、 WAFS 系统、气象数据库系统、管理生产运行管理信息系统、 GPS 系统、航行情报发布系统等,通过这个平台,可以更好的完成空中交通管理与监控的任务,极大的提升了空中飞行的安全;同时它还包括对设备运行的动力、环境、安全防范等动环监控,可以更好的保护仪器,更加安全,环保。
由于这套设备的适用与实用,政府高层已经计划在全国范围内覆盖,计划在2020年该设备的使用数量将达致几十万套;但,这套设备中的各种仪器的维修维护参数又过大,每个设备会产生TB级别的数据,而全国设备加在一起会突破到ZB级别;因而,为了保护这些数据参数,民航空管设备大数据信息化分析管理应用平台在其中引人大数据技术就显得十分必要。
所以,大数据在空管监控中起到了后勤保障的作用,为精密设备,仪器运行与维修做到了有据可查。
2大数据技术在航空器维修中的应用
在最初期的航空器维修,采用的是定期维修的方式;因为飞机在长时间飞行过程中会有部件磨损,为了避免飞行过程中,航空器出现故障,采用这种定期维修的方式。但这种维修方式会极大增加飞机维修成本,因为不能保证零件完全损耗,甚至可能会出现对飞机磨损部件判断失误的情况出现;这两种不恰当的维修都会产生浪费,设备利用率低,维修成本自然会高。
但,随着大数据时代的到来,这些问题都被很好的解决了。比如美国的ARICN公司,他们从事的是高级传感器和仪表的开发;为了解决传统维修方式所产生的成本损耗,他们研发了飞机状态分析与管理系统,简称ACAMS,这套系统在飞机上设有收集数据信息的信息员,对飞机整体进行检测,在飞机降落之前将飞机各设备检测信息传回地面站,这样,维修员便可以根据数据对飞机进行判断,并带着相对应设备对飞机进行定点维修;这样,不仅可以确保飞行安全,还可以减少飞机延误。同样的,波音公司也研发了一套系统--飞机状况管理系统,简称AHM;它是通过对飞机的飞行数据进行检测,大幅度的减少了由于飞机故障而产生的航班延误或取消的问题,比传统飞机维修方式要节省25%的成本。
对于航空器日常维修来说,SPA(数据软件系统)是全世界各大航空公司和飞机制造商的首选,并且,这套系统已经为人类服务长达19年,我国则是在2010年才引人这套系统。
SAP副总裁兼航天与防务全球负责人马格纳斯·比约恩达曾表示;飞机本身正在变得智能,且能捕捉数据。SPA航空维修系统支持基地,外场和部件三种维修场景,基本是涵盖了航空器的全部系统;同时,它对大量的数据反馈可以进行很好的分类处理;SAP的预测性维修方式相比于传统的维修方式,节省成本高达18%
四、结论与建议
不得不承认,大数据的时代已经到来。纵观世界,大数据已深深扎根于各个领域,更好的发展大数据,利用大数据技术,才能在未来的国际战场上取得先机。笔者相信:随着民航大数据的发展,民航领域会更上一层楼,而航空公司也因此会获得更多的利润,同时,也可以为人们提供更加周到,完美的服务。
论文作者:姜汇宇 李辉
论文发表刊物:《中国西部科技》2019年第6期
论文发表时间:2019/6/5
标签:数据论文; 飞机论文; 设备论文; 方式论文; 民航论文; 系统论文; 技术论文; 《中国西部科技》2019年第6期论文;