高静1 韦芳1 毛贤光2、3
1.广西通信规划设计咨询有限公司 南宁 530007;
2.南宁市城乡数字化建设办公室 南宁 530028;
3.南宁市城市应急联动中心 南宁 530021
摘要:智慧城市是在信息技术的支撑下发展而成的一种新城市形态,信息共享、智能响应及合作协同是其主要特征。要实现当前智慧城市的互联化、智能化发展,将多源、异构的大数据转化为数据资产便成为了其中一项有效的途径。为对大数据在智慧城市中的应用进行探析,本文特针对当前智慧城市的数据资源及大数据处理技术进行了相关阐述,仅供参考,欢迎批评指正。
关键词:大数据;智慧城市;应用
前言
当前有关城市运行体征的数据的收集大多通过大数据技术实现,作为支撑智慧城市发展的重要信息资源,大数据不仅可对城市管理数据进行汇总与分析,同时还可对城市体征的量化形态进行管理,对智慧城市的稳定发展可起到重要的推动作用[1]。从某种意义上说,大数据与智慧城市呈相互关联、相辅相成的联系状态,大数据可促进智慧城市衡量指标的实现,同时智慧城市的发展也推动了大数据的应用。本文特对大数据在智慧城市中的应用进行了分析,现总结如下。
1.智慧城市的相关特征
(1)感知与互联。对于智慧城市而言,其物理空间可通过智能传感器进行全面的感知,同时还可实时监测城市核心的运行系统。在互联网技术的影响下,智能传感器的网络可得到有效连接,从而可完成对数据的智能存储、管理、应用等操作[2]。
(2)重视基础建设。智慧城市的基础设施大多可通过融合互联网、物联网、卫星传感器及整合多源异构数据等途径来实现,对于智慧城市稳定、健康的发展可起到一定的保障。
(3)协同与智能。智慧城市通常可通过对新型服务体系与服务模式的构建来挖掘、处理各类数据,并根据层次的不同来提供不同的智能化服务,对智慧城市各要素、单元、系统的高效运行可起到协调的作用。
(4)推动创新。智慧城市通常在不断加强信息基础建设的基础上,还会大力鼓励与推动各级主体、各种形式的创新应用,从而实现对城市经济、文化等各方面的推动。
2.智慧城市的数据资源与技术
2.1数据生命周期管理
数据生命周期管理的主要职能在于对智慧城市业务数据的各个阶段进行监控与管理,从而对数据的共享性、完整性、有效性及可靠性形成一定的保障,由此将决策分析系统提供给上层。
(1)数据的共享性。通过对主数据管理技术的应用,可实现各系统间关联性的有效加强,以此消除“信息孤岛”,保障所建立数据源的规范性和统一性,完成数据共享。
(2)数据的完整性。通过对元数据管理技术的应用,可建立起完整的信息资源规范,从数据格式、源头、服务等各方面出发,以对数据的完整性形成保障。
(3)数据的可靠性。通过对数据清洗技术的应用,可对脏数据进行有效的清除,从而对数据的质量形成保障。
(4)数据的有效性。通过对在线存储、近线存储、归档存储等技术的应用,可对数据进行归类分析与存储,从而对数据的有效性形成保障。
2.2大数据采集
大数据采集的主要职能在于通过在网络、媒体流、日志信息及传统应用等途径获取相关数据,并以此实现在智慧城市场景中大数据的获取[3]。
(1)网络数据获取。这一获取方法主要是通过网络爬虫等互联网搜索引擎技术来进行数据抓取,具有一定的行业性、针对性及精准性,同时根据相关的筛选标准与规则对数据进行归类,以形成数据库文件。
期刊文章分类查询,尽在期刊图书馆
(2)媒体流数据获取。这一获取方法主要是通过集群的方式将媒体流接入服务,并为每个接入源动态设置一个相应的存储服务器,以分布式文件的方式实现音频、视频等相关数据的落地。
(3)日志信息获取。这一获取方法主要是通过Chukwa、Scrib、Flume等成熟分布式框架来实现日志信息的分布式收集与统一处理。
(4)传统应用数据获取。这一获取方式主要是通过ETL将关系数据、平面数据等异构数据抽取至临时中间层,并进行清洗、转换与集成,最后,以定义好的数据模型为参照,向目标数据库加载数据即可。
2.3大数据存储
大数据存储的主要职能在于通过对CAP原则的利用来分析大数据,并由此进行适当存储方案的选择。
(1)数据存储硬件。分别为云存储、SAN存储及本地存储。
(2)数据存储技术。分别为No-SQL数据库、关系型数据库、分布式文件存储、列式数据库及实时数据库等。
2.4大数据处理
(1)计算技术。Spark内存计算框架、MaP-Reduce离线计算框架、轻量级弹性计算平台等。
(2)数据挖掘技术。大数据下的分类和预测算法、大数据下的频繁模式挖掘技术、大数据下的聚类分析方法等。
(3)大数据可视化技术。任务并行化、数据流线化、数据并行化、管道并行化等。可通过对图形化手段的利用来实现信息的有效沟通与传达,可在计算资源有限的前提下,实现数据集特性的高效处理和分析。
2.5大数据决策分析
(1)融合多领域信息的数据知识模型。一方面,在数据知识模型标准统一的前提下,可面向不同领域、不同主体建立起不同的数据知识模型;另一方面,可将已建立的数据知识模型形成多层次的结构[4]。
(2)分布式海量数据的管理技术。所涉及到的相关技术有分布式决策模型、流数据挖掘技术、分布式大数据的平台等。主要是通过对智慧城市大数据进行决策分析,来实现对数据管理层面的有效支撑。
(3)辅助决策模型的智能组合技术。所涉及到的相关技术有模型链建立与实例化、决策模型标准化及模型链评估与优化等。
(4)高性能多用户协同的辅助决策技术。所涉及到的相关技术有可视化智能决策方案、可视化动态分析模型、可视化展现技术等。主要是通过对可视化技术的利用,来促使呈现给用户的数据分析更为直观且有效。
3.大数据在智慧城市中的综合应用
(1)大数据采集。互联网数据采集、物联网数据采集与个人数据采集均属于网络大数据采集的主要内容。由于政府部门数据资源存在着共享度较低、重复性较高的弊端,因此,为推动智慧城市创新化、互联化、智能化的发展,就应坚持“城市一体化”的原则,建立起跨部门的数据共享体系,实现各领域的大数据统一服务。
(2)大数据开放服务。大数据的开放是其价值得以进一步发挥的关键,智慧城市要彻底打破其“信息孤岛”的局限性,就应当建立起统一的大数据开放服务,实现数据授权,从根本上推动数据产业的发展。
(3)大数据决策分析。大数据的应用可在一定程度上对智慧城市的决策支持能力起到提升作用,因此,智慧城市可建立起将大数据技术与业务深度结合的模式,降低大数据在各领域中分析决策的难度,以形成更为智能的趋势分析。
4.结束语
综上所述,大数据技术对于推动我国智慧城市的稳定发展可发挥出重要的作用,不仅为智慧城市的建设与发展提供了必要的理论基础,同时也提供了一定的技术支撑。但我国当前的智慧城市尚处发展阶段,因此要实现大数据技术的进一步创新与发展,还需要不断对其关键技术进行分析与探索,以实现智慧城市与大数据技术的同步发展。
参考文献:
[1]李光亚,张敬谊,童庆.大数据在智慧城市中的应用[J].微型电脑应用,2014(12):1-4.
[2]张铭.“智慧城市”中大数据技术的应用[J].通讯世界,2014(03):5-7.
[3]鱼江海.智慧城市中大数据技术的应用[J].中国科技信息,2014(18):100-101.
[4]董袁泉.智慧城市中信息安全的分析以及应对措施[J].微型机与应用,2014(23):16-18.
论文作者:高静1,韦芳1,毛贤光2、3
论文发表刊物:《基层建设》2015年17期供稿
论文发表时间:2015/12/8
标签:数据论文; 城市论文; 智慧论文; 技术论文; 模型论文; 分布式论文; 数据采集论文; 《基层建设》2015年17期供稿论文;