大数据技术与智慧城市建设——基于技术与管理的双重视角，本文主要内容关键词为：技术论文,城市建设论文,视角论文,智慧论文,数据论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
中图分类号：F29 文献标识码：A 文章编号：1008-7168(2015)04-0039-()7 DOI：10.16326/j.cnki.1008-7168.2015.04.006 一、智慧城市与智慧城市建设 智慧城市是数字城市、物联网和云计算三者的整合，数字城市是骨架，物联网是神经，云计算是大脑。智慧城市的基本运作流程是：智慧城市依托数字城市的基础框架，通过遍布各处的传感网络与实体城市相关联，将城市管理与城市建设中的大数据交由云计算平台进行存储、计算、分析、决策，再依据云计算平台的输出结果对城市的各种设施进行自动化管理与控制[1]。如果说数字城市、物联网与云计算平台等相当于高速公路，大数据则是高速公路上的车辆。 数字城市是实体城市的虚拟映射，它存在于网络空间中，通过把遍布城市各处的信息采集系统按城市的坐标进行逻辑关联，实现了城市全部信息的有机整合，既便于全面掌握城市各方面的信息，又方便按地理坐标快速检索，一旦发生紧急情况，可以及时应对。信息采集系统所采集的城市相关信息是多种多样的，包括基础地理数据、街景影像数据、三维模型数据、专题数据等。这些数据按性质可分为部件和事件两类。部件是城市的静态存在物，如一个路灯；事件则是城市的动态反映，如占用道路摆摊。数据城市系统中的各类用户(包括政府、企业和公众)均可以在网络上共享、发布自己的信息，也可以通过网络便捷地获得各类相关信息和服务。 物联网是信息技术发展的新产物，顾名思义，物联网就是物与物相连的互联网。也就是说，物联网是互联网的扩展和延伸，与互联网上的应用相兼容，其基础与核心依然是互联网。不过，物联网的用户端不再局限于电脑、手机等数据处理设备，而是扩展到了任何物品，从而使得物品与物品之间也能进行信息的传递与交流。物联网通过全球定位系统、射频识别、红外感应器、激光扫描器等通信感知技术，按特定的协议把物品与物品、物品与互联网连接起来进行信息交换和通讯，把物品与网络融合起来，“一切皆是互联网”，从而实现智能化的识别、定位、跟踪、监控与管理。在城市管理中，物联网技术大有可为。城市是一个复杂的系统工程，各种部件极为庞杂，如公路、建筑、桥梁、电网、给排水系统、油气管道等，运用物联网技术，可以把感应器嵌入和装备到这些部件中，利用局域网或互联网等通信技术把感应器、控制器、机器、人员和部件等联系在一起，形成人与物、物与物相联和远程控制，从而实现城市管理的信息化和智能化。根据世界无线研究论坛的预测，未来的世界将是物联网的世界，到2017年，世界各地将有7万亿传感器联入物联网[2]。这些传感器通过有线或无线网络为用户提供无处不在、无时不有的应用与服务。 云计算是一种基于互联网的计算模式，是并行计算、分布式计算和网格计算的发展和延伸。云计算的计算能力、存储能力和交互能力等动态、虚拟的计算资源是通过互联网来提供的，这些资源易于扩展。云计算的计算能力很强，可以快速处理海量数据并借助互联网向用户提供服务。比如，利用云计算可以预测经济走向、气候变化等，用户通过电脑、笔记本、手机等客户端借助互联网向云计算中心提出计算需求，云计算迅速做出反应并将结果反馈给用户。因而，也可以把云计算理解为一种建立在互联网基础上的相关服务的增加、使用和交付模式。云计算是一种资源的有效整合机制，计算过程不是本地计算机也不是远程服务器，而是把计算任务分布在大量的分布式计算机上，通过互联网实现了任务的分解、协同与整合。这好比是用电单位所依赖的不是单台发电机，而是集中供电的电网。在云计算模式中，计算能力成为可以流通的商品，就像管道煤气和自来水一样，使用方便，价格低廉。当然，与一般商品的不同之处在于，云计算是以互联网为基础的。云计算的核心是向用户提供服务。 与早期城市信息基础设施建设和数字城市建设相比，智慧城市建设更加强调系统整合与服务，从“信息孤岛”到“共享集成”，从“数据为王”到“应用至上”，更加强调城市管理的统筹兼顾、协同配合、快捷高效、实时互动、智能服务。从上述智慧城市的基本构成看，智慧城市建设也非常强调工业化与信息化的高度统合与集成。20世纪90年代，世界信息化发展驶入快车道。智慧城市建设以1993年9月美国开启“信息高速公路”计划为起点，其后经历信息化城市、数字城市和智慧城市三个阶段。在此方面，我们紧紧把握信息化发展的机遇，适时地推动了信息化城市建设。1993年12月，我国正式启动“三金工程”，即金桥工程、金关工程和金卡工程。此后，我国又提出要加快十二个重要业务系统建设，即“十二金”工程。这为信息化城市建设奠定了基础。1998年，时任美国副总统戈尔提出了“数字地球”的概念，信息化城市建设迈入数字城市建设的新阶段。我国也有三百多个城市开始数字城市基础框架建设，由国家测绘地理信息局发布的“天地图”成为数字中国和数字城市的重要技术支撑和运行载体。2006年，物联网、云计算等新兴信息技术被引入城市信息系统。2009年，美国IBM公司提出了智慧城市的基本理念和发展愿景。此后，智慧城市逐步成为占据主流的概念。目前，在北美和欧洲兴起了建设智慧城市的热潮，仅IBM公司参与的智慧城市项目就达二千五百多个。除IBM公司外，其他科技公司如微软、西门子、思科等以及以埃森哲为代表的咨询公司也开始介入智慧城市建设[3]。我国智慧城市建设与国际同步，其目标是推进城市的绿色、低碳、和谐与可持续发展。我国当前面临着新型城镇化、农业现代化、工业化和信息化“四化合一”的新机遇和新挑战，智慧城市建设对于我国在信息时代实现对发达国家的赶超无疑有着至关重要的意义。 二、智慧城市中的大数据和大数据技术 信息时代的重要特征就是海量信息的高度聚集、迅速传播。我们正在步入大数据时代。“大数据”的概念最早可以追溯到托夫勒的《第三次浪潮》(1980年)。不过，直到2009年，这一概念才开始在信息通讯技术领域得到普及。大数据不同于传统数据的基本特征在于：大容量、高速度与多样性。大容量体现在其数据量已经从太字节(TB，240)级上升到泽字节(ZB，270)级，这种数据量已经很难用传统的技术进行处理；高速度在于数据传输速度已经可以达到实时的程度；多样性主要是指大数据的数据类型和数据来源的多样性。 智慧城市利用物联网将实体城市与数字城市连接起来，物联网每时每刻都在产生着庞大的数据信息。智慧城市管理和运作的基础就是这些通过传感器采取的大数据。这些大数据需要经过存储、处理、查询、分析等技术环节才可用于智慧城市的相关服务和应用。为实现对城市的高效管理，智慧城市建设必须面对种类繁多、数量庞大的大数据，特别是空间、视频等方面的大数据，如何充分发挥云计算的优势，对智慧城市大数据进行有效的存储、融合、检索、挖掘等，这是亟待解决的问题。云计算技术为智慧城市大数据的有效管理搭建了从基础设施、数据到服务的一体化平台。基于云计算技术平台的大数据技术主要包括大数据存储技术、大数据融合技术、大数据检索技术、大数据挖掘技术。 城市管理中产生的海量大数据的存储问题可以通过云存储和智能压缩算法来解决。在云计算技术的支持下，城市管理中产生的大数据均以虚拟化方式实现云存储。就技术层面来说，云存储通过集群应用、网格或分布式文件系统，将城市管理中产生并存储的各种类型的大数据通过网络协同起来，共同提供数据存储和业务访问功能。云存储中的大数据对于云端的每一授权用户均是开放的，用户可以通过网络与云存储连接，相当于单一用户拥有了整个云存储的能力，从而突破了传统存储方式的性能和容量方面的瓶颈。这样，云存储把各自为战的“信息孤岛”连为一个有机的整体，既可以实现数据共享，也解决了数据重复存储所造成的存储成本高昂的问题。城市管理中空间和视频类大数据占用存储空间是极大的，但是，这类多媒体信息均存在数据冗余。比如，一幅图像中一片绿地，其中许多像素是相同的，如果逐点存储，就会造成存储空间的浪费。再比如，视频监控所获得的动态画面中，在相邻序列中，只有运动物体有一些变化，静止的背景不变，仅存储变化部分即可。数据压缩就是去掉冗余信息。智能数据压缩就是保留有用信息、去掉冗余信息，或者按照一定算法重新组织数据，从而达到缩减数据量以减少数据存储空间的目的。 为实现城市基本构成要素(人、物、环境)的协同运行，智慧城市需要将各种感知设备获得的数据信息进行有效的集成，大数据融合技术就是为了解决这个问题应运而生的。智慧城市需要在多个系统之间实现数据交换与共享，特别是底层数据的融合与集成是实现智慧城市高效运转的前提条件。比如，城市安防系统需要综合利用城市人口数据、犯罪嫌疑人档案库、案件卷宗库、城市道路监控视频等多种数据，以便从中发现犯罪嫌疑人线索，并为案件侦破提供相关信息。当前，我国智慧城市建设中存在的问题就是各个系统之间的数据缺乏统一的标准，导致数据无法实现有效的利用和共享。大数据融合技术要求必须强化大数据的标准化建设，同时加强异构数据建模与融合等关键技术的研发工作，为底层数据的有效集成和融合提供标准和技术保障。 智慧城市建设强调以应用服务为中心，如何针对具体应用服务提供大数据的快速检索服务就成为智慧城市建设的关键。传统意义上的信息管理系统对数据快速检索的办法是建立数据库，将一条信息作为数据库中的一条记录，按信息的不同属性建立相应字段并予以赋值，再将这些记录进行排序、索引。对于复杂的信息还可以通过数据库之间的关联以便于信息检索。但是，在智慧城市中，相当多的信息因难以实现数字化而无法通过数据库技术进行检索。比如针对视频监控图像的检索就需要全新的检索云服务。检索云服务不但能够自动提取图像和视频中的有关特征，还能针对视频中的动态行为(如翻墙、奔跑、聚集、跟踪等)进行提取并建立索引。对于最终用户来说，只要提供动态行为和地理信息，即可实现快速检索。 数据挖掘就是从海量的、不完全的、随机的数据中提取出潜在的有规律的知识和信息的过程，也有学者将此过程称为数据分析。大数据挖掘技术在智慧城市建设中有着广泛的应用，为智慧政府、智慧交通、智慧社区等提供重要的技术支持。大数据挖掘的任务具体包括关联分析、聚类分析、分类、预测、时序模式和偏差分析等[1](p.17)。关联分析的目的是找出数据库中变量之间的某种规律性，如简单关联、时序关联和因果关联等。聚类是把数据按属性的相似性归为一类。分类就是找出一个类别的概念描述，以用于规则描述和预测。预测就是根据历史数据的规律性来建立数据模型，并以此模型来估算未来数据的变化。时序模式就是通过时间序列寻找重复发生率较高的模式。偏差分析就是发现观察值与参照值之间的差异。大数据挖掘项目是一个生命周期，具体又分为六个阶段，即业务理解、数据理解、数据准备、建立模型、模型评估和实施部署[5](pp.108-109)。这些阶段根据需要可以前后调整。 三、大数据技术在智慧城市建设中的应用 近年来.我国城市发展的成绩值得肯定，但城市发展也面临着人口增长过快、能源资源紧张、生态环境恶化、交通拥堵、房价高昂、公共安全问题严峻等“城市病”问题[6]。大数据技术在智慧城市建设中有着非常广泛的应用，这为“城市病”问题的解决提供了重要的技术手段。大数据的获取与传输离不开覆盖广、速度快的互联网络，因此，互联网基础设施是智慧城市建设的前提。在“硬件”基础设施外，开放数据则是智慧城市建设的“软件”基础设施[3]。智慧城市运营中心是把“硬件”基础设施与“软件”基础设施进行有效整合的关键。智慧城市运营中心包括四个组成部分：大数据中心、城市运行监控与指挥中心、城市IT基础设施运维中心、智慧服务中心。大数据中心是智慧城市的数据资源池和物联网的枢纽，可以对城市运营的所有数据实时感知。城市运行监控与指挥中心可以实现跨系统、跨地区、跨部门的协同与响应。城市IT基础设施运维中心负责对智慧城市运营中心的基础设施进行维护和更新，以保证其安全、稳定地运行。智慧服务中心的功能是面向政府、企业和个人提供各类服务[1]。 智慧城市有六大系统，分别是智慧管理、智慧出行、智慧环境、智慧生活、智慧经济、智慧市民[3]。其中智慧经济侧重产业发展，智慧市民侧重教育、个人发展和社会公平等，与大数据的相关性较少，故本文侧重分析大数据技术在智慧城市前四个方面的应用。 智慧管理方面的大数据主要包括摄像头拍摄的视频影像、传感器收集的环境方面的信息、各类终端上的刷卡信息，以及由市民通过手机应用或网站所产生的信息等。这些大数据主要应用于三个领域。一是公共安全管理。城市是一个人口密集的区域，实时监控与突发事件处置尤为重要。在城市大规模、全方位地布置摄像头或传感器可以及时发现火灾隐患或犯罪行为等异常情况，还可以通过设置实时监控系统来对交通事故、管道泄漏等突发事件及时做出应对处置。二是市政服务。比如可以开通移动门户网站，市民可通过此网站对市政服务进行投诉，或及时报告道路坑洼、交通信号灯损坏、垃圾收集不及时等市政问题，并监督其解决。也可以在城市公共场所安装智能摄像头，并与分析软件相结合，自动识别异常情况并提醒有关部门及时处置。三是综合社会管理。城市社会管理是一个系统工程，需要各方面的协同参与，特别是大数据在智慧城市中的应用大大方便了公众参与。基于大数据，反映城市环境实时变化的三维可视化系统得以构建，这可以作为公众参与的平台。 大数据因其广泛性和实时性而为实现智慧出行提供了可能：一是实时监控交通流量，二是实时提供交通信息[3]。具体而言，解决交通拥堵问题是通过智能交通系统来实现的。这一系统集汽车、电子、通信、计算机为一体，即对车辆进行智能改造，增加信息处理功能，接入互联网络，实时采集和传输动态交通数据。这些大数据经整合后，可用于城市交通的协同和预测。借助智能交通网络，管理者可以实时监控行人、车辆、货物等的位置移动状况，对被管车辆进行监管和调度，向社会提供实时路况，辅助市民优选出行方案，并为交通管理部门提供辅助决策的技术支持。另外，智能交通系统还可以与公安信息系统、医院信息系统连接起来，以便及时处置交通事故、第一时间施救。再如，智能交通系统运用于地铁线路上的列车调配，列车可根据客流量自动调节发车间隔时间，减少客流拥挤不堪或者列车几近空载的状况。市民通过市政交通一卡通，即可支付公交、地铁、出租车、停车费等，实现便捷出行[7](pp.91-93)。 大数据技术在智慧环境方面的应用有很多。借助大数据技术，我们可以搜集到大量有关城市环境质量的信息，由云计算中心进行数据分析，用以指导环境保护方案的制订，并实时监控环境治理效果。在此过程中，还可以借助大数据的开放性，鼓励社会公众和企业参与环境保护[5](p.150)。大数据还可以应用于能源使用管理方面，即利用安装在电网系统中的传感器来实时收集用户的能耗信息，智能调配能源供给，提高能源的使用效率[3]。水务智能管理也是智慧环境的重要应用。其具体做法是建立一个以数据平台、网络平台和应用平台为基础的城市水务智能管理系统，全面整合城市的供水、排水、污水处理等事务，促进信息资源共享，实现水资源的动态、高效管理。例如，在饮用水管道设置信息采集点，实时监测和分析水质和水量，发现异常，迅速通知有关人员予以处理。通过污水在线监控，汇集污水处理信息，提高城市污水处理效率。还可以结合城市降水量和地面水量的历史数据分析和对城市未来用水量的预测，在城市规划中科学、合理地布局供水、排水和污水处理等基础设施[7](p.93)。 大数据在智慧生活领域的应用主要体现为生活服务，比如在开放大数据的基础上开发生活服务类手机应用，或通过云计算等技术对大数据进行实时分析并向市民提供生活服务实时信息。社区是市民社会生活的基本单元，智慧社区则是智慧生活的一个重要组成部分。通过智能网络系统将社区的服务、信息、人群等各种资源有效整合，从而在实体社区的基础上再造一个虚拟社区，使得社区居民能够更加紧密地联系在一起[3]。智慧生活的另一个应用是智慧医疗服务。智慧医疗服务以增进市民健康为目标，通过建立市民健康电子档案和服务中心，实现数据共享和业务互通。在大数据技术的支持下，各医院可以根据自身的具体情况(如医疗设备、医疗水平等)定位适当的病人。患者也可以根据病情和检查结果在各个医院之间流动，接受适合的治疗而不必重复检查[7](p.96)。 四、发展智慧城市大数据技术的对策 智慧城市建设是一项系统工程，必须做好各个方面的规划与建设。大数据技术在给智慧城市建设带来了机遇的同时，也存在着一些必须引起高度重视的问题。比如，如何规划、布局传感器及其他软、硬件设施以确保大数据准确、全面地反映城市运营的总体状况？如何实现基础设施升级换代的经济性和可持续性？如何使来源于不同部门的大数据实现共享与整合？如何挖掘大数据内在的高价值信息？如何有效管理、维护和使用大数据？如何实现传统的法律、法规、技术标准等与大数据技术的衔接？[7] 要解决困扰智慧城市发展的上述问题，建设好智慧城市，满足公众需求，完善公共服务，城市管理部门应当从以下方面来探索大数据技术发展的对策。 第一，应做好以大数据为核心的智慧城市的顶层设计。智慧城市的有效运转是以城市管理的各软、硬件系统的协同联动为前提的。不同系统之间除了业务上的逻辑联动外，大数据的共享、融合、交换等信息联动是智慧城市系统有别于传统信息系统的重要方面。为此，在智慧城市建设的设计中，必须把大数据技术的理念引入顶层设计，针对智慧城市建设的总体目标，充分考虑各个系统中大数据技术的具体要求，只有从根本上解决问题，才能真正实现智慧城市的高效、协调。智慧城市系统本质上是“人机”系统，系统的高效、协调运转离不开高素质的人，因此，要加大宣传和培养力度，提高城市管理者和市民的大数据意识和能力。要在全社会普及大数据知识，通过培训提高城市管理者的大数据能力。 第二，优化政府机构设置，建立健全大数据管理体系。大数据时代数据管理流程相比传统数据管理流程已经发生了根本的变革，这就要求转变政府职能，调整政府原有机构设置，根据工作任务，合理配置人力、物力和财力。大数据收集方法的重要变革亟须改革调查方法和调查制度。在调查方法上，必须丰富数据类型和数据来源。在调查制度方面，要变传统官僚制下线性的统计制度为信息时代的网络式信息汇集制度。大数据管理体系中一个很重要的方面是大数据标准体系。当前我国智慧城市建设中存在的问题之一就是大数据的标准不统一，导致城市管理各系统之间无法实现有效的协同。因此，必须建立与完善国家层面乃至与国际接轨的大数据标准，确保数据采集、数据交换、数据接口和数据共享有统一的标准，这对于智慧城市建设和我国智慧产业的发展和赢得国际竞争优势都有着非常重要的意义。 第三，引进和创新大数据技术，强化大数据智能分析。智慧城市建设中的大数据技术发展日新月异，我国在此方面相对落后，为此，必须引进和创新大数据技术，才能在智慧城市建设中掌握主动权。在智慧城市建设初期，可以引进为主，但要力求掌握核心技术。随着智慧城市建设的推进，要引进与创新相结合，探索适合我国城市管理的大数据技术，最终目标是开发拥有自主知识产权的智慧城市大数据技术[8]。智慧城市的基础是遍布城市的传感网络，通过该网络，城市各方面的信息得以动态、实时反映。这些多领域、多维度的大数据之间的内在关联、基本特征、变化趋势等均需通过深入分析与挖掘才能发现。要为城市规划、城市建设和城市管理提供决策支持，必须强化智慧城市大数据的智能分析。 第四，要在科学的指导下使用大数据，强化大数据的信息服务功能。城市大数据的使用必须围绕城市管理的中心目标，要统筹使用大数据，最大限度地提高大数据的使用效率。必须特别注意大数据在使用中可能造成的泄密问题。城市管理中的大数据只能用于合法的、正当的目的。公众和企业的私有信息和商业秘密不应被公开或泄漏。大数据具有多样性和变动性的特点，为了更好地使用大数据，必须协调好大数据的生产者、提供者和使用者之间的关系，共同为社会各界信息共享注入合适的、可靠的数据，确保大数据的可持续性[9](p.79)。智慧城市建设的目的就是更好地服务于社会，因此，必须做好大数据信息服务工作。目前，我国各地在智慧城市建设中将公共安全、政务服务、城市交通、医疗保障、环境保护等放在首位，使智慧城市建设惠及民生，这是正确的方向。未来，智慧城市建设的重点仍应进一步创新技术和应用模式，为社会提供更加人性化的、更加丰富的大数据信息服务。 第五，清醒认识数据的缺陷，提高数据的质量。数据可以作为智慧城市建设的重要依据，但不应是唯一依据，因为过分依赖数据也可能会产生一些风险。比如，有些数据质量不高，数据指标尚未达到可以量化的程度，依此数据所做的分析可能会产生误导。现实的数据统计中，基于某些特殊的原因，可能出现数据造假现象。传统数据的质量问题在大数据时代依然存在，而且由于大数据的新特征，也会产生一些新问题。大数据在一定程度上可以使城市管理更加智能和高效，但是大数据的集合和高密度的测量会使错误的风险增加。尽管大数据搜集的是全体数据，不存在抽样偏差问题，但是大数据收集也存在信号问题，即数据的代表性可能存在局限。再比如，智慧城市的大数据来源之一是智能手机用户信息，能够发布信息的市民也并非市民的整体，没有智能手机的用户数据是缺失的，这些人群主要是高龄人士、低收入者、文化程度较低者、残障人士等。因此，要运用好大数据，必须确保数据的真实性，缩小数据鸿沟，对数据的局限性有充分的了解[5](pp.218-225) 第六，要进一步提高网速，降低资费水平。智慧城市建设与大数据收集、存储、处理、传输等均离不开互联网，特别是移动互联网。但是，当前最大的问题是网速过慢、费用过高。以北京联通非套餐价手机流量为例，每兆0.3元，如果用手机看一部1G左右的电影，费用高达300元！调查发现，以下载为例，数据大小超过100兆时，用户会选择WiFi网络，这严重制约了移动互联网的推广应用。2015年4月14日，国务院总理李克强在一季度经济形势座谈会上表示：“现在很多人，到什么地方先问‘有没有WiFi’，就是因为我们的流量费太高了！”他希望降低网费的同时提高网速。网费降低与加大信息基础设施建设力度息息相关。根据国际电信联盟的评估，我国的网络带宽在世界范围内的排名在80位以后。现在，手机已经进入4G时代，但资费偏高、覆盖不好等问题依然是阻碍4G快速普及的重要原因。因此，加大信息基础设施建设，提高网络带宽，降低资费水平，对于更好地发挥大数据技术在智慧城市建设中的作用极为重要。 第七，完善相关法律法规，确保信息安全。《中华人民共和国统计法》明确规定，统计调查要“充分利用行政记录等资料”，这为城市管理使用大数据提供了法律依据。在具体实施中，还需要制定相关细则以明确行政记录和商务记录使用的责任和义务；要规范行政记录和商务记录的使用目的、内容、方法等；要对统计数据建立周密的保密措施；要根据大数据的收集对象和使用目的确立发布机制；要运用法律约束以确保大数据的合法化、官方化和规范化[9](p.880)。大数据的透明开放并非意味着数据的无条件开放，国家机密、商业秘密和个人隐私就不属于数据开放的范围。为此，必须建立健全大数据信息安全方面的法律法规，明确大数据的管理者和使用者在数据收集、整理、分析和共享中的责任和权利。同时，也需要强化大数据的信息安全技术和完善政府大数据管理组织体系，共同维护大数据的信息安全[8]。标签：云计算论文; 大数据论文; 技术与管理论文; 云存储论文; 数据与信息论文; 智能城市论文; 数据整合论文; 信息存储论文; 数据检索论文; 用户分析论文; 信息发展论文; 人工智能论文;