牟盈颖
新疆政法维稳信息中心 新疆维吾尔自治区乌鲁木齐市 830000
摘要:随着大数据时代的到来,空间数据挖掘的地位逐步提高,大数据的计算不仅让人们认识到数据的重要意义,也造成很多行业出现了本质上的改变。本文对大数据下GIS的空间数据挖掘进行研究和分析,以供参考。
关键词:大数据;GIS;空间数据挖掘
1 空间数据挖掘概述
1.1空间数据挖掘
空间数据挖掘是以空间数据库作为基础,利用相关的信息技术,如人工智能、模糊数学、神经网络和专家系统等,对空间数据进行挖掘。空间数据挖掘最终的目的是从海量的空间数据信息中,获取隐藏、未知、有利用价值的信息,揭示数据的本质规律,为经营决策提供详实、可靠的依据。
1.2特点分析
空间数据挖掘归属于数据挖掘的范畴,与普通的数据挖掘相比,空间数据挖掘具有如下特点:①空间实体是空间数据库存储与管理的主要对象,由于空间实体主要包括点线面,所以使其具有一维或多维的空间地理坐标,这与关系数据库中的表格、记录有着十分明显的差别;②空间数据的结构相对比较复杂,栅格数据、矢量数据均具有多种编码方式;③空间数据中包含的信息更加复杂、丰富,数据量更大,需要建立空间索引对空间数据进行组织,并且还需要为其提供相应的存取方法;④由于空间实体中的点线面存在着隐含的邻接关系,从而使得空间数据的相关度比较高;⑤空间数据具有良好的可视性特点,能够为数据挖掘提供可视化的表示方式。
2大数据下GIS空间数据挖掘方法
空间分析作为地理信息系统区别于一般计算机系统的主要标志,也是支持其强大功能的关键技术。借助GIS系统强大的空间分析功能模块,可以发现客观事物在地理空间上的相邻、相连和共生关联关系,找出客观事物之间的最优路径、最短路径和最佳位置。空间分析通常作为处理空间数据和提取空间数据特征的方法,来挖掘空间数据规律。说到空间大数据挖掘和数据特征提取,离不开机器学习,机器学习可以实现对数据的分析模式探索,生成训练样本,通过构建框架模型进行样本训练,把优化后的模型应用在大数据的分析中,最终实现对空间和表格数据的分析和可视化。对空间数据的分类、预测、聚合是GIS机器学习中使用最广泛的方法。
2.1空间分类和聚合
空间分类是基于训练数据集来判断目标对象应该归为哪一类的过程。空间分类主要面向遥感影像数据,通过分析像素值和配置信息后对像素进行分类,分类方法主要包括:最大似然法、随机森林法等。例如,土地利用类型自动提取和森林砍伐的损失面积评估就用到了空间分类。聚合是按一定的规则将数据分成若干个相互区别的组,发现数据的分布特征,使得每组中的数据具有高相似,而不同组之间的数据具有差异性。聚合是基于属性值或位置的相似性对目标对象进行分组,通过基于位置、属性或位置与属性结合的多种聚合算法,可以用来分析根据社会经济和人口分布的学区覆盖或根据社交媒体活跃度来分析人口聚集区域。目前空间聚类算法较为丰富,主要有:空间约束多元聚合、Density-based集群、图像分割、热点分析、聚合和异常值分析、时空模式挖掘等。
2.2空间预测
空间预测是根据数据内在规律,根据空间现有特征发现空间对象的变化趋势,是利用已知来估计未知。GIS中常用的预测方法是回归分析和插值分析,包括:克里金插值法,区域插值,回归预测,普通最小二乘回归和探索性回归,加权回归等。例如评估某一区域周边的环境质量,可以对点状获取的气温、降水、水环境、空气污染质量、声环境等因素进行覆盖到面状的综合预测。除此之外,空间统计学、神经网络、证据理论、模糊集、粗糙集和遗传算法等都属于数据挖掘方法,以上在对空间数据进行挖掘时,并不是孤立的,只有将各种方法加以综合运用,方能科学有效地挖掘数据的空间规律。
期刊文章分类查询,尽在期刊图书馆
2.3 GIS空间数据的云计算挖掘技术
在处理海量数据的过程中,除了对传统空间数据挖掘算法进行优化之外,还需要注意加强大数据平台的建设,这样可以让空间数据质量进一步提高,在此过程中需要用到云计算。一般条件下,传统空间分析和数据挖掘需要对准确度和匹配度的高低进行分析,由于空间数据与原先的数据相比多了一个空间维度,造成各空间的数据挖掘过程中需要相互配合,在提取信息的同时对隐藏的数据信息进行挖掘。例如LBS数据和遥感影像的数据,这两类数据无论是从数据量上,还是从数据结构、维度或数据价值上,都能够与大数据的概念贴合。但传统的空间分析或空间数据挖掘领域,却更多是在地理空间统计样本上进行分析,而且因为空间数据的特点,例如空间自相关、空间异质性等空间统计学,与传统统计学截然不同的概念,使得很多的分析,无法采用大数据中那些分布式计算的方法来实现。伴随当前空间数据挖掘算法的进一步提高,在传统的GIS数据挖掘当中,通过大数据以及云计算,可以分析数据内在的规律以及不确定性问题。例如,空间分析中的构建空间权重矩阵,就是利用云计算中的弹性分布式数据集这一特性,加载庞大的空间权重矩阵,之后的运算都可以从预先构建的矩阵中快速获取邻近要素。这样就让很多在以前不可能实现、具有空间自相关的分析可以在分布式集群框架上运行了。随着当前空间数据挖掘技术的进一步提高以及大数据、云计算等先进方法的使用,充分挖掘地理空间数据,分析生态环境和人类活动条件下数据的变化情况和自然的相互关系,为人与自然的可持续发展提供一定的帮助,让我们的生活环境得到进一步改善。
3大数据下GIS的空间数据挖掘技术的应用
空间数据挖掘的具体应用空间数据挖掘的应用领域比较宽广,如遥感空间、医学影像处理和地质勘测等。限于篇幅,下面仅就空间数据挖掘在地质探矿和交通中的应用进行简要分析。
3.1在地质探矿中的应用
对于地矿学而言,其中涉及的数据具有独特的空间属性,这些数据除了具有显性的表象之外,还具有隐性的属性,通过科学的分析便可将数据中的这些含义挖掘出来,从而为地质探矿提供依据。在矿产研究中,数据的种类不仅具有多样性的特点,还存在一定的差异性,从而导致对矿产资源的评价无法使用直观的数学模型进行表达。可以通过地球物理勘探的方法对地下的岩层构造进行探测,具体做法如下:先对时间间隔进行合理安排,随后借助相关的数学模型,从空间数据库的海量数据中找出相关的地矿学数据,并采用空间数据挖掘技术进行分析、挖掘和转换后,便可对空间数据加以利用,由此能够为地质预测提供详实、可靠的数据。
3.2在交通中的应用
基于GIS和云计算的结合分析在早高峰时段,出租车的热点分布情况。一般情况下除了市区是明显的热点区域外,离市区较远也会有热点区域,比如出租车经常出入的机场。在传统的分析方法中,经过查询统计、叠加分析等一系列的计算后,需要花上好几个小时才能得到这个分析结果。而现在,只需要1分多钟的时间就可以看到结果。这就得益于GIS与云计算的完美结合。可以在GIS的建模工具中构建任务模型,以便于自动化的执行工作流,大量的分析工作就交给云计算来完成,通过并行计算的优势来进行空间几何运算(比如缓冲区分析、包含统计分析、叠加分析等等),效率有了明显的提升。
在大数据条件下,空间数据的重要性逐步突出,为了对空间数据进行获取,一定要科学合理的使用数据挖掘方法。只有如此,才能让GIS空间数据挖掘的潜力进一步发掘出来。
参考文献
[1]邵燕,陈守森,贾春朴,许强.探究大数据时代的数据挖掘技术及应用[J].信息与电脑(理论版),2016(5):65-66.
[2]王皓,王红崧.基于 GIS 的空间数据挖掘研究[J].测绘科学,2015(02):263-264.
[3]胡彩平,秦小麟.空间数据挖掘研究综述[J].计算机科学,2007,34(5):14-18.
[4]陈裕雄.大数据下的空间数据挖掘及应用分析[J].通信设计与应用,2017,(21):50-51.
论文作者:牟盈颖
论文发表刊物:《建筑学研究前沿》2018年第16期
论文发表时间:2018/11/12
标签:空间论文; 数据论文; 数据挖掘论文; 方法论文; 热点论文; 算法论文; 地质论文; 《建筑学研究前沿》2018年第16期论文;