一、常用空间索引技术的分析(论文文献综述)
李旸[1](2021)在《基于多层Voronoi图索引的城市地质环境空间数据高效查询技术研究》文中提出空间数据引擎是城市地质环境空间数据管理系统的关键核心部件之一,其功能主要是为城市地质环境时空透视和智能管控相关应用提供动态高效的空间数据存储与查询服务。其中空间数据索引的结构与基于空间索引实现的各种空间查询算法对空间数据引擎的整体性能起着关键性作用。城市地质环境空间数据具有体量大、多维度、空间分布不均匀和几何形态复杂等特征,基于这些特征目前已有的空间索引与空间查询技术在实际应用中尚存在着以下几个问题:(1)在空间数据索引方面,主流空间索引结构(如R-tree和VoRtree)无法满足对大规模、分布不均匀的地质环境空间数据的高效访问需求;(2)在面向空间分析应用的空间查询方面,基于空间近似性的查询算法(比如性能领先的反向k近邻问题SLICE算法)无法实现大规模查询场景下的快速响应,因此无法有效支持实际应用中的空间插值分析;(3)在基于边界约束的空间查询方面,现有空间区域查询算法(如Oracle Spatial PIP算法)在运行的过程中存在候选集有效命中率较低、冗余空间计算量大的问题,在面对几何形态不规则的区域查询时,难以快速的返回查询结果。针对上述问题本文开展了以下3个方面的研究工作:(1)研究设计支持空间数据高效检索的新型空间索引结构;(2)研究提出面向城市地质环境数据的高性能空间查询方法;(3)研发基于新型空间索引结构和空间查询方法的空间数据引擎建并开展应用示范。基于这些研究工作本文所取得的研究成果主要表现在以下4个方面:(1)通过逐层抽稀构建Voronoi图的方式,设计提出了一种多层Voronoi图结构的空间索引MVD(Multi-layer Voronoi Diagrams);基于MVD索引提出了一种名为MVD-NN的最近邻查询方法,并且借助VR-kNN的设计思想以MVD-NN算法为扩展实现了kNN查询方法MVD-kNN。(2)利用圆、椭圆和双曲线三种典型圆锥曲线的特性,设计提出了一种利用已验证的数据点来辅助验证其它数据点的RkNN验证方法CSD(Conic Section Discriminance);并利用Voronoi图实现了一种候选集规模比已有算法更低的候选集产生方法;最终将上述的RkNN验证方法和候选集产生方法组合形成一种名为CSD-RkNN的新型RkNN查询算法。(3)利用数据点构成的Voronoi图,根据数据点与查询区域的空间拓扑关系将所有的数据点进行分类,定义了边界点、内部点、外部点、边界邻居点、绝对内部点和绝对外部点等几种不同类别点的概念,根据不同类别点之间在Delaunay图上的连通性,设计提出了一种通过识别边界点来降低冗余I/O和冗余空间关系计算的新型空间区域查询方法。(4)基于提出的索引结构和空间查询方法设计了一套空间数据管理解决方案,并根据该方案开发实现了一套支持NN、kNN、Bi-RkNN、Mono-RkNN、Region和Buffer等空间查询功能的城市地质环境空间数据服务引擎。该数据服务引擎以Geo JSON为空间对象承载格式,通过Web Service方式发布数据服务,同时支持本地存储和HDFS分布式存储两种存储模式,具有良好的可扩展性。基于深圳市全市分布的3万余条地质钻孔数据和14万余条地面POI数据,开展了面向地质环境空间数据管理与查询的示范应用,取得了良好的应用效果,验证了本文方法的有效性。本文的创新点主要体现在以下3个方面:(1)设计提出的MVD索引摒弃了主流空间索引所采用的树形结构,而是采用一种多层网络结构,规避了树形索引的节点失衡问题和节点重叠问题,所以在其基础上实现的最近邻查询算法(MVD-NN)在I/O性能和运行效率方面均优于目前R-tree族索引上性能最优的最近邻查询算法(BFS)。(2)提出的CSD-RkNN算法利用Voronoi图的相关特性缩减了候选集的规模,并通过圆锥曲线判别法(CSD)提升了大部分候选对象的验证效率,所以其I/O性能和查询效率均优于目前最先进的RkNN算法(SLICE)。(3)提出的BPI-Region算法利用了查询区域边界点(即Voronoi单元与查询区域边界相交的数据点)将查询区域的内部点和外部点隔离成两个在Delaunay图上互不连通点集合,从而避免了绝大部分内部点的冗余空间验证和外部点的冗余访问,所以该算法的I/O性能和查询效率均优于目前R-tree族索引上最优的区域查询算法(Ocracle Spatial PIP)。
李翔[2](2021)在《支持复合条件查询的位置信息检索系统的设计与实现》文中进行了进一步梳理位置信息检索系统能够对空间中地理实体的空间几何拓扑信息和实体的属性信息等进行特定数据分析、处理和结果反馈。现有的位置信息检索系统普遍缺乏进行多个复合条件查询的能力。现有系统通常采用单一数据源作为空间查询基础,数据丰富度不足以支撑复合条件查询。此外,空间数据复杂的时空特性、多维性和海量数据等特点,增加了系统开发和维护难度,使得复合条件查询往往只应用于特定领域以减少系统复杂度。更主要的,复合条件查询涉及大量复杂的空间计算,当复合条件和空间数据量增多时,现有空间索引无法从全局视角对查询进行优化,导致系统性能达不到使用要求。因此,研究一种性能优异且能够满足广泛查询需求的支持复合条件查询的位置信息检索系统是必要的。本文的主要设计与实现工作如下:(1)本文设计出一种能够满足多种行业需求的复合条件查询规则,使用地理实体自身的属性进行筛选,并利用与空间中其他地理实体的空间拓扑关系和数量关系进行限制。对于查询性能考虑,针对不同数据特点,灵活设置数据索引和存储方式。其次,将复合条件查询进行步骤分解,并运用动态调整机制,使后续步骤的执行策略能够根据前续结果灵活调整,以减少查询整体执行时间。特别的,空间关系计算阶段根据前续结果有三种不同的计算策略,能够最大程度的减少空间计算的总次数,弥补了现有空间索引的不足。最后,以30万条POI数据为基础,针对不同阶段的优化工作进行了性能比较,复合条件查询性能有了极大的提升,验证了设计的有效性。(2)以上述复合条件查询为核心,通过中间件和多种软件框架实现了位置信息检索系统,涵盖组件化前端、数据ETL任务及管理、复合条件查询、用户及权限管理、其他地图相关功能等。其中,针对地理数据爬取,设计并实现了 GeoThreadPool线程池,能够自动对爬取区域进行分解并能根据数据源的请求接口特点,灵活调整数据爬取的线程数量和爬取频率。最后对系统在功能及性能方面进行了测试,测试结果验证了功能的有效性和可靠性,能够满足系统设计需求。
蒋叶林[3](2021)在《基于HBase数据库的时空大数据存储与索引研究》文中研究表明随着互联网、PC技术、传感器技术的不断发展与普及,越来越多的高水平技术和多领域的应用都会涉及地理信息数据,例如数字城市,智慧城市,地图导航等。在信息化世界呈现多元化的同时,随着用户的需求以及对数据的精准性的追求不断变高,数据量也呈显出大幅度增加,所以如何高效的组织和管理海量空间数据是十分重要的问题。随着云计算技术的诞生,使得对海量数据的快速存储与高效计算得以实现。本研究重点研究了基于不同预区下使用Spark技术框架进行分布式存储,以及在Hilbert曲线编码的原有基础上进行了改进,提出了一种多层级自适应的Hilbert曲线编码。并对该方式存储在Hbase数据库中的数据建立二级索引表对数据进行检索。研究具体如下:(1)本文首先对研究背景、现状和研究依据做了详细的阐述,并对本文研究的相关技术与理论做了详细的介绍。在此基础上详细地分析了本研究对海量数据存储以及索引的可行性,并为后续研究提供了必要的理论与技术支持。(2)在大数据整体架构的特点上,结合时空数据的聚集性的特点,分析了常见的数据划分曲线的优劣性,在此详细阐述下,本文的创新之处在于对基于Hilbert曲线传统编码的方式进行了改进,设计了一种各层级自适应的Hilbert编码方式包括分级码与排序码,并结合这种编码方式以及时空数据的特性,在对Hbase数据库Rowkey设计以及列族与预分区的设计基础上,分别比较在单个预分区下2W、20W、100W、500W、1000W、1500W、2000W数据量的存储效率与在10、51(根据官方提供的公式计算)、100个预分区情况下对10W、100W、500W、1000W数据量下存储的效率是否呈一定的规律且检测是否官方提供的公式计算的预分区为最佳预分区数。实验表明:在相同数据量下,并不是预分区数越多则存储效率越高,没有呈现一定的规律,且根据官方提供的预分区公式计算并不是最佳预分区数。(3)最后,本文采用了具有100W数据量的数据库来作为查询的根据Hbase的特点,结合了Phoenix来对时空数据进行二级索引表的建立,并实现对数据属性的查询,并比较了有无索引表对数据查询的效率。实验表明,有索引表的检索效率明显高于无索引表的检索效率。而对于时空范围的查询,本文是基于底层的Filter的过滤器与Spark技术框架相结合来做的精确的时空范围查询和建立索引表的时空范围查询以及Geo Mesa系统作比较,证明本文关键技术研究的可行性和有效性。实验表明,该Hilbert曲线编码改进算法与基于索引表的时空范围查询算法结合的查询效率较Geomesa在本实验中提高了约16%-26%,较无索引表的算法的查询效率提高了约45-240倍。
关忠[4](2021)在《路网中基于关键节点的最短距离查询和空间关键字查询》文中提出随着互联网经济的快速发展和移动终端的普及,基于位置的服务迅猛发展,与此同时,随着路网的不断发展和完善,路网中带有位置信息的对象迅速增加,在大规模路网中高效地查询给定两个顶点的最短距离成为数据库界研究热点。为了实现路网中的相关查询,人们提出了一些创新性的索引技术,例如:G-tree和G*-tree,它们对路网空间按区域进行划分,然后采用树形结构进行组织。尽管现有的技术能对路网进行有效划分和组织,但是查询效率还有进一步提升的空间。例如,hub-labeling 方法处理大规模路网中的最短距离查询问题时需要耗费大量的时间和内存资源,方可实现对标签信息的处理。通过调研发现,已有的最短距离查询处理方法不能有效的满足用户在大规模路网中的查询操作。因此,本文研究了大规模路网空间中的最短距离查询问题,设计了新颖的索引结构LG-tree和对应的查询算法。考虑到空间文本对象的不断累计,基于空间关键字查询的应用不断增加,本文以LG-tree为基础,设计了路网中空间文本对象的索引结构TLG-tree,并设计了对应的空间文本查询算法。本文的主要工作如下:第一、为了实现在大规模路网中的最短距离查询,受图分割技术和标签技术的启发,以G-tree为基础结构,本文提出了高效的LG-tree索引结构。该索引的构建思路如下:使用图分割技术对大图进行有效的分割,确定所有的边界顶点,并为这些边界点划分层次,添加标签信息。通过边界点的标签信息,可以快速确定各子图之间的最短距离。为了防止边界顶点层级划分的过高,提出了 N-level层级划分方法。为了进一步减少距离查询时的计算量,LG-tree的每个叶子节点都配有一个DIF倒排文件。DIF存储了当前节点的所有子节点的边界点间的最短距离信息。第二、基于提出的LG-tree索引结构,本文提出了基于动态规划的最短距离查询算法。根据查询点和目标点的位置关系,合理的选择不同的查询策略。本文扩展了 LG-tree的标签信息,实现最短距离的查询。通过多组对比实验,说明了查询算法的有效性和高效率。第三、考虑到路网中的空间对象携带了越来越多的文本信息,空间文本对象应运而生,基于LG-tree结构,本文研究了路网中的空间关键字查询问题,设计了新的相似度函数和空间文本索引TLG-tree,并且基于TLG-tree,提出了 CM算法,查询路网中的前k个空间文本对象。实验结果表明,CM算法是有效的。
王维泽[5](2021)在《大规模轨迹数据相似性查询系统的研究与设计》文中进行了进一步梳理近年来,随着全球定位技术和无线通信网络的快速发展,轨迹数据更易于被采集与使用,为城市交通规划、出行规律挖掘、兴趣点推荐等应用提供重要价值。但是,由于轨迹数据具有数据规模大、异频采样性、数据质量差等特性,直接影响了轨迹数据的挖掘效果和计算效率。为此,大规模轨迹数据的分析与处理一直属于学术界和工业界关注的焦点。在大规模轨迹数据的分析与处理中,轨迹相似性查询一直属于关键操作之一,是实现移动行为规律挖掘、异常轨迹检测等应用的基础。然而,当轨迹数据的规模较大时,相似性查询的效率极低,如何实现高效的轨迹相似性查询属于近年来的研究热点。本文主要对大规模轨迹数据的相似性查询方法展开研究,设计并实现了相应的并行系统原型,具体工作如下:本文提出了一种基于多级索引结构的轨迹相似性查询算法。其中,多级索引结构是由网格索引和起止索引-特征点索引共同组成的,从而在轨迹相似性查询过程中,对轨迹数据进行粗粒度及细粒度两次筛选,有效提升查询效率。在构建索引过程中,第一步是对轨迹数据集进行网格划分,并对空间网格子集进行编号生成网格索引,以实现对轨迹数据进行粗粒度筛选的目的。第二步,在每个空间网格子集中,分别选取轨迹的起点和终点进行聚类分区操作,以此建立起止索引;随后利用本文提出的特征轨迹生成器计算出分区中每条轨迹对应的特征轨迹点,建立特征点索引;二者结合形成起止索引-特征点索引,以实现对轨迹数据细粒度筛选的目的。基于上述的多级索引结构,本文设计并实现了轨迹相似性查询系统。该系统是在领域上具代表性的开源系统——DITA上进行改进来实现的,提供了基于阈值的轨迹相似性查询和Top-K轨迹相似性查询功能。由于系统底层利用了Spark大数据处理平台,可在单机和分布式集群上运行。本文分别在单机环境及三台服务器构成的分布式环境下进行了大量实验验证。实验结果表明,本文提出的多级索引结构在轨迹数据集的筛选方面展现了良好的性能。与DITA系统对比,无论是单机环境还是分布式环境,百万级轨迹数据相似性查询性能均提升了20%左右。
钟棉卿[6](2020)在《基于移动激光雷达数据的路面状况检测方法研究》文中进行了进一步梳理随着我国公路建设的迅速发展,对公路养护和旧路改扩建的需求迅速扩大。路面是公路养护及改扩建工作的核心内容,快速、有效掌握路面几何参数和公路路面技术状况及其变化趋势是路面养护决策、路面大中修养护及改扩建方案设计的前提和依据。路面几何参数及技术状况评价指标的获取长期依赖于种类繁多的特定传感器和现场测量,其检测结果易受多种因素的影响,且缺乏统一的数据基准。移动激光扫描(Mobile Laser Scanning,MLS)技术集成激光扫描仪、全球卫星导航系统、姿态测量系统、相机等多种传感器,能迅速采集高精度、高密度的公路三维实景点云数据,为路面几何及技术状况自动化检测提供了一种新的技术手段。本文针对MLS数据用于公路路面几何及技术状况自动化检测领域中的关键技术开展研究,构建了“MLS数据组织—路面特征提取—几何状况检测—技术状况检测”的技术框架。主要研究内容如下:1、针对MLS点云数据离散、无拓扑的问题,本文提出一种基于MLS点云的采集顺序而构建的顺序索引结构Tgrid,该方法可以实现为每个激光点分配一个2维规则索引号,将点云的顺序邻接关系转换为一张Tgrid结点图,相比传统方法,本文方法不仅很好地实现了海量点云数据的快速查询,解决MLS点云顺序存储与索引存储间的不一致问题,并能将图像处理方法成功引入到MLS点云数据处理。2、针对某些MLS场景数据文件不包含轨迹数据、无扫描角信息和轨迹文件损坏的情况,本文提出了一种根据点云空间分布特点重建扫描仪地面轨迹的方法。实验结果表明,重建的轨迹数据与真实轨迹数据的平均误差在1-2个激光点之内。本研究为基于MLS点云的扫描轨迹重建提供了理论基础。3、基于本文创建的Tgrid结构,提出并研究了利用MLS点云数据提取路面特征信息的系统化的处理方法,包括下列主要工作:(1)提出了一种基于点云标记控制的区域生长方法用于路面点云的检测,设计了基于Tgrid结构的联通区域分析和Freeman链码边界检测算法快速提取路面点云轮廓以及道路边界;(2)设计了一种基于点云强度背景反差自适应阈值分割方法筛选路面标线点云,在此基础上,引入数学形态学方法识别车道线,最终提取了道路中线和轮迹线等路面几何及技术状况关键信息;(3)通过将提取的道路边界与路面点云在Tgrid结点图上的叠置分析,实现了路面内部点云孔洞的快速、有效检测。实验结果表明,路面点云检测完整率达99.67%,与人工标定的道路边界和车道线相比,检测边界的精准率和召回率分别为96.78%和92.91%,车道线检测结果的正确检测率达98.80%,验证了本文方法的有效性和准确性。4、开展了基于提出的道路中线和MLS密集路面点云获取公路几何状况的研究。设计了利用高精度三维点云检测路面线路曲率、纵坡和横坡等几何状况主要参数的方法;根据曲率和纵坡的变化检测公路的几何线形,并基于连续性、均衡性和坡长三个技术指标评估了既有几何线形的安全性。在一段多弯道盘山公路场景测试结果表明,基于本文方法判定的危险路段与实际状况基本相符,与抽样实测数据比较,纵断面高程误差0.031m,横坡率误差0.33%。5、提出了基于MLS数据的路面损坏、路面平整度和路面车辙等路面技术状况自动化检测的系列方法,构建了使用MLS点云自动化检测路面几何及技术状况的技术框架。(1)设计一种融合三维点云与高分辨率CCD(Charge Coupled Device)图像的路面损伤检测策略,提出了一种基于比例限制的路面破损背景反差自适应阈值分割方法,实现了路面裂缝和坑槽的自动化检测;(2)参考路面检测规范中对常规检测方法采用数据精度和采样率的要求,提出基于轮迹线点云纵断面高程检测路面平整度的方法;(3)研究实现基于轮迹线点云生成精细横断面的方法用来检测路面车辙深度的方法。平整度的检测结果表明,基于密集点云断面高程计算的平整度标准差σ和国际平整度指数(IRI)结果高度相关,可通过在测试路段上开展相关实验来获取的二者之间的转换关系,将σ值转换为IRI值,从而简化IRI的计算复杂度。使用精密水准测量方法,对局部路面车辙深度的最大值进行了抽样检验,基于MLS点云检测的车辙深度误差不大于0.010m。
杨静静[7](2020)在《海量遥感影像数据渐进式分段检索与显示策略研究》文中提出目前卫星遥感技术发展日益迅速,我国对地观测遥感卫星密集发射,采集的卫星遥感影像呈幂指数爆炸式地向地面传送,仅高分系列卫星遥感影像数据已达到数百万条甚至上千万条。面对如此巨量遥感影像数据,如何高效准确地检索到满足用户需求的数据并对其进行可视化处理,成为目前亟待解决的问题。针对以上问题,本文在综合目前主流检索与显示技术的基础上,提出了一种遥感影像数据渐进式分段检索与显示策略,解决巨量遥感影像数据检索效率低、大区域大数据量遥感影像数据显示效率低及操作便捷性低的问题。本文主要工作如下:(1)提出了基于海量高分遥感影像元数据分段存储的渐进式分段检索策略。针对基于传统遥感影像数据存储组织方式对数百万条甚至上千万条遥感影像数据检索,存在检索效率低下问题,及高分系列卫星遥感影像的特有特点、应用领域及检索获取数据的实时性、多样性、数据管理便捷性等方面的需求,对遥感影像元数据以影像时间为分区字段按月进行一级范围分区,以传感器字段按类型进行二级单值分区,进行数据分段存储。根据数据分段字段渐进式缩小数据检索范围,实现数据渐进式分段高效检索。通过实验验证,在单时间范围、单传感器条件下,本策略较基于传统遥感影像数据存储组织方式对遥感影像数据检索的检索效率提高4.5倍左右,充分证明本策略的有效性。(2)提出了面向海量高分遥感影像数据快视图的渐进式分段显示策略。基于渐进式分段检索策略与单次全覆盖检索方法、分页技术的相结合,提高单次全覆盖检索效率,减少目标区域全覆盖数据冗余,提高单时相全覆盖数据可视化灵活性。高效获取满足大区域范围目标区域检索条件的高分辨率窄幅宽的大数据量遥感影像数据,对目标区域单时相全覆盖遥感影像按页分段自动进行可视化处理。通过实验验证,虽然翻页时会产生一定的额外消耗,但目标区域全覆盖贴图完成总耗时平均减少11倍左右,整体上有一定的效果提升。解决传统目标区域全覆盖遥感影像数据冗余、遥感影像数据显示界面长时间加载等待、人工逐一可视化操作效率低下、影像可视化过程便捷性低的问题。(3)检索与显示策略的实际应用。将本文研究成果应用在国家民用航天预研项目“通导遥感综合应用与多源数据融合技术”子课题—遥感应用数据在线定制与分析分系统上。以高分系列(GF-1、GF-2、GF-4)卫星遥感影像元数据为例,详细介绍本文研究成果在系统中的具体应用流程,并展示北京市GF1遥感影像数据在系统上的应用效果。根据实际系统中的应用效果,验证所研究成果的有效性。实验和应用结果表明,本文提出的海量遥感影像数据渐进式分段检索与显示策略提高了数据检索效率及影像数据可视化处理的灵活性。对我国海量遥感影像数据的存储管理及广泛应用具有社会价值和实用意义。
区晨希[8](2020)在《基于MongoDB的海量机载激光点云实时在线组织与管理的研究》文中进行了进一步梳理随着近年来无人机(Unmanned Aerial Vehicle,UAV)技术和激光雷达技术(Light Detection and Ranging,Li DAR)的快速发展,机载激光扫描技术也日趋成熟,在地形测绘、海岸带监测、自然灾害评估、道路施工勘测等领域得到广泛应用。机载激光点云数据的获取成本也随之越来越低,点云规模的海量化已经成为常态。然而,对于海量机载激光点云实时在线组织与管理的研究还处于起步阶段。现有对激光点云数据的研究要么侧重于静态点云管理,要么侧重于点云建模,对真实采集场景下范围动态变化的海量点云支持不足,且无法满足扫描区域在线监测、飞机路径规划等应用需要实时在线提取点云数据的需求。针对以上问题,本文以激光点云数据索引设计、存储系统选择和存取优化为切入点,重点探索海量机载激光点云实时存取技术,并设计海量机载激光点云实时在线管理系统。主要研究内容和创新点如下:(1)提出适用于海量机载激光点云实时采集场景的内外存双层索引技术。内存层次使用扩张式网格划分空间,并利用Morton编码把三维的网格编号转换成一维Morton码。外存层次使用B树或者哈希索引,对内存层次的一维Morton码建立索引,形成内外存双层索引,提升内外存数据动态调度的效率。(2)选择非关系型数据库Mongo DB作为海量机载激光点云的存储系统,提出无序无验证批量插入、内外存双层索引、不定长面向对象的BSON文档结构、感兴趣区域ROI(Region of Interest)部分更新和ROI预读等优化方法提升海量机载激光点云的存取效率。(3)规划Mongo DB分布式集群架构,搭建高可用、易扩展的Mongo DB分布式集群。结合海量机载激光点云的特点,选择内存层次生成的一维Morton码作为片键,使用哈希分片策略对集群集合进行分片,并对集群进行容灾和负载平衡测试。(4)设计海量机载激光点云实时在线管理系统,分析数据存储链路和数据提取链路,设计系统软件架构,通过数据存储、数据提取、激光点云坐标计算、UDP传输、索引生成和实时监测等模块的分析、实现和优化,完成系统的搭建。其中实时监测模块使用Qt与Open GL开发,用于实时监测感兴趣区域ROI内的点云采集情况。基于上述的研究内容和创新点,本文进行了多组对比实验,验证了本文提出的索引结构、存储系统和存取优化的有效性,并测试了海量机载激光点云在线管理系统的性能。结果显示,本文设计的系统具备实时在线组织与管理海量机载激光点云、实时在线监测区域扫描情况的能力。
雷毅[9](2020)在《大规模时空数据组织的高效网格编码方法与应用研究》文中指出传感器设备和信息技术的不断发展与成熟,使得时空数据资源极大丰富。面对海量、多源异构、多尺度和动态的时空数据,传统时空数据组织方法难以满足目前应用需求,基于网格模型的时空数据组织方法具有索引效率高、适合并行操作等特点,为大规模时空数据的高效组织提供了解决方案。然而,现有用于时空数据组织的网格编码方法,对多尺度数据的适用性较差,且其支持的大规模数据索引与查询能力不足。针对上述问题,本文主要对高效的空间/时空网格编码方法及其应用进行研究,以遥感影像和时空轨迹数据为例,实现了大规模时空数据的高效组织与索引,以支持高效的时空数据分析与应用。论文的主要研究内容与成果如下:1.针对现有空间填充曲线在尺度空间的聚簇性差等问题,提出一种跨层级空间填充曲线(Cross-level Space-filling Curve,CSC);该曲线具有空间+尺度的高聚簇性,其编码具有递归性和高计算效率等特点。实验表明:与现有多尺度空间填充曲线相比,CSC类曲线的聚簇性提升20%以上,且随着网格总层级增加,聚簇性提高比例不断上升,但有收敛趋势;CSC类编码的子单元查询效率平均提升17倍以上,且不易受查询编码层级变化的影响。2.以经纬度空间的四叉树网格剖分和二维CSC曲线为基础,提出一种高效的地球表面空间网格编码与计算方法,服务于遥感影像数据组织;以时空区域的八叉树网格剖分和三维CSC曲线为基础,提出一种高效的时空网格编码与计算方法,服务于时空轨迹数据组织。空间/时空网格编码与计算主要由计算机位运算来完成,可使其编码计算和数据查询效率高;且因采用了CSC类曲线,空间/时空网格编码方法对多尺度数据的适用性较好。3.提出改进的多边形网格化方法,以实现影像和查询区域与网格编码的有效关联;与现有方法的对比实验表明,其在限定网格数量下多边形网格化填充精度提升较大。设计并实现遥感影像数据的空间索引与查询方法,用于研究时空分离的数据组织方法。实验表明:通过关联网格数量的设置,可使索引效率、查询效率和准确率达到较好的平衡;在与Oracle Spatial和Geohash的对比实验中,本文方法对海量影像的查询效率平均提升10和2.5倍以上,其查询准确率的平均值可达94.6%,且未出现漏查。4.提出改进的时空轨迹线和查询区域的网格化方法,以实现时空数据与网格编码的有效关联。设计并实现轨迹点/线的时空索引与查询方法,用于研究时空一体化的数据组织方法。与基于时空Geohash的数据组织方法进行对比实验,结果表明:本文方法对海量轨迹点的查询效率平均提升约16%,对轨迹线的查询效率平均提升约2.8倍。
韩佳文[10](2020)在《基于Phoenix的时空轨迹数据存储与查询技术研究》文中指出当前随着通信网络技术的飞速发展以及便携式移动设备的广泛普及,海量用户数据随之产生,时空轨迹数据属于其中具有广泛应用价值的一类数据。如何有效地组织利用该类数据,是当前学术界与工业界共同关注的热点问题。当前成熟的基于传统数据库的解决方案扩展能力有限,在面对海量数据存储处理的场景下难以很好地满足需求,并不适合对大规模数据集进行处理。但近年来工业界出现以Hadoop为代表的分布式计算平台,为解决该问题提供了新思路。Hadoop生态圈随着近年来的发展,已经拥有了众多组件。其中非关系型数据库HBase与Phoenix等组件相互补充使用,不仅满足了对海量数据的处理需求,还提供了对SQL语言的支持,但它们并未对时空轨迹数据的组织管理提供直接支持。基于上述问题,结合分布式平台的特点,本文研究了时空轨迹数据的存储与查询相关内容,设计并实现了基于Phoenix平台的轨迹数据存储与查询原型系统,本文称之为Traj Phoenix。本原型系统支持实时数据插入,同时也支持离线数据批量导入,并在系统内部实现了优化的时空范围查询、时间段KNN查询、最近轨迹查询等功能。原型系统支持SQL语句,对用户较为友好。本文所做主要工作内容如下:(1)本文研究了当前已有的基于分布式平台的时空轨迹数据管理方案,并根据数据特点结合Phoenix平台特性设计了数据存储模型并选择了适当的索引方式,为后续查询提供了底层支持。(2)本文使用了ST-Code编码作为时空索引结构,阐述并分析了ST-Code的编码特点以及在查询时出现的问题,提出了划分-合并策略与数据分布统计两种方式来优化ST-Code的时空查询效率。(3)根据提出的查询优化策略,在原型系统内部实现了时空范围查询、时间段KNN查询与最近轨迹查询,并结合数据统计结果与Phoenix UDF机制提出了具体的查询优化算法。(4)在实现原型系统时,考虑到高可用性与用户友好性等,系统实现了可扩展的数据导入工具、序列化工具等系统支撑功能。在本文最后,我们选用了真实的时空轨迹数据集,在实验环境下对原型系统进行了部署实验,测试了系统数据导入、查询等方面的性能表现,并与同类方案进行了对比分析。实验结果表明,本文提出的优化后的基于ST-Code的查询方式,在一定程度上要优于同类方案。
二、常用空间索引技术的分析(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、常用空间索引技术的分析(论文提纲范文)
(1)基于多层Voronoi图索引的城市地质环境空间数据高效查询技术研究(论文提纲范文)
作者简历 |
摘要 |
Abstract |
第一章 绪论 |
1.1 选题背景 |
1.1.1 选题来源 |
1.1.2 选题意义 |
1.1.3 选题目的 |
1.2 拟解决的关键科学问题 |
1.3 主要研究内容和技术路线 |
1.4 主要创新点 |
1.5 论文的组织结构 |
第二章 国内外研究现状 |
2.1 城市地质环境空间数据的特点与管理技术 |
2.2 空间索引技术 |
2.3 空间查询技术 |
2.4 分布式空间数据库 |
2.5 存在问题分析 |
第三章 支持高效空间近邻查询的多层Voronoi图索引 |
3.1 问题概述 |
3.2 相关研究 |
3.2.1 kd-tree索引 |
3.2.2 R-tree索引 |
3.2.3 VoR-tree索引 |
3.2.4 Best-First Search算法 |
3.2.5 VR-kNN算法 |
3.3 提出的方法 |
3.3.1 Voronoi图与Delaunay三角网 |
3.3.2 MVD索引及其构建方法 |
3.3.3 基于MVD的最近邻查询方法 |
3.3.4 MVD的动态更新维护方法 |
3.3.5 算法流程 |
3.4 实验分析 |
3.4.1 实验环境与相关设定 |
3.4.2 通用实验结果分析 |
3.4.3 项目专题实验结果分析 |
3.5 本章小结 |
第四章 基于圆锥曲线判别法的空间反向近邻查询方法 |
4.1 问题概述 |
4.2 相关研究 |
4.2.1 Six-region算法 |
4.2.2 TPL算法 |
4.2.3 SLICE算法 |
4.2.4 VR-RkNN算法 |
4.3 提出的方法 |
4.3.1 圆锥曲线判别法 |
4.3.2 基于Voronoi图的候选集生成方法 |
4.3.3 算法流程 |
4.3.4 单色RkNN查询的实现 |
4.4 实验分析 |
4.4.1 实验环境与相关设定 |
4.4.2 通用实验结果分析 |
4.4.3 项目专题实验结果分析 |
4.5 本章小结 |
第五章 基于边界点识别的空间区域查询方法 |
5.1 问题概述 |
5.2 相关研究 |
5.2.1 Multi-step算法 |
5.2.2 Oracle Spatial PIP算法 |
5.3 提出的方法 |
5.3.1 空间数据点的分类 |
5.3.2 对内边界点的检索 |
5.3.3 对绝对内部点的检索 |
5.3.4 算法流程 |
5.4 实验分析 |
5.4.1 实验环境与相关设定 |
5.4.2 通用实验结果分析 |
5.4.3 项目专题实验结果分析 |
5.5 本章小结 |
第六章 城市地质环境空间数据引擎的建设与应用实践 |
6.1 原始数据分析与预处理 |
6.2 空间数据服务引擎总体架构 |
6.3 系统模型与实现 |
6.3.1 数据服务接口层 |
6.3.2 数据模型及业务逻辑层 |
6.3.3 数据持久化层 |
6.4 系统应用与实践 |
6.5 本章小结 |
第七章 结论与展望 |
7.1 主要结论 |
7.2 研究展望 |
致谢 |
参考文献 |
(2)支持复合条件查询的位置信息检索系统的设计与实现(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 研究背景 |
1.2 研究内容 |
1.3 论文结构 |
第二章 相关研究与技术 |
2.1 地理信息检索系统的研究发展状况 |
2.1.1 位置信息检索方向相关行业应用现状 |
2.1.2 GIS查询的国内外相关研究 |
2.2 中间件及软件框架技术 |
2.2.1 Kafka消息中间件 |
2.2.2 SpringBoot |
2.2.3 React |
2.3 地理空间数据库技术 |
2.3.1 PostGIS |
2.3.2 PostgreSQL |
2.4 本章小结 |
第三章 位置信息检索系统需求分析及概要设计 |
3.1 需求概述 |
3.2 功能性需求分析 |
3.2.1 数据管理功能 |
3.2.2 复合条件查询功能 |
3.2.3 用户及权限管理功能 |
3.2.4 地图相关功能 |
3.3 非功能性需求分析 |
3.3.1 可扩展性 |
3.3.2 低响应时间 |
3.3.3 性能检测 |
3.4 系统概要设计 |
3.4.1 复合条件查询规则设计 |
3.4.2 系统总体设计 |
3.5 本章小结 |
第四章 位置信息检索系统详细设计与实现 |
4.1 可视化层的组件化设计与实现 |
4.1.1 用户及权限模块组件实现 |
4.1.2 复合条件查询模块组件实现 |
4.1.3 其他地图相关模块组件实现 |
4.2 数据管理模块的设计与实现 |
4.2.1 整体设计 |
4.2.2 数据爬取中算法设计与实现 |
4.2.3 数据调度及中间件实现 |
4.3 复合条件查询模块的实现与优化 |
4.3.1 数据库设计 |
4.3.2 模块整体设计与实现 |
4.3.3 空间关系与数量关系查询的模式选择 |
4.4 其他模块的设计与实现 |
4.4.1 其他功能模块的设计与实现 |
第五章 系统测试 |
5.1 测试目标及环境 |
5.1.1 测试目标 |
5.1.2 测试环境与测试准备 |
5.2 系统功能测试 |
5.2.1 前端的组件化实现展示 |
5.2.2 用户及权限功能测试 |
5.2.3 复杂条件查询功能测试 |
5.2.4 地图相关模块测试 |
5.2.5 数据管理模块测试 |
5.3 非功能性测试 |
5.3.1 性能检测与访问统计 |
5.3.2 非功能性模块测试 |
5.3.3 性能测试 |
5.4 本章小结 |
第六章 总结和展望 |
6.1 总结 |
6.2 展望 |
参考文献 |
致谢 |
(3)基于HBase数据库的时空大数据存储与索引研究(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 研究背景与意义 |
1.1.1 研究背景与意义 |
1.1.2 研究项目依据 |
1.2 国内外研究现状 |
1.2.1 时空数据存储模式研究现状 |
1.2.2 时空大数据的索引研究现状 |
1.3 研究内容及技术路线 |
1.3.1 研究目标 |
1.3.2 研究内容 |
1.4 论文组织结构 |
1.5 本章小结 |
第二章 相关理论与技术介绍 |
2.1 相关技术概述 |
2.1.1 Hadoop生态圈 |
2.1.2 非关系性数据库 |
2.1.3 CDH环境 |
2.2 时空数据存储与技术概述 |
2.2.1 时空数据的存储模型概述 |
2.2.2 时空数据的存储技术概述 |
2.2.3 并行存储技术框架概述 |
2.3 索引概述 |
2.3.1 时空索引概述 |
2.3.2 索引方式及原理 |
2.4 本章小结 |
第三章 基于Hbase的时空大数据的存储 |
3.1 数据转换 |
3.2 地理时空数据数据存储模型设计 |
3.2.1 Rowkey的设计 |
3.2.2 列族的设计 |
3.2.3 预分区的设计 |
3.3 地理时空数据存储技术设计 |
3.4 本章小结 |
第四章 基于Hbase的索引管理 |
4.1 基于Hbase索引表原理与设计 |
4.1.1 时空索引设计原理 |
4.1.2 基于属性查询的索引表的设计 |
4.1.3 基于空间范围查询的索引表设计 |
4.2 时空查询方法 |
4.2.1 基于属性的查询方法 |
4.2.2 基于时空范围的查询算法 |
4.3 本章小结 |
第五章 系统原型设计 |
5.1 系统环境要求 |
5.1.1 实验环境 |
5.1.2 实验数据 |
5.1.3 实验环境运行环境 |
5.2 实验结果及分析 |
5.2.1 基于不同预分区的Spark技术框架的存储效率对比分析 |
5.2.2 有无索引表的查询效率比较 |
5.2.3 基于时空范围查询的效率比较 |
5.3 本章小结 |
第六章 结论及展望 |
6.1 结论 |
6.2 未来工作展望 |
致谢 |
参考文献 |
附录 A |
一、攻读硕士学位期间发表的论文 |
二、攻读硕士学位期间所获荣誉 |
三、攻读硕士学位期间参与的科研及工程项目 |
(4)路网中基于关键节点的最短距离查询和空间关键字查询(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 研究背景与意义 |
1.2 国内外研究现状 |
1.2.1 最短距离查询 |
1.2.2 空间关键字查询 |
1.3 本文的主要研究内容 |
1.4 论文的组织结构 |
第二章 相关技术研究 |
2.1 基于索引的最短路径查询 |
2.1.1 G-tree |
2.1.2 G~*-tree |
2.2 基于标记方法的最短路径查询 |
2.2.1 2-hop labeling |
2.2.2 hub-based labeling |
2.3 空间文本索引 |
2.4 本章小结 |
第三章 基于LG-tree混合索引的查询算法 |
3.1 问题定义 |
3.2 LG-tree索引 |
3.2.1 LG-tree结构 |
3.2.2 边界点标签方法 |
3.3 标签计算和构建算法 |
3.3.1 标签计算 |
3.3.2 顶点标签构建算法 |
3.4 最短路径查询算法 |
3.4.1 N-level |
3.4.2 Stage-based查询算法 |
3.4.3 最短路径 |
3.4.4 有向图 |
3.5 实验 |
3.5.1 实验环境 |
3.5.2 效率分析 |
3.6 本章小结 |
第四章 路网中的空间关键字查询 |
4.1 问题定义 |
4.2 索引结构 |
4.3 查询算法 |
4.4 实验 |
4.4.1 实验环境 |
4.4.2 实验结果分析 |
4.5 本章小结 |
第五章 总结与展望 |
5.1 总结 |
5.2 展望 |
参考文献 |
攻读硕士期间发表的论文 |
致谢 |
(5)大规模轨迹数据相似性查询系统的研究与设计(论文提纲范文)
摘要 |
Abstract |
1 绪论 |
1.1 研究背景及意义 |
1.2 国内外研究现状 |
1.2.1 轨迹数据查询技术 |
1.2.2 轨迹相似性度量技术 |
1.2.3 轨迹数据处理系统 |
1.3 论文主要工作 |
1.4 论文组织架构 |
2 背景知识和相关技术分析 |
2.1 Hadoop大数据处理技术 |
2.2 Spark大数据处理技术 |
2.3 轨迹数据相关技术 |
2.3.1 轨迹数据定义与来源 |
2.3.2 轨迹数据预处理技术 |
2.3.3 轨迹数据查询与索引技术 |
2.4 轨迹相似性查询技术 |
2.5 本章小结 |
3 轨迹相似性查询系统设计 |
3.1 系统整体架构 |
3.2 轨迹相似性查询方案设计 |
3.2.1 特征轨迹表示法 |
3.2.2 轨迹相似性查询方案 |
3.3 基于网格索引的筛选方法 |
3.3.1 网格索引技术 |
3.3.2 基于网格索引的筛选方法 |
3.4 基于起止索引-特征点索引的筛选方法 |
3.4.1 起止索引设计 |
3.4.2 特征点索引设计 |
3.4.3 基于起止索引-特征点索引的筛选方法 |
3.5 多级索引结构的相似性查询算法 |
3.6 本章小结 |
4 系统实现与性能测试 |
4.1 系统实现与实验环境 |
4.2 实验验证与性能测试 |
4.2.1 轨迹相似性查询实验 |
4.2.2 网格索引实验 |
4.2.3 相似性度量函数性能测试 |
4.2.4 特征轨迹点性能实验 |
4.2.5 分布式集群性能测试 |
4.3 本章小结 |
5 总结与展望 |
5.1 总结 |
5.2 展望 |
参考文献 |
攻读硕士学位期间发表学术论文情况 |
致谢 |
(6)基于移动激光雷达数据的路面状况检测方法研究(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 研究背景及意义 |
1.2 国内外研究现状 |
1.2.1 基于MLS点云的路面特征提取研究现状 |
1.2.2 基于MLS点云的路面几何状况检测研究现状 |
1.2.3 基于MLS数据的路面技术状况检测研究现状 |
1.3 研究内容与技术路线 |
1.3.1 研究内容 |
1.3.2 技术路线 |
1.4 论文结构 |
第二章 MLS点云数据特征及索引方法 |
2.1 MLS系统构成 |
2.1.1 MLS系统工作原理 |
2.1.2 MLS系统主要构成 |
2.1.3 MLS系统关键性能指标 |
2.2 MLS点云数据特征 |
2.2.1 单点信息特征 |
2.2.2 邻域特征 |
2.3 点云组织与索引方法 |
2.3.1 Kd-Tree方法 |
2.3.2 Octree方法 |
2.3.3 点云栅格化方法 |
第三章 MLS顺序索引构建 |
3.1 Tgrid顺序索引构建 |
3.2 Tgrid改进的点云数据预处理 |
3.2.1 Tgrid改进的变邻域搜索 |
3.2.2 Tgrid改进的点云去噪 |
3.2.3 Tgrid改进的点云滤波 |
3.3 利用MLS点云重建扫描仪地面轨迹 |
3.4 实验与分析 |
3.4.1 利用MLS点云重建扫描仪地面轨迹 |
3.4.2 MLS点云顺序索引创建 |
3.4.3 Tgrid改进的路面点滤波 |
第四章 基于MLS点云的路面特征提取 |
4.1 路面与道路边界提取 |
4.1.1 路面点云提取 |
4.1.2 道路边界提取 |
4.2 车道线提取 |
4.2.1 提取候选标线 |
4.2.2 车道线滤波 |
4.3 车道分割 |
4.4 道路中线及轮迹线提取 |
4.4.1 道路中线提取 |
4.4.2 轮迹线提取 |
4.5 路面点云孔洞检测 |
4.6 实验与分析 |
4.6.1 路面与道路边界提取 |
4.6.2 车道线提取 |
4.6.3 车道分割 |
4.6.4 道路中线及轮迹线提取 |
第五章 基于MLS点云数据的路面几何状况检测 |
5.1 横断面提取 |
5.2 横坡、纵坡与曲率检测 |
5.2.1 横坡检测 |
5.2.2 纵坡检测 |
5.2.3 曲率检测 |
5.3 几何线形提取与安全性评价 |
5.3.1 平面线形提取 |
5.3.2 纵断面线形提取 |
5.3.3 几何线形安全性评价 |
5.4 实验与分析 |
5.4.1 横坡、纵断面高程检测 |
5.4.2 线形安全分析 |
第六章 基于MLS数据的路面技术状况检测 |
6.1 路面破损检测 |
6.1.1 数据要求 |
6.1.2 基于MLS点云检测路面裂缝与坑槽 |
6.1.3 融合MLS点云与路面影像的路面损坏检测策略 |
6.2 路面平整度检测 |
6.2.1 国际平整度指标 |
6.2.2 路面平整度标准差 |
6.3 路面车辙深度检测 |
6.4 实验与分析 |
6.4.1 路面裂缝与坑槽检测 |
6.4.2 路面平整度检测 |
6.4.3 路面车辙深度检测 |
第七章 结论与展望 |
7.1 结论 |
7.2 本文创新点 |
7.3 展望 |
参考文献 |
攻读学位期间取得的研究成果 |
致谢 |
(7)海量遥感影像数据渐进式分段检索与显示策略研究(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 课题研究背景及意义 |
1.1.1 研究背景 |
1.1.2 研究意义 |
1.2 国内外研究现状 |
1.2.1 遥感影像数据存储管理策略研究现状 |
1.2.2 遥感影像数据检索策略研究现状 |
1.2.3 遥感影像数据显示策略研究现状 |
1.3 研究目标和内容 |
1.3.1 研究目标 |
1.3.2 研究内容 |
1.4 论文组织结构 |
1.5 本章小结 |
第2章 理论基础 |
2.1 遥感影像数据组织模型 |
2.1.1 高分卫星及其遥感影像数据特征 |
2.1.2 影像金字塔 |
2.1.3 高分遥感影像切分组织模型 |
2.2 遥感影像数据存储管理 |
2.2.1 关系型数据库 |
2.2.2 分布式文件系统 |
2.2.3 遥感影像元数据 |
2.2.4 遥感影像元数据的数据库设计 |
2.2.5 遥感影像数据存储管理 |
2.3 表分区 |
2.3.1 表分区定义 |
2.3.2 MySQL中表分区 |
2.3.3 表分区常用操作 |
2.4 本章小结 |
第3章 面向遥感元数据的分段存储管理与检索设计 |
3.1 问题的提出 |
3.2 遥感影像元数据存储管理设计 |
3.2.1 传统遥感影像元数据存储管理方式 |
3.2.2 改进的遥感影像元数据存储管理设计思想 |
3.2.3 遥感影像元数据分段存储管理策略构建过程 |
3.3 遥感影像数据检索策略设计 |
3.3.1 传统遥感影像数据检索方式 |
3.3.2 改进的遥感影像数据检索策略设计思想 |
3.3.3 渐进式分段检索策略构建过程 |
3.4 实验验证与分析 |
3.4.1 实验方案 |
3.4.2 实验结果 |
3.4.3 不同检索策略的对比与分析 |
3.5 本章小结 |
第4章 遥感影像数据渐进式分段显示策略 |
4.1 问题的提出 |
4.2 遥感影像数据显示策略设计 |
4.2.1 传统遥感影像数据显示策略 |
4.2.2 改进的遥感影像数据显示策略设计思想 |
4.2.3 渐进式分段显示策略构建过程 |
4.3 实验验证与分析 |
4.3.1 实验方案 |
4.3.2 实验结果 |
4.3.3 不同显示策略的对比与分析 |
4.4 本章小结 |
第5章 检索与显示策略在系统中的应用 |
5.1 系统简介 |
5.2 检索与显示策略在系统中的应用 |
5.3 本章小结 |
第6章 总结与展望 |
6.1 工作总结 |
6.2 展望 |
参考文献 |
致谢 |
攻读学位期间发表的学术论文目录 |
(8)基于MongoDB的海量机载激光点云实时在线组织与管理的研究(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 课题研究背景与意义 |
1.2 国内外研究现状 |
1.2.1 空间数据索引技术研究现状 |
1.2.2 点云数据存储与管理研究现状 |
1.3 研究内容 |
1.4 论文的组织结构 |
1.5 课题来源 |
第二章 机载激光点云及其索引技术的研究 |
2.1 机载激光点云 |
2.1.1 机载激光扫描系统 |
2.1.2 激光雷达和惯性测量单元数据同步预处理 |
2.1.3 机载激光点云数据生成 |
2.2 常用点云数据索引技术 |
2.2.1 基于网格划分的索引技术 |
2.2.2 基于八叉树的索引技术 |
2.2.3 基于K-D树的索引技术 |
2.2.4 几种索引技术的评价 |
2.3 内外存双层索引 |
2.3.1 内存层次 |
2.3.2 外存层次 |
2.4 内外存动态调度 |
2.5 内外存双层索引有效性验证 |
2.6 本章小结 |
第三章 基于MongoDB单机的海量点云管理 |
3.1 海量机载激光点云管理的数据库选型 |
3.1.1 关系型数据库 |
3.1.2 非关系型数据库 |
3.1.3 两种类型数据库的比较 |
3.2 MongoDB及其性能分析 |
3.3 海量机载激光点云存取性能优化及其效果分析 |
3.3.1 无序无验证的批量插入 |
3.3.2 内外存双层索引 |
3.3.3 不定长面向对象的BSON文档结构 |
3.3.4 动态读取优化 |
3.4 本章小结 |
第四章 基于MongoDB分布式集群的海量点云管理 |
4.1 应用于海量空间数据的分布式技术 |
4.2 MongoDB副本集架构 |
4.3 MongoDB分片集群架构 |
4.3.1 分片 |
4.3.2 数据块分裂与迁移 |
4.3.3 片键和分片策略 |
4.4 MongoDB分布式集群虚拟化 |
4.5 MongoDB分布式集群搭建 |
4.6 片键和分片策略选择 |
4.7 MongoDB分布式集群测试 |
4.7.1 容灾测试 |
4.7.2 负载平衡测试 |
4.8 本章小结 |
第五章 海量机载激光点云实时在线管理系统的设计与实现 |
5.1 系统框架 |
5.2 系统数据传输链路和模块设计 |
5.2.1 数据传输链路分析 |
5.2.2 系统软件架构和模块设计 |
5.3 系统运行与分析 |
5.3.1 系统性能分析 |
5.3.2 实时监测模块分析 |
5.4 本章小结 |
总结与展望 |
参考文献 |
攻读硕士学位期间取得的研究成果 |
致谢 |
附件 |
(9)大规模时空数据组织的高效网格编码方法与应用研究(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 研究背景与意义 |
1.2 国内外研究现状 |
1.2.1 网格剖分与编码方法 |
1.2.2 遥感影像数据组织 |
1.2.3 时空轨迹数据组织 |
1.2.4 问题分析 |
1.3 论文主要研究内容与组织结构 |
1.3.1 论文研究内容 |
1.3.2 论文组织结构 |
第二章 空间与时空网格编码方法 |
2.1 多尺度空间填充曲线 |
2.1.1 现有多尺度空间填充曲线方法 |
2.1.2 跨层级空间填充曲线方法 |
2.2 基于二维CSC的空间网格编码方法 |
2.2.1 编码的空间网格基础 |
2.2.2 空间网格编码方法 |
2.2.3 编码计算方法 |
2.3 基于三维CSC的时空网格编码方法 |
2.3.1 编码的时空网格基础 |
2.3.2 时空网格编码方法 |
2.3.3 编码计算方法 |
2.4 实验与分析 |
2.4.1 实验数据及环境 |
2.4.2 空间-编码方法 |
2.4.3 编码-空间方法 |
2.4.4 编码查询效率对比 |
2.5 本章小结 |
第三章 遥感影像数据的空间索引与查询 |
3.1 多边形网格化方法 |
3.1.1 多边形的多尺度网格化模型 |
3.1.2 多边形的多尺度网格化算法 |
3.1.3 与现有方法的对比与分析 |
3.2 影像的空间索引与查询 |
3.2.1 影像数据预处理 |
3.2.2 空间索引建立与维护 |
3.2.3 影像数据空间查询 |
3.3 实验与分析 |
3.3.1 实验数据及环境 |
3.3.2 多边形网格化填充精度对比 |
3.3.3 影像关联网格数量测试 |
3.3.4 海量影像数据的空间查询 |
3.4 本章小结 |
第四章 时空轨迹数据的时空索引与查询 |
4.1 时空数据的网格化方法 |
4.1.1 时空轨迹线的网格化 |
4.1.2 时空查询区域的网格化 |
4.2 轨迹的时空索引与查询 |
4.2.1 轨迹点的时空索引与查询 |
4.2.2 轨迹线的时空索引与查询 |
4.3 实验与分析 |
4.3.1 实验数据及环境 |
4.3.2 海量轨迹点的时空查询 |
4.3.3 海量轨迹线的时空查询 |
4.4 本章小结 |
第五章 总结与展望 |
5.1 总结 |
5.2 展望 |
致谢 |
参考文献 |
作者简历 |
(10)基于Phoenix的时空轨迹数据存储与查询技术研究(论文提纲范文)
摘要 |
ABSTRACT |
缩略语对照表 |
第一章 绪论 |
1.1 研究背景和意义 |
1.2 国内外研究现状 |
1.2.1 Phoenix与 HBase的应用现状 |
1.2.2 轨迹索引技术研究现状 |
1.2.3 轨迹数据管理研究现状 |
1.3 主要研究内容 |
1.4 论文组织结构 |
第二章 相关技术概述 |
2.1 Hadoop相关技术概述 |
2.1.1 Map Reduce与 HDFS |
2.1.2 Phoenix与 HBase |
2.1.3 Phoenix特性 |
2.2 轨迹索引与查询相关知识概述 |
2.2.1 轨迹数据特点概要 |
2.2.2 填充曲线相关技术概述 |
2.2.3 轨迹查询分类与应用 |
2.3 本章小结 |
第三章 基于Phoenix的轨迹数据存储与查询系统设计 |
3.1 ST-Code查询策略优化 |
3.1.1 ST-Code在查询时的问题 |
3.1.2 ST-Code查询方案改进 |
3.2 系统架构设计 |
3.3 数据分布统计模块设计 |
3.4 轨迹查询模块设计 |
3.4.1 面向轨迹自身的查询 |
3.4.2 面向轨迹时空特性的查询 |
3.5 数据模型及表模式设计 |
3.5.1 轨迹数据模型设计 |
3.5.2 数据表结构设计 |
3.6 本章小结 |
第四章 基于Phoenix的轨迹数据存储与查询系统实现 |
4.1 整体架构 |
4.2 轨迹查询SQL解析模块 |
4.3 数据时空分布统计模块的实现细节 |
4.3.1 插入时实时构建统计模块 |
4.3.2 利用Mapreduce离线构建统计模块 |
4.3.3 统计模块的序列化与反序列化 |
4.4 轨迹数据导入模块的实现 |
4.4.1 按轨迹条目依次导入 |
4.4.2 利用Phoenix Bulk Load批量导入 |
4.5 面向轨迹时空特性查询的实现 |
4.5.1 时空范围查询 |
4.5.2 时间段KNN查询 |
4.5.3 最近轨迹查询 |
4.6 本章小结 |
第五章 实验与分析 |
5.1 实验环境准备 |
5.2 数据导入测试 |
5.3 轨迹自身查询测试 |
5.4 时空范围查询测试 |
5.5 时间段KNN查询测试 |
5.6 最近轨迹查询测试 |
5.7 本章小结 |
第六章 总结与展望 |
6.1 论文工作总结 |
6.2 未来工作展望 |
参考文献 |
致谢 |
作者简介 |
四、常用空间索引技术的分析(论文参考文献)
- [1]基于多层Voronoi图索引的城市地质环境空间数据高效查询技术研究[D]. 李旸. 中国地质大学, 2021(02)
- [2]支持复合条件查询的位置信息检索系统的设计与实现[D]. 李翔. 北京邮电大学, 2021(01)
- [3]基于HBase数据库的时空大数据存储与索引研究[D]. 蒋叶林. 昆明理工大学, 2021(01)
- [4]路网中基于关键节点的最短距离查询和空间关键字查询[D]. 关忠. 华中师范大学, 2021(02)
- [5]大规模轨迹数据相似性查询系统的研究与设计[D]. 王维泽. 大连理工大学, 2021(01)
- [6]基于移动激光雷达数据的路面状况检测方法研究[D]. 钟棉卿. 长安大学, 2020(06)
- [7]海量遥感影像数据渐进式分段检索与显示策略研究[D]. 杨静静. 河南大学, 2020(02)
- [8]基于MongoDB的海量机载激光点云实时在线组织与管理的研究[D]. 区晨希. 华南理工大学, 2020
- [9]大规模时空数据组织的高效网格编码方法与应用研究[D]. 雷毅. 战略支援部队信息工程大学, 2020(08)
- [10]基于Phoenix的时空轨迹数据存储与查询技术研究[D]. 韩佳文. 西安电子科技大学, 2020(05)