分布式实时海量图像数据管理系统设计

分布式实时海量图像数据管理系统设计

程建和[1]2004年在《分布式实时海量图像数据管理系统设计》文中研究表明在图像处理领域,随着图像信息量的不断膨胀,海量图像的处理有着广泛和迫切的应用需求。此外,突破单机运算能力的瓶颈,运用分布式原理构建分布式的海量图像处理系统,有很强的实际工程应用前景。本论文就是对这两种关键技术进行结合的研究。 在本文中,研究了分布式实时海量图像数据管理系统的规划和设计原理,并给出了海量卫星图像的管理、实时漫游、分布式运算和网络传输的方案。

李军[2]2015年在《面向云平台的海量图片存储系统设计与实现》文中进行了进一步梳理随着信息技术的高速发展,具有视频监控、超速抓拍、事故报警、车流量计算和数据存储等功能的公路信息管理系统日趋成熟。视频监控作为公路交通管理的重要组成部分,大量分布在高速公路各个角落。大量视频监控的图片数据,产生的海量高存储问题。因此,提出使用云平台进行海量高速图片进行存储。云平台可以按照功能划分为叁类,以数据存储为中心的云存储平台,以数据计算为中心的云平台和以数据、计算兼顾的云计算平台。本文使用以数据存储和管理为核心的云存储平台解决公路海量图片数据的存储问题。本文针对公路海量图片存储问题,设计并实现一种基于云平台的海量图片储存系统。该系统使用JAVA语言,在Hadoop云计算框架下,采用HDFS作为分布式存文件系统,使用MapReduce和Hbase分别进行分布式计算和图片数据存储,Hive在本系统中作为数据仓储工具,方便Hbase的管理和使用。首先,在绪论中,对本课题的研究背景和意义进行详细论述和说明,总结和分析了当前国内外海量图片存储的最新研究进展,提出本文主要研究内容和组织结构。其次,对本文所使用到的相关技术进行详细介绍和具体分析,方便系统开发和实现。针对海量图片存储问题,使用基于云存储的分块图片分割方法,并对该方法在本系统中的应用从可靠性,传输性能等方面进行了详细说明。而后,针对本课题的具体研究背景和意义,分析系统开发需求,根据需求分析对系统进行了各功能模块的详细设计。最后,根据需求分析和设计,实现了面向云平台的海量图片存储系统。通过使用针对本系统设计的测试用例进行系统功能测试,使用上传和下载图片的方法对系统进行性能测试。测试结果表明,本文设计和实现的系统功能完整,性能良好,可以解决海量图片存储问题。为海量多并发图片存储问题提出一个新的解决思路。

李波[3]2011年在《基于Hadoop的海量图象数据管理》文中指出近十年来,随着科技的进步,计算机的应用越来越广泛,这其中,互联网的应用与发展尤其迅速。随着数据来源不断增加,数据量快速增长,互联网上的数据已经达到PB级别,例如阿里巴巴、易趣网交易数据、频监控系统的实时影像数据、腾讯的即时通讯日志数据等。相对于互联网上的文本数据,图像数据的增长更加迅速,这就对于图像数据的有效管理提出了新的挑战。如何有效地存储并管理这些图像数据就成为了新的研究热点。在这样的背景下,原有的解决办法例如常见的海量图像数据管理系统不能很好的适应现有的应用,因此新的解决方案与管理系统不断被提出。基于海量图像数据管理的新难题和新的解决方案不断被提出的背景,本文在分析了海量图像数据的产生与应用的具体背景之后,根据Hadoop系统在存储和管理网页数据与日志数据等的成功,研究了基于Hadoop系统的大规模海量图像数据管理问题。Hadoop是依照Google的GFS分布式文件系统与MapReduce并行编程框架的开源实现,主要用于Web数据的管理和挖掘,在存储与管理图像数据方面存在不足。本文首先扩展了Hadoop的相应功能模块,设计和开发了一个基于Hadoop的海量图像数据管理系统,包含数据的导入、数据服务,数据请求以及可视化查询浏览等功能,论文着重叙述数据的导入、数据服务,数据请求的设计与实现,对相关的图像处理算法的并行化进行了设计与实验,给出了实验效果。同时,根据海量遥感影像数据单个图像占用空间比较大等特点,论文探讨了Hadoop系统的调优,使之适合于作为一个管理海量图像数据的新的海量图像数据平台基础架构。

吕志英[4]2012年在《分布式森林资源共享管理系统设计研究》文中认为分布式森林资源共享管理系统针对当前各类数字林业平台建设过程中普遍存在的信息难以共享的问题,以林业管理为中心,以“林分”为对象,通过“全局设计,局部实施,本地管理,信息共享”的模式,依托互联网构建数字林业应用平台。充分利用基础地理信息资源,构建了分布式数据管理的数字林业应用平台新途径,建立了海量影像数据库的分地域存储管理模式,提出了用邻接多边形管理邻接区域边界的方法,创建了可用于信息共享的林分类数据结构,实现林业信息化管理。该系统从林业生产管理的基本数据入手,采用相对集中的分布式数据管理模式,按照属地管理的原则,生成、管理本地的相关数据,通过连接互联网来提供数据共享。系统的建设与实施完全是针对本地林业生产的实际情况来进行,不同地域的实施进度并没有相关性,完成建设的本地服务器就可以加入森林资源共享管理系统服务网络,为全国用户提供服务,随时建设,随时互连,具有非常便利的扩展特性。分布式森林资源共享管理系统以经纬度坐标标识地物的位置,采用墨卡托投影的方法将地球球体表面投影到二维平面上,构成墨卡托平面直角坐标系。对获得了大量高分辨率的地球影像资料,通过影像分幅处理形成无缝拼接海量影像库。建立了图像分幅算法和分幅图像的编码规则,对分幅后的每一幅图像进行编码命名,图幅编码与图幅所对应的地域位置相关,这种图幅的一元编码与平面区域相对应的编码方法简化了对分幅图像的检索过程,提高了检索效率。该系统以多边形的形式描述某一区域的边界,用地理坐标区划出行政管理边界和数字化小班边界,采用邻接多边形的方式对邻接区域边界进行管理。构建了一种邻接多边形的数据存储方式及其相应的算法,当多边形的边界需要调整时,仅需获取少量相关连的多边形数据,生成局部邻接多边形的拓扑结构,调整结束后,再分别更新相应的多边形。林分是森林经理研究的基本对象,也是林业生产管理的基本单元。森林资源共享管理系统从软件设计的角度,设计开发的林分类的属性除了包含林业生产管理过程中所需的林分特征因子外,还包括地理位置、边界信息及其他一些用于系统管理的信息。林分的边界信息是由一组以经纬度坐标表示的点组成的闭合折线来标识,这同时也表明林分边界的唯一性,奠定了林分类可用于信息交换与共享的基础,林分类采用XML格式来存储数据,这种人机均可识别的存储方式也为信息共享提供了便利。该系统目前主要针对林业的生产管理功能开发的信息共享服务模式,为了使该系统能真正得到应用,非常有必要开发以此为基础的应用管理系统,包括林分有关的统计功能、样地数据的分析与统计等,真正为林业生产管理服务。

佚名[5]2004年在《计算机在电子学方面的应用》文中研究说明TP39 2004U41249一种网络防御模型研究/刘维国,刘慧敏(解放军9 1550部队)]I航天电子对抗.一2 003,(4)一46一封叁通过一种网络防御模型的引人,进而分析了网络系统保护模式、建立数学模型.该模型对于建立和强化网络安全保障体系有一定

阎继宁[6]2017年在《多数据中心架构下遥感云数据管理及产品生产关键技术研究》文中研究指明对地观测技术的发展,一方面造成了遥感数据体量的爆炸式增长,遥感产品种类、数量的不断增加,另一方面也为遥感数据的存储管理、数据处理及产品生产带来了巨大挑战,使得现有的数据存储管理及生产加工系统无法满足应用需求。对于遥感数据集成管理而言,海量、多源、异构的遥感数据不仅造成了在分布式数据集成标准统一、集成模式实现等方面的困难,而且使得现有的遥感数据组织存储与管理方式无法满足快速检索、高并发访问等服务需求;对于遥感数据处理及产品生产而言,海量、多源的遥感数据一方面造成了产品生产过程中多种近似数据源择优推荐选择问题,另一方面对于长时间序列、大区域范围的综合对地观测产品生产又可能存在着特定数据缺失、数据质量较差不可用的问题。此外,现有的遥感产品生产系统产品种类单一、生产流程固定,无法满足用户复杂多变的、个性化产品生产需求。因此,本研究借助云计算的海量数据存储、高性能计算、弹性扩展、按需服务等优点,对于多数据中心架构下的遥感云数据管理及产品生产中的关键技术分别展开研究:(1)针对遥感数据集成与管理问题,首先引入地理信息元数据标准建立分布式遥感元数据集成准则,实现多源遥感元数据统一格式转换;其次,对多源遥感影像数据建立基于空间区块的组织索引策略,提高多源遥感数据之间的空间关联性及对应元数据检索效率;再次,通过建立分布式元数据索引、热点元数据缓存、高并发访问控制机制等,实现海量遥感元数据的快速检索;最后,通过建立面向多用户的云端数据虚拟映射,实现多源遥感数据的共享与个性化定制。(2)针对遥感数据处理及产品生产问题,首先通过建立多源遥感产品生产数据源推荐模型,为产品生产过程中的多源遥感数据择优选择提供理论依据;然后,通过对于遥感数据各级产品层级关系的梳理,构建遥感产品上下层级关系知识库、遥感产品依赖关系知识库等,组织遥感产品生产逻辑流程;最后,构建“主分式”多数据中心协同处理云计算环境,并基于科学工作流引擎动态生成多源遥感产品生产工作流,实现多源、海量遥感数据的在线处理及产品生产。开展上述研究的意义在于,首先,基于统一地理信息标准的多源遥感元数据格式转换,从分布式数据中心即屏蔽了多源、异构遥感数据的元数据差异,为多源、多中心的遥感数据集成提供了基础;其次,通过研究多源遥感数据组织模式,为遥感数据产品标识赋予地学函义,提高了多源遥感数据之间的空间关联性;再次,通过分布式索引构建、分布式检索效率优化等研究,提高了多源、海量遥感数据检索及分发服务效率;同时,开展面向多用户的多源遥感数据云端虚拟映射与共享研究,为每个用户建立形式上独占的数据逻辑视图,既实现了不同用户的个性化需求又保持了云端数据存储的一致性,节省了数据存储空间;最后,开展多源遥感产品生产数据源推荐、遥感产品生产逻辑流程组织、多数据中心架构下的多源遥感产品生产等技术研究,可以提高遥感信息产品服务的科学性与自动化、智能化程度,为遥感信息的新型云端服务模式探索可行性技术。

徐凯田[7]2015年在《基于大数据的智慧移动医疗信息系统结构研究》文中研究说明医疗信息化的迅速发展导致了医疗数据的指数型增长,医疗大数据给医院现有信息系统带了巨大的压力。一方面,随着各种非结构化数据的不断涌现,现有的医疗信息系统在存储空间、存储速度、存储结构上达不到大数据的要求,不得不放弃了很多数据,造成大量有价值的医疗数据的丢失。另一方面,随着对大数据认识程度的加深,医疗大数据中隐藏的价值成为亟待发掘的宝藏。然而,现有的系统的数据完整性不够,而且数据处理速度缓慢,明显无法满足用户对数据处理效率的需求。针对以上问题,基于对医疗信息化、大数据以及大数据关键技术的研究,本文提出了针对大数据的智慧移动医疗系统结构,并从大数据的基础设施层、信息处理层和服务提供层叁个方面进行了分析。给出该系统的原型实现:利用成熟的移动物联网设备进行大数据的采集,确保了数据的全面性;系统采用基于Hadoop平台的数据存储和管理方案,保证了医疗机构能用较少的投入获取大数据存储分析的能力;此外,通过大数据挖掘和分析技术,系统对患者、医疗机构以及医疗合作伙伴提供不同层次的服务。

叶翔[8]2013年在《多分辨率地形数据库的设计与实现》文中认为信息时代提出的新概念“全球信息网格”和“数字地球”给人们的生活带来极大的便利,但是,现有的文件系统无法满足多分辨率虚拟地形场景的大规模数据存取,尤其在管理方面受到不少限制。场景数据不能以整体形态预装到内存之中,而是划分成一定数量的小场景文件交由系统存放,这样一来会大大降低调度索引的速度,破坏各个数据间的空间查询流程。最重要的是,不能保证数据的安全稳定性,影响到文件系统的多线程操作与网络资源的广泛共享。针对现存的种种问题,本文立足于现代空间数据库技术,专注研究空间查询、数据共享和对象建模等空间数据库的重要组成结构,结合叁维化的场景数据特性,获取高逼真度的实时空间漫游状态,并实现远程存取和动态加载功能。相比较传统文件系统新型数据库技术可以在保证可视效果的情况下,完成海量地形数据的存储管理,实现地形数据的动态调度和实时渲染。主要内容为:1.分析国内外多分辨率地形数据库技术,提出建立全球多分辨率地形数据库,为全球多分辨率地形环境仿真技术的实现提供了新的平台,该数据库会对地形信息的变化做出动态的反应,实时修改数据记录以完成数据库的动态更新,更好的满足用户的实时需求,提高仿真的可信度。2.分析Sql Server数据库技术实现多分辨率地形数据存储,优化金字塔模型数据库结构,存储与管理更加灵活。设计数据库逻辑结构,合理利用数据库存储技术,实现大二进制存储类型存储地形数据。设计地形数据的入库模式,采用ADO接口访问并操作数据库,实现数据存储与调度可视化。3.分析四叉树索引技术,设计基于四叉树的数据引擎,解决金字塔模型中各层各块的索引问题,利用分层分级原理,在短时间内读取海量空间数据,从中提炼数据目标以满足用户需求,同时保证地形数据的时效性与真实性。4.分析分布式数据库系统技术,提出基于客户端/服务器(C/S)模式完成主从机数据库访问方法,解决远程调度地形数据的问题,实现多用户远程并发访问分布式空间数据库,完成海量数据的存储、管理和索引。5.构建基于Sql Server数据库的多分辨率地形数据库系统。按照金字塔模型数据库结构存储数据,在网络内利用四叉树索引技术调用地形数据实时地形数据库,在场景中实时渲染表达叁维地理信息,从而实现大场景虚拟地理环境构建和漫游。

佚名[9]2004年在《《计算机工程与应用》2004年(第40卷)总目次》文中认为·博士论坛·城市突发公共卫生事件应急指挥系统空间数据模型设计———以“合肥地区非典防治决策支持系统”为例………………………李琦刘纯波李斌(1-1)计算机支持的协同工作(CSCW)发展述评………………宋海刚陈学广(1-7)拓扑关系形式化描述的基本问题与研究

参考文献:

[1]. 分布式实时海量图像数据管理系统设计[D]. 程建和. 武汉大学. 2004

[2]. 面向云平台的海量图片存储系统设计与实现[D]. 李军. 大连海事大学. 2015

[3]. 基于Hadoop的海量图象数据管理[D]. 李波. 华东师范大学. 2011

[4]. 分布式森林资源共享管理系统设计研究[D]. 吕志英. 南京林业大学. 2012

[5]. 计算机在电子学方面的应用[J]. 佚名. 中国无线电电子学文摘. 2004

[6]. 多数据中心架构下遥感云数据管理及产品生产关键技术研究[D]. 阎继宁. 中国科学院大学(中国科学院遥感与数字地球研究所). 2017

[7]. 基于大数据的智慧移动医疗信息系统结构研究[D]. 徐凯田. 青岛科技大学. 2015

[8]. 多分辨率地形数据库的设计与实现[D]. 叶翔. 电子科技大学. 2013

[9]. 《计算机工程与应用》2004年(第40卷)总目次[J]. 佚名. 计算机工程与应用. 2004

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

分布式实时海量图像数据管理系统设计
下载Doc文档

猜你喜欢