海洋地质地球物理数据分类与组织论文_刘倩然

海洋地质地球物理数据分类与组织论文_刘倩然

摘要:近年来,随着我国经济的快速发展,各个领域均得到了很好的发展,实现海洋信息资源的高效存储和管理,需要对海洋数据管理体系进行统筹规划。文章根据海洋地质地球物理数据特点,进行了数据层次分类研究,分析了数据标准化过程,确立了基于文件和数据库的海洋地质地球物理数据存储策略,提出结构化事务型数据库、结构化分析型数据库(NewSQL)和非结构化计算型数据库(NoSQL)相结合的数据组织架构。

关键词:海洋地质地球物理;数据分类;组织

引言

海洋区域地质调查内容主要包括地形地貌、海底底质、海底浅层地质、地质构造、海洋环境和海底矿产资源评价等。海洋区域地质调查目的在于运用海洋调查新技术方法手段,系统地采集海洋地质基础数据,查明或基本查明测区地质特征及矿产资源分布,为国家提交基础地质图件和相应调查报告;为海洋经济建设与可持续发展提供区域性科学依据;为国土资源开发利用、管理规划及资源保护服务;对海洋新能源开发,海洋地质灾害预防,维护国家海洋权益等,都有重要的调查意义。

1海洋地质地球物理数据分类

1.1海洋地质地球物理数据共享服务标准体系建设

为促进海洋地质地球物理数据资源共享,充分发挥数据资源在解决资源环境和基础地质问题过程中的保障和支撑作用,制定了《海洋地质地球物理数据资源分类与接口规范》,该规范包括3部分:①《海洋地质信息资源分类》:主要明确资源的分类原则、分类方式、分类编码、具体分类、类型扩展和标签等;②《海洋地质信息资源服务接口》:主要明确API设计原则、设计内容(数据模型、资源模型、交互模型)、设计要求等;③《海洋地质信息资源目录服务规范》:本部分是在遵循以上两部分规范基础上建立的服务实例———目录服务,规定了海洋地质信息资源目录服务的模型和接口定义。《海洋地质信息资源分类与接口规范》填补了海洋地质数据共享技术规范方面空白,为实现海洋地质数据汇聚和服务初步融合提供了技术依据,有利促进了海洋地质共享技术理论的创新。

1.2海洋地质网络体系建设

率先建立的涉密网广海局节点和青岛所节点,是中国地质调查局涉密网建设的排头兵,为全局涉密数据的规范使用、存储和共享做出了探索,积极推动了“地质云”涉密网建设。目前海洋地质涉密网络建设进展顺利,海洋地质涉密网络广海局节点建设完成,青岛所节点已进入测评准备阶段,按照国家机密级标准建设的广海局涉密网,为天然气水合物调查等涉密项目服务,为技术人员提供一个网络工作平台,也为项目工作开展过程中使用的各种软件系统(数据库系统、处理系统、解释系统、项目管理系统、海上生产信息管理系统、样品库管理信息系统、地质资料管理系统等)提供一个网络运行和服务环境;2017年完成涉密网络青岛所节点建设、测试和试运行,编制完成《青岛海洋地质研究所涉密信息系统分级保护测评申请书》,并提交了测评申请,部署了涉密信息交换系统、涉密数据库信息服务系统2项应用。

1.3海洋地质地球物理数据资源体系建设

采用物理上分散、逻辑上统一的分布式数据库建设思路,建设海洋地质专业数据库系统,分别于青岛海洋地质研究所、广州海洋地质调查局、国土资源航空物探遥感中心建设数据分中心。其中,青岛海洋地质研究所、广州海洋地质调查局为中国地质调查局海洋地质调查与研究的核心单位,分别建设数据类型完整、覆盖地区各有所侧重的海洋地质综合数据分中心,国土资源航空物探遥感中心则建设覆盖海岸带及大陆架区域的航空物探与遥感专业数据分中心。海洋地质数据资源内容包括:海洋区域地质调查专题数据库、海岸带综合地质调查专题数据库、海洋油气资源调查专题数据库、海洋天然气水合物资源专题数据库以及海洋固体矿产资源数据库。

期刊文章分类查询,尽在期刊图书馆

2数据组织

2.1基于文件的数据组织

基于文件的数据组织方式是最常用的一种,通常以文件名和文件夹名称做标识,适用于各类数据的组织管理和备份存档。根据管理需求或目的不同,可以遵循不同逻辑关系,以文件为管理对象,采用层次法对文件进行组织。由于海洋地质地球物理调查或研究常以项目为主线开展,不同项目来源是数据文件组织的首要考虑因素。海洋地质地球物理数据主要来自国家组织实施的海洋专项调查、双多边合作调查、科技部重大专项、自然基金项目调查和国际共享交换数据等。因此,在数据资源汇集管理阶段遵循项目层次的管理方式,对数据对象进行抽象和分类。一个项目首先按照学科进行区分,每个学科由n个不同的航次调查任务组成,任务所产生的数据实体之间是有联系的,因此,一个任务产生的多个数据实体可先以航次或区块作为依据进行划分。同一航次前提下,再依据数据种类进行划分,比如一个航次任务获取的文件类通常包括:任务文档类、原始数据集、整编数据集、成果数据集、报告专著类和图集图件类等。文件组织可以根据任务取得成果种类进行扩充,每一文件类包含了若干属性相似的文件,一般存放于文件服务器中,并通过索引表与数据文件进行关联。

3.2元数据库设计

海洋地球物理元数据需要对数据库的内容、质量、条件和其他特征进行描述和说明,从而帮助用户有效地定位、评价、比较、获取和使用其综合数据。目前我国海洋领域不同学科或项目为了满足特定应用需求都制定了自己的元数据标准。为了确保系统的兼容性,主要依据现有成熟的国际海洋元数据标准(如FGDC、DublinCore等),同时参考了我国“海洋信息元数据标准”,对元数据的核心要素进行了确定。设计并制定适合于海洋地球物理数据库的元数据标准体系,对基础数据库和空间数据库中的数据集进行描述和管理。

3.3海洋地质地球物理成果数据库设计

海洋地质地球物理成果数据库采用Hadoop框架实现非结构化海洋地质地球物理数据的存储和使用。Hadoop是Apache开源组织的一个分布式计算框架,可以在大量廉价的硬件设备组成的集群上运行应用程序,构建一个大数据量、易扩展且具有高可靠性的灵活自由的并行分布式系统。海洋地质地球物理成果数据库主要用于存储数据量大且繁杂的半结构化和非结构化数据文件,包括海底地震和浅剖数据以及报告、图集和摄像视像等,涉及的数据格式类型有segy、doc、pdf、jpg、img、mp4等10多种。非结构化计算型数据库具有易扩展、使用灵活的特性,在大数据量下的高性能读写以及数据模型构建方面表现出很大的优势,可以对各类海洋数据的关联分析、趋势预测和深度学习等大数据计算提供有力的结构基础,从而满足海量海洋地质地球物理数据知识挖掘等复杂应用需求。

结束语

本文面向海洋地球物理调查和研究工作的应用需求,在对海洋地球物理数据进行分类整理的基础上,对海洋地球物理数据库进行设计,并开发实现了C/S架构和B/S架构的海洋地球物理数据库系统。应用实践表明,该系统能够面向多源、异构、海量的海洋地球物理综合数据提供统一管理、直观浏览和便捷共享等服务,提高了数据的使用效率,满足海洋调查、科研、管理等工作的需求。

参考文献

[1]王蛟,莫杰,2018.高新技术促进海洋地学科技发展.海洋技术学报,34(2):118-125.

[2]文峰,2018.一种面向应用的多层次数据资源描述框架.计算机应用与软件,30(7):221-223.

[3]向先全,路文海,杨翼,2017.海洋环境监测数据集质量控制方法研究.海洋开发与管理,(1):88-91.

论文作者:刘倩然

论文发表刊物:《科学与技术》2019年第14期

论文发表时间:2019/12/17

标签:;  ;  ;  ;  ;  ;  ;  ;  

海洋地质地球物理数据分类与组织论文_刘倩然
下载Doc文档

猜你喜欢