一种基于地理分片和动态建表的海洋环境数据存储方法
【专利摘要】本发明涉及一种基于地理分片和动态建表的海洋环境数据存储方法，其主要技术特点是：计算原始数据集的记录数，如果超过预先设定的单个数据库表存储阀值，则进行抽稀处理并生成测量航迹线，构建Delauney三角网；提取数据集的精确数据范围和外包矩形；进行地理分片与编辑合并处理；提取各分片数据集的数据范围；动态创建数据库表和结构；将各分片数据集批量录入对应的数据库表中；建立各个数据表之间的关联关系。本发明设计合理，其通过对海量离散采样点数据进行分级、分类组织和分表存储，有效降低了单数据库表的数据量，同时，数据库系统可根据用户的数据请求范围，实现基于多张分片数据表的并行查询，解决了大型空间数据库的检索速度问题。
【专利说明】 一种基于地理分片和动态建表的海洋环境数据存储方法
【技术领域】
[0001]本发明属于海洋测量【技术领域】，尤其是一种基于地理分片和动态建表的海洋环境数据存储方法。
【背景技术】
[0002]数据的存储管理方式是影响数据检索速度的主要因素之一。随着现代海洋探测技术和传感器技术的发展，以及研究区域和尺度的不断拓展，海洋地理和地球物理等环境信息普遍具有大区域、海量性特征，例如:1:50000测量比例尺的海洋重力测量，IOOOOkm2海域约产生400万个有效采样点数据；IOOOOkm2海域的多波束全覆盖测量约产生10亿个有效采样点数据。因此，即使把研究范围限制在中国管辖海域，也将产生海量的测量数据。
[0003]目前，海洋环境数据的存储、管理、分发一般是在陆地上地理空间数据的存储管理技术的基础上拓展与优化，但是，海洋环境数据和陆上的地理空间数据有较大差异:首先，海洋环境数据多为采样点数据，陆上地理数据多为线、面状数据；其次，海洋环境信息种类繁多、数据量巨大；再次，海洋研究的尺度和区域宽广；最后，海洋环境信息的时空变化更加显著。因此，如何基于通用数据库管理平台(Oracle、SQL Server)对这些海洋环境数据进行高效存储与管理、提高数据的检索速度是目前迫切需要解决的问题。
【发明内容】
[0004]本发明的目的在于克服现有技术的不足，提供一种设计合理、效率高、速度快的基于地理分片和动态建表的海洋环境数据存储方法。
[0005]本发明解决现有的技术问题是采取以下技术方案实现的:
[0006]一种基于地理分片和动态建表的海洋环境数据存储方法，包括以下步骤:
[0007]步骤1、计算原始数据集的记录数，如果不超过预先设定的单个数据库表存储阀值，则转到步骤4 ;
[0008]步骤2、对原始数据集进行抽稀处理，生成抽稀数据集；
[0009]步骤3、根据抽稀数据集生成测量航迹线，对航迹线作矢量压缩处理，处理结果保存在航迹线图层表中；
[0010]步骤4、根据抽稀数据集快速构建Delauney三角网；
[0011]步骤5、根据Delauney三角网，提取数据集的精确数据范围和外包矩形，对精确数据范围作矢量压缩处理，并将处理结果保存在数据集范围图层表中；
[0012]步骤6、根据数据集的外包矩形和原始数据集的记录数，对原始数据集进行地理上均匀分片处理，对包含数据点较少的边缘分片进行合并处理，计算分片数量；
[0013]步骤7、根据地理分片及合并处理结果，利用数据集范围和各矩形分片范围进行多边形求交处理，提取各分片数据集的精确数据范围，提取结果保存在分片数据范围图层表中；
[0014]步骤8、根据计算的分片数量，动态创建数据库表和结构；[0015]步骤9、调用数据采集接口将各分片数据集批量录入对应的数据库表中；
[0016]步骤10、建立数据集范围、航迹线、分片范围和分片数据表之间的关联关系。
[0017]而且，所述步骤10后还包括删除抽稀数据集、Delauney三角网、分片数据集的步骤。
[0018]而且，所述步骤2的实现方法为:根据测量比例尺或制图比例尺，以地图上一定间距对原始数据集进行抽稀处理，将抽稀结果形成抽稀集并保存。
[0019]而且，所述Delauney三角网的最大边长设置为抽稀离散点间距的2.5倍。
[0020]本发明的优点和积极效果是:
[0021]1、本发明通过对海量离散采样点数据进行分级、分类组织和分表存储，有效降低了单数据库表的数据量，同时，数据库系统可根据用户的数据请求范围，实现基于多张分片数据表的并行查询，从数据存储技术方面解决了大型空间数据库的检索速度问题。
[0022]2、本发明可适用于Oracle、SQL Server等主流数据库系统以及ESRIGeodatabase、Oracle Spatial等空间数据库架构，实现海量、大区域海洋测量数据的数据库存储功能，大大提高了数据检索速度，解决了海洋环境信息的海量性和检索速度之间的矛盾。
【专利附图】
【附图说明】
[0023]图1为本发明的处理流程示意图；
[0024]图2为原始数据集地理分片编辑合并及精确数据范围提取示意图。
【具体实施方式】
[0025]以下结合附图对本发明实施例做进一步详述。
[0026]一种基于地理分片和动态建表的海洋环境数据存储方法，如图1所示，包括以下步骤:
[0027]步骤1、计算原始数据集的记录数，如果不超过预先设定的单个数据库表存储阀值，则转到步骤4。
[0028]步骤2、对原始数据集进行抽稀处理，生成抽稀数据集。
[0029]其具体方法为:根据测量比例尺或制图比例尺，以地图上Icm间距对原始数据集进行抽稀处理，例如，测量比例尺为1:10000时，则抽稀数据的实地间距为
0.01 X IOOOO=IOOm,抽稀结果形成抽稀数据集并保存在过程文件中，抽稀数据集的数据量约降为原始数据集的1/1000。
[0030]步骤3、根据步骤2生成的抽稀数据集生成测量航迹线，对航迹线作矢量压缩处理，处理结果保存在航迹线(线要素数据)图层表中。
[0031]步骤4、根据抽稀数据集快速构建Delauney三角网。
[0032]本步骤在构建Delauney三角网时，数据集可能是原始数据集(当原始数据集的记录数不超过预先设定的单个数据库表存储阀值时)，也可能是是抽稀数据集(当原始数据集的记录数超过预先设定的单个数据库表存储阀值时并经抽稀处理的抽稀数据集)。即:根据原始数据集或抽稀数据集构建Delauney三角网，该Delauney三角网的最大边长设置为抽稀离散点间距的2.5倍，测量比例尺为1:10000时，则三角网最大边长为0.01X10000X2.5=250m。
[0033]步骤5、根据步骤4构建的Delauney三角网，提取数据集的精确数据范围和外包矩形，对精确数据范围作矢量压缩处理，并将处理结果(面要素数据)保存在数据集范围图层表中。
[0034]步骤6、根据步骤5提取的数据集的外包矩形，对原始数据集进行地理上均匀切分，确保各分片包含的最大数据量小于单个数据库表存储阀值，对包含采样点较少的边缘分片进行合并处理，计算分片数量。如图2所示，图中浅灰色为地理分片范围，深灰色为各分片精确数据范围，数字为分片数据量。
[0035]步骤7、根据步骤6的地理分片及合并处理结果，利用数据集范围和各矩形分片范围进行多边形求交处理，提取各分片数据集的数据范围，提取结果保存在分片数据范围(面要素数据)图层表中。
[0036]步骤8、根据计算的分片数量，动态创建数据库表和结构。
[0037]在本步骤中，数据库表命名规则为:数据集代码_分片编号。
[0038]步骤9、调用数据采集接口将各分片数据集批量录入对应的数据库表中。
[0039]步骤10、建立数据集范围、航迹线、分片范围和分片数据表之间的关联关系，并删除抽稀数据集、Delauney三角网、分片数据集等中间结果，从而实现基于地理分片和动态建表的海洋环境数据存储功能。
[0040]在通用数据库系统(Oracle、SQL Server等)和主流空间数据库架构(ESRIGeodatabase、Oracle Spatial)的基础上,对海洋测量数据按照数据类型、地理范围进行垂直分片和水平分片，将一张大数据表切分成多张记录数小于指定阀值的数据表，数据分片后将各分片数据表按照一定的分布规则存储到多个并行数据库中，结合分片元数据管理系统，实现在数据检索功能中将动态提取的分片元数据信息作为检索参数传递给SQL语句，各个数据库服务器能够并行读写对应分片数据，增加了数据I/O带宽，能够在现有软硬件环境基础上最大限度消除影响海量海洋环境数据库检索性能瓶颈问题。可广泛用于海量、大区域海洋测量数据的数据库存储，有效解决了海量、大区域海洋环境数据的存储效率和检索速度问题。
[0041]需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于【具体实施方式】中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。
【权利要求】
1.一种基于地理分片和动态建表的海洋环境数据存储方法，其特征在于包括以下步骤: 步骤1、计算原始数据集的记录数，如果不超过预先设定的单个数据库表存储阀值，则转到步骤4 ； 步骤2、对原始数据集进行抽稀处理，生成抽稀数据集； 步骤3、基于抽稀数据集生成测量航迹线，对航迹线作矢量压缩处理，处理结果保存在航迹线图层表中； 步骤4、基于抽稀数据集构建Delauney三角网； 步骤5、基于Delauney三角网，提取数据集的精确数据范围和外包矩形，对精确数据范围作矢量压缩处理，并将处理结果保存在数据集范围图层表中； 步骤6、根据数据集的外包矩形，对原始数据集进行均匀地理分片处理，对包含数据点较少的边缘分片进行合并处理，计算分片数量； 步骤7、根据地理分片及合并处理结果，利用数据集范围和各矩形分片范围进行多边形求交处理，提取各分片数据集的数据范围，提取结果保存在分片数据范围图层表中； 步骤8、根据计算的分片数量，动态创建数据库表和结构； 步骤9、调用数据采集接口将各分片数据集批量录入对应的数据库表中； 步骤10、建立数据集范围、航迹线、分片范围和分片数据表之间的关联关系。
2.根据权利要求1所述的一种基于地理分片和动态建表的海洋环境数据存储方法，其特征在于:所述步骤10后还包括删除抽稀数据集、Delauney三角网、分片数据集的步骤。
3.根据权利要求1所述的一种基于地理分片和动态建表的海洋环境数据存储方法，其特征在于:所述步骤2的实现方法为:根据测量比例尺或制图比例尺，以地图上一定间距对原始数据集进行抽稀处理，将抽稀结果形成抽稀数据集并保存。
4.根据权利要求1所述的一种基于地理分片和动态建表的海洋环境数据存储方法，其特征在于:所述Delauney三角网的最大边长设置为抽稀离散点间距的2.5倍。
【文档编号】G06F17/30GK103870542SQ201410062980
【公开日】2014年6月18日 申请日期:2014年2月25日 优先权日:2014年2月25日
【发明者】徐广袖, 吴太旗, 任来平, 陆秀平, 欧阳永忠, 李凯锋, 王耿峰 申请人:中国人民解放军92859部队