基于北斗网格技术的空间大数据存储与管理方法

本发明涉及数据存储方法，尤其涉及一种基于北斗网格技术的空间大数据存储与管理方法。

背景技术：

1、随着卫星遥感技术、空间探测技术、导航定位技术等技术的发展，在地球科学、气象、农业等领域产生了越来越多的空间大数据。然而，传统的数据存储技术和查询技术已经不能满足空间大数据的存储和管理需求。具体而言，空间大数据的存储量大、格式复杂、存储方式多样，导致数据存储效率低下且费时费力；传统的查询技术不能满足对空间大数据的深度关联和智能查询需求，数据查询效率也较低。因此，开发一种高效的空间大数据存储和查询技术成为了一个紧迫的需求。

技术实现思路

1、本发明所要解决的技术问题是如何提供一种具有较高的存储能力、查询效率和分析能力的基于北斗网格技术的空间大数据存储与管理方法。

2、为解决上述技术问题，本发明所采取的技术方案是：一种基于北斗网格技术的空间大数据存储与管理方法，包括如下步骤：

3、构建数据剖分存储模型；

4、基于北斗网格技术的空间大数据多维度深度关联；

5、构建基于北斗网格技术的空间大数据搜索引擎；

6、基于北斗网格技术的空间大数据代数计算；

7、基于数字地球的空间大数据可视化处理。

8、进一步的技术方案在于，构建数据剖分存储模型的方法包括如下步骤：

9、数据剖分存储模型数学描述；

10、数据剖分存储对象网格划分；

11、数据剖分存储对象聚类；

12、剖分存储设备聚类分布。

13、进一步的技术方案在于，数据剖分存储模型的数学描述如下所示：

14、

15、其中：m:go(code,nl,h,nt)→vp(xi),i∈n表示地理空间向物理存储空间的映射；采用geosot剖分框架对地理空间进行剖分，g0代表geosot剖分地理空间，code是剖分网格的编码，nl代表剖分的层级，h代表对应地理空间范围上数据范围的热度，nt代表该剖分面片上数据量的大小；vp代表物理存储空间，xi代表剖分存储对象，是剖分面片范围内所有数据以及数据存储属性和操作的集合；m代表映射建立映射关系，根据剖分网格、层级、访问热度和数量，以及剖分存储对象负载平衡原则，将数据按照网格进行划分，将划分后的数据聚集成剖分存储系统中的对象；

16、代表剖分存储对象的聚类方法，依据是剖分存储对象在空间上的度量关系，以最大最小距离将相近的剖分存储对象聚集成簇；从而将空间上有较强的邻近关系的数据聚集起来，是剖分存储对象在存储设备的分布算法的基础，μi表示目标元素编码；xj表示邻近元素编码；si表示邻近元素集合；

17、代表剖分存储对象在存储设备的分布方法，wi表示每个编码对应的数据所占空间大小，i表示编码数，j表示层级数，wk表示各层级数据所占空间总大小。

18、进一步的技术方案在于，所述数据剖分储存对象网格划分包括如下步骤：

19、首先要获得数据在空间上的分布情况，主要是在剖分地理空间上数据量、数据种类以及其他属性信息的分布；其次，综合以上数据在地理空间分布情况，以剖分网格为基准，按照负载均衡的要求，设定剖分网格的层级；然后，以数据集合的最小外包剖分网格编码作为该数据集的标识；最后，将各个数据集以及其属性信息按照对象存储方法，整合成剖分存储对象。

20、进一步的技术方案在于，数据剖分存储对象聚类的方法中：

21、首先将对象访问相关性映射到剖分存储对象距离度量空间上，将对象之间访问的相关性量化，将两个对象在数据访问的相关度转换成空间上的距离大小，相关度较大的两个对象，距离相对较近，而反之则远；将剖分存储对象的平均距离和对象将访问的平均相关度进行映射，对象间的平均距离为lavr，对象访问平均相关度为vavr，设λ为两者的映射系数，因此λ＝lavr/vavr；设置访问相关度影响权值k，λ*k*vavr为对象访问相关度在剖分地理空间上的距离。

22、进一步的技术方案在于，部分存储设备聚类分布的处理过程中：

23、按照设备的容量、带宽以及性能在系统中的相关性，将存储相关度高的存储设备放在一个集群内；将海量数据存储系统分成层次形成多个局部的集群，每个集群映射到一族剖分存储对象，使用不同的分布算法在集群内部存储，按照剖分存储对象的变化，批量的增加和删除剖分存储设备，简化存储设备的管理。

24、采用上述技术方案所产生的有益效果在于：本申请所述方法采用数据剖分存储模型和搜索引擎技术，可以实现更快速、更准确的数据存储和查询，节省了数据处理和分析时间。采用多维度深度关联技术和代数计算技术，可以进行更复杂的数据分析和运算，结果更全面、更准确。采用可视化技术，可以将数据结果转化为图形化或图像化的展示方式，使数据更加直观、易懂、易于表达和交流。因此，本申请所述方法具有数据处理和查询速度快、结果准确全面、可视化展示直观清晰等优点。

技术特征：

1.一种基于北斗网格技术的空间大数据存储与管理方法，其特征在于包括如下步骤：

2.如权利要求1所述的基于北斗网格技术的空间大数据存储与管理方法，其特征在于构建数据剖分存储模型的方法包括如下步骤：

3.如权利要求2所述的基于北斗网格技术的空间大数据存储与管理方法，其特征在于数据剖分存储模型的数学描述如下所示：

4.如权利要求2所述的基于北斗网格技术的空间大数据存储与管理方法，其特征在于所述数据剖分储存对象网格划分包括如下步骤：

5.如权利要求2所述的基于北斗网格技术的空间大数据存储与管理方法，其特征在于数据剖分存储对象聚类的方法中：

6.如权利要求2所述的基于北斗网格技术的空间大数据存储与管理方法，其特征在于部分存储设备聚类分布的处理过程中：

7.如权利要求1所述的基于北斗网格技术的空间大数据存储与管理方法，其特征在于所述基于北斗网格技术的空间大数据多维度深度关联的方法包括如下步骤：

8.如权利要求1所述的基于北斗网格技术的空间大数据存储与管理方法，其特征在于：设计基于网格编码的空间大数据搜索引擎，空间大数据赋予网格编码入库后，依托编码索引大表，实现数据的编码化查询，将多维时空查询简化为一维数值匹配查询，其具体方法包括如下步骤：

9.如权利要求1所述的基于北斗网格技术的空间大数据存储与管理方法，其特征在于：所述基于北斗网格技术的空间大数据代数计算方法包括如下步骤：

10.如权利要求1所述的基于北斗网格技术的空间大数据存储与管理方法，其特征在于，基于数字地球的空间大数据可视化的方法包括如下步骤：

技术总结
本发明公开了一种基于北斗网格技术的空间大数据存储与管理方法，包括如下步骤：构建数据剖分存储模型；基于北斗网格技术的空间大数据多维度深度关联；构建基于北斗网格技术的空间大数据搜索引擎；基于北斗网格技术的空间大数据代数计算；基于数字地球的空间大数据可视化处理。本申请所述方法采用数据剖分存储模型和搜索引擎技术，可以实现更快速、更准确的数据存储和查询。采用多维度深度关联技术和代数计算技术，可以进行更复杂的数据分析和运算。采用可视化技术，可以将数据结果转化为图形化或图像化的展示方式，使数据更加直观、易懂、易于表达和交流。

技术研发人员：成洁,刘鹏飞,范建华,戴乐,赵框,邢金铭,郭辉
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：
技术公布日：2024/1/15