数据处理查询方法、装置、服务器及介质与流程

本发明涉及数据处理，尤其是涉及一种数据处理查询方法、装置、服务器及介质。

背景技术：

1、目前，自然资源领域内，开展业务主要以国土调查数据、林草湿调查数据、国土空间规划数据等行业基础数据作为统一基底，通常存储在传统关系型数据库，包括oracle、postgresql等，数据查询主要采用sql语句。

2、按照国土空间用途管制要求，在进行用地选址时，要执行查询来筛选满足管控要求和业务需求的用地图斑，以“三区三线”、国土空间用途管制要求、业务其他相关需求等为约束条件，对基底数据进行逐条满足要求查询。即采用sql语句将基底数据中所有要素跟每一个约束表中的所有要素进行空间计算与分析，并涉及坐标转换、面积计算、距离条件、缓冲区条件、poi条件查询等，计算量超大，耗时长。例如，基于全国三调数据，查询湘潭市行政区划范围内，满足在城镇开发边界内，不压盖生态保护红线，不压盖永久基本农田，面积大于 1000 km2，小于 30000 km2的图斑，使用sql传统查询方法，耗时约为5h。另外，当个别图层中包括超大要素时，如长江、鄱阳湖等要素，所有要素与之进行计算相交时，将带来超大的计算量，出现时间过长甚至出错崩溃的情况。并且，在进行选址方案比对或业务需求变动时，需要反复改动查询条件，每查询一次将耗时数小时，效率极低。

3、当前的另外一种数据库存储方式是分布式数据库，可以进行分布式并行查询与计算，提供快速检索能力。但分布式数据库通常为了提供容错性和高可靠性，采取冗余存储，可能造成同一图斑分布在不同的存储节点时重复存储产生冗余数据，增加计算量。且此存储方式的前提是在建库之初选择分布式数据库进行数据存储，而目前已建成的大多数据库均为传统关系型数据库，无法适用，仍然无法解决查询性能低下的问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种数据处理查询方法、装置、服务器及介质，针对已建成的关系型数据库，对大规模矢量数据进行分块处理和分布式缓存，解决分布式计算问题，极大的提升了查询速度。

2、第一方面，本发明实施例提供了一种数据处理查询方法，所述方法应用于查询引擎，所述查询引擎配置有分布式缓存节点，所述分布式缓存节点用于存储国土瓦片数据，所述国土瓦片数据是对关系型数据库内存储的大规模国土矢量数据进行分块处理得到的，所述国土瓦片数据包括多个要素数据，所述方法包括：

3、接收图斑数据查询请求，所述图斑数据查询请求携带有查询条件，所述查询条件至少包括待查询图斑数据与管控区约束数据之间的空间关系，所述管控区约束数据用于描述国土空间用途管制；

4、基于所述国土瓦片数据的多级索引，从所述分布式缓存节点存储的所述国土瓦片数据中，检索满足所述查询条件的所有目标要素数据；

5、部分图斑被分割成多个要素数据分布在不同的瓦片中，基于预先配置的空间关系与合并逻辑之间的映射关系确定目标合并逻辑，以按照所述目标合并逻辑对所述目标要素数据进行逻辑合并，确定所述目标要素数据所在的原始图斑是否满足查询要求，得到所述图斑数据查询请求对应的图斑数据查询结果。

6、在一种实施方式中，在接收图斑数据查询请求的步骤之前，所述方法还包括：

7、读取关系型数据库存储的国土矢量数据；

8、按照空间范围对所述国土矢量数据进行分块处理得到国土瓦片数据，并构建所述国土瓦片数据对应的多级索引；其中，所述多级索引包括所述国土瓦片数据之间的空间索引，还包括所述国土瓦片数据内包含的要素数据之间的空间索引和属性索引；

9、将所述国土瓦片数据及其对应的所述多级索引，缓存至所述分布式缓存节点。

10、在一种实施方式中，在将所述国土瓦片数据及其对应的所述多级索引，缓存至所述分布式缓存节点的步骤之后，所述方法还包括：

11、对所述分布式缓存节点存储的所述国土瓦片数据进行定期更新；

12、和/或，当监听到所述关系型数据库内存储的所述国土矢量数据发生变化时，对所述分布式缓存节点存储的所述国土瓦片数据进行联动更新。

13、在一种实施方式中，所述空间关系包括：包含关系、合并包含关系、外部关系、相交关系中的一种或多种；

14、所述包含关系为：所述待查询图斑数据位于所述管控区约束数据之内的一个图斑数据上；

15、所述合并包含关系为：所述待查询图斑数据位于所述管控区约束数据之内的多个图斑数据上；

16、所述外部关系为：所述待查询图斑数据位于所述管控区约束数据之外；

17、所述相交关系为：所述待查询图斑数据部分位于所述管控区约束数据之内。

18、在一种实施方式中，所述查询引擎还配置有分布式计算节点，每个所述分布式计算节点均与一个或多个所述分布式缓存节点对应；基于所述国土瓦片数据之间的多级索引，从所述分布式缓存节点存储的所述国土瓦片数据中，检索满足所述查询条件的目标要素数据的步骤，包括：

19、生成每个所述分布式计算节点对应的查询任务；

20、当所述分布式计算节点接收到所述查询任务时，则基于所述国土瓦片数据之间的多级索引，从所述分布式计算节点对应的所述分布式缓存节点存储的所述国土瓦片数据中，检索满足所述查询条件的目标要素数据。

21、在一种实施方式中，所述查询条件还包括业务约束条件；基于所述国土瓦片数据的多级索引，从所述分布式缓存节点存储的所述国土瓦片数据中，检索满足所述查询条件的所有目标要素数据的步骤，还包括：

22、利用所述国土瓦片数据的空间索引，定位至目标国土瓦片数据和所述目标国土瓦片数据所在的目标分布式缓存节点；

23、利用所述国土瓦片数据内包含的要素数据的空间索引和属性索引，从所述目标分布式缓存节点存储的所述国土瓦片数据中，检索满足所述空间关系和所述业务约束条件的所有目标要素数据；其中，所述业务约束条件包括面积条件、距离条件、缓冲区条件、poi条件中的一种或多种。

24、在一种实施方式中，基于预先配置的空间关系与合并逻辑之间的映射关系确定目标合并逻辑，以按照所述目标合并逻辑对所述目标要素数据进行逻辑合并，确定所述目标要素数据所在的原始图斑是否满足查询要求，得到所述图斑数据查询请求对应的图斑数据查询结果的步骤，包括：

25、如果所述空间关系为所述包含关系、合并包含关系或所述外部关系，则对所述目标要素数据进行“与”合并，即，一个图斑被分割后的所有要素数据都是目标要素数据，该图斑满足查询要求，得到所述查询请求对应的图斑数据查询结果；

26、或者，如果所述空间关系为所述相交关系，则对所述目标要素数据进行“或”合并，即，一个图斑被分割后的任意一个要素数据是目标要素数据，该图斑满足查询要求，得到所述查询请求对应的图斑数据查询结果。

27、第二方面，本发明实施例还提供一种数据处理查询装置，所述装置应用于查询引擎，所述查询引擎配置有分布式缓存节点，所述分布式缓存节点用于存储国土瓦片数据，所述国土瓦片数据是对关系型数据库内存储的大规模国土矢量数据进行分块处理得到的，所述国土瓦片数据包括多个要素数据，所述装置包括：

28、请求接收模块，用于接收图斑数据查询请求，所述图斑数据查询请求携带有查询条件，所述查询条件至少包括待查询图斑数据与管控区约束数据之间的空间关系，所述管控区约束数据用于描述国土空间用途管制；

29、数据检索模块，用于基于所述国土瓦片数据之间的多级索引，从所述分布式缓存节点存储的所述国土瓦片数据中，检索满足所述查询条件的所有目标要素数据；

30、数据合并模块，用于部分图斑被分割成多个要素数据分布在不同的瓦片中，基于预先配置的空间关系与合并逻辑之间的映射关系确定目标合并逻辑，以按照所述目标合并逻辑对所述目标要素数据进行逻辑合并，确定所述目标要素数据所在的原始图斑是否满足查询要求，得到所述图斑数据查询请求对应的图斑数据查询结果。

31、第三方面，本发明实施例还提供一种服务器，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现第一方面提供的任一项所述的方法。

32、第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面提供的任一项所述的方法。

33、本发明实施例提供的一种数据处理查询方法、装置、服务器及介质，应用于查询引擎，查询引擎配置有分布式缓存节点，分布式缓存节点用于存储国土瓦片数据，国土瓦片数据是对关系型数据库内存储的大规模国土矢量数据进行分块处理得到的，国土瓦片数据包括多个要素数据，首先接收图斑数据查询请求，图斑数据查询请求携带有查询条件，查询条件至少包括待查询图斑数据与管控区约束数据之间的空间关系，管控区约束数据用于描述国土空间用途管制；然后基于国土瓦片数据之间的多级索引，从分布式缓存节点存储的国土瓦片数据中，检索满足查询条件的所有目标要素数据；部分图斑被分割成多个要素数据分布在不同的瓦片中，基于预先配置的空间关系与合并逻辑之间的映射关系确定目标合并逻辑，以按照目标合并逻辑对目标要素数据进行逻辑合并，确定目标要素数据所在的原始图斑是否满足查询要求，得到图斑数据查询请求对应的图斑数据查询结果。上述方法对国土矢量数据进行数据分块，对分块产生的国土瓦片数据缓存至不同分布式缓存节点，并构建国土瓦片数据对应的多级索引，可快速定位至包含查询范围的国土瓦片数据及其所在的分布式缓存节点，并在各个分布式缓存节点进行分布式计算，快速读取所需的目标要素数据；另外，由于分块导致所需的目标要素数据可能分布在不同的国土瓦片数据和分布式缓存节点上，本发明实施例还设计了空间关系与合并逻辑的映射关系，通过目标合并逻辑对目标要素数据进行逻辑合并，确定要素所在的原始图斑是否符合要求，输出最终的查询结果，相比于传统查询方法，耗时从小时级缩短到秒级，极大的缩短了计算时间，提升查询效率。

34、本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

35、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。