一种图层数据聚合查询方法及装置与流程

本发明涉及数据库，具体提供一种图层数据聚合查询方法及装置。

背景技术：

1、在智慧城市建设中，通常需要对各种城市资源的分布、使用情况和运行状态等信息进行实时监控和分析。其中，涉及到的数据类型非常多，包括但不限于综治事件、建筑设施、工程项目、两客一危等。而这些数据中很多都包含有地理位置信息，因此需要对这些数据进行地理信息的存储、查询和可视化展示。

2、传统的方法往往需要使用gis等地理信息系统来完成数据的处理和展示，但是这种方法通常需要复杂的数据处理和昂贵的软硬件设备，成本较高且使用复杂。

技术实现思路

1、本发明是针对上述现有技术的不足，提供一种实用性强的图层数据聚合查询方法。

2、本发明进一步的技术任务是提供一种设计合理，安全适用的图层数据聚合查询装置。

3、本发明解决其技术问题所采用的技术方案是：

4、一种图层数据聚合查询方法，首先跨数据源查询数据库表的信息，然后提供可视化配置方法，将不同数据源的数据表存放在配置表中，提供自定义图层名称、图标、展示字段配置以及数据增删改查功能；

5、基于已完成的配置，将数据库数据同步到elasticsearch，同时采用定时任务保证数据实时性；

6、根据用户操作返回聚合或者不聚合、在某一范围内的图层信息和经纬度信息。

7、进一步的，跨数据源查询数据库表的信息中，通过jdbc技术，连接到指定的数据源，根据数据库的类型选择对应的数据库表数据查询方法，在对应的数据源中执行查询语句，获取到所述数据源下的所有数据库表、数据库视图列表。

8、进一步的，将所述数据库视图列表提供给用户进行查看，根据用户选择的数据库表名称，执行数据库表信息查询语句，获取指定的数据库表的注释、包含数据量、最近更新时间、数据库表注释、表字段名称、表字段类型、表字段长度、表字段是否允许为空、表字段注释信息以及表主键信息；

9、查询到的数据库信息记录到系统中，用于在后续实施例中提供给用户查看。

10、进一步的，将不同数据源的数据表存放在配置表中，获取到的数据表信息后，以可视化的界面信息提供给用户进行数据库选择，同时提供给用户数据库表关联关系的可视化选择页面；

11、用户在完成选择后，根据用户选择的数据，进行数据库的查询操作，校验是否能查询到数据，并展示查询到的结果数据作为图层数据，用户基于结果数据填写完成完整的图层信息，并保存该配置到系统中，同时设置图层的定时同步时间，且图层信息的配置将用于后续的实施例中使用。

12、进一步的，保存的图层配置信息，连接配置中的数据库，同时基于分页查询逻辑，查询数据表中的数据；

13、根据配置中对字段的定义，将对应的经度字段、纬度字段数据计算得到对应的geojson格式，将转换后的数据附带名称字段存储到elasticsearch的索引中；

14、通过图层配置中的定时任务时间，定时执行以上步骤，保证在elasticsearch中为最新数据。

15、进一步的，在根据用户操作返回聚合或者不聚合、在某一范围内的图层信息和经纬度信息中，具体步骤为：

16、(1)接受请求；

17、(2)解析请求参数；

18、(3)构建elasticsearch查询条件；

19、(4)执行聚合操作；

20、(5)返回结果。

21、进一步的，在步骤(1)中，提供接口，接收用户传来的查询请求，包括查询类型、查询参数以及聚合参数；

22、在步骤(2)中，接收到请求后，解析传入的查询参数和聚合参数，获取查询类型和查询范围，以及需要聚合的字段和聚合方式；

23、在步骤(3)中，根据查询类型和查询范围构建elasticsearch查询条件，使用elasticsearch的地理位置查询功能过滤出符合条件的数据；

24、在步骤(4)中，根据传入的聚合参数，在查询结果集中执行聚合操作，根据聚合方式生成聚合结果数据；

25、在步骤(5)中，将查询结果和聚合结果以json格式返回，供用户展示和分析。

26、一种图层数据聚合查询装置，包括：至少一个存储器和至少一个处理器；

27、所述至少一个存储器，用于存储机器可读程序；

28、所述至少一个处理器，用于调用所述机器可读程序，执行一种图层数据聚合查询方法。

29、本发明的一种图层数据聚合查询方法及装置和现有技术相比，具有以下突出的有益效果：

30、本发明提供的技术方案可以满足智慧城市大屏可视化等业务系统的数据展示需求，提升数据查询效率，改善用户体验，同时提高系统稳定性和可用性。

31、(1)可以满足业务需求：可以满足智慧城市大屏可视化等业务系统对于地理位置相关的数据展示需求。通过在配置页面动态配置数据表字段信息，系统管理员可以方便地配置多个数据源并展示多种类型的数据，如设备分布、项目分布、重点监管车辆分布等。

32、(2)提升数据查询效率：通过将部分数据存储到elasticsearch中，并利用其强大的空间查询能力，可以快速查询指定位置周边的数据，提高数据查询效率。同时，通过定时任务方式进行数据同步，可以实时将数据同步到elasticsearch中，保证数据的准确性和实时性。

33、(3)改善用户体验：本专利提供的技术方案可以通过可视化页面进行数据表字段的配置，方便用户快速查看需要的数据。同时，通过聚合展示方式，可以直观地展示大量的数据，帮助用户更快速地理解数据趋势和关联关系，提升用户体验。

34、(4)提高系统稳定性：通过将数据存储到mysql和elasticsearch中，可以实现数据的多副本备份和容灾处理，提高系统的稳定性和可用性。

技术特征：

1.一种图层数据聚合查询方法，其特征在于，首先跨数据源查询数据库表的信息，然后提供可视化配置方法，将不同数据源的数据表存放在配置表中，提供自定义图层名称、图标、展示字段配置以及数据增删改查功能；

2.根据权利要求1所述的一种图层数据聚合查询方法，其特征在于，跨数据源查询数据库表的信息中，通过jdbc技术，连接到指定的数据源，根据数据库的类型选择对应的数据库表数据查询方法，在对应的数据源中执行查询语句，获取到所述数据源下的所有数据库表、数据库视图列表。

3.根据权利要求2所述的一种图层数据聚合查询方法，其特征在于，将所述数据库视图列表提供给用户进行查看，根据用户选择的数据库表名称，执行数据库表信息查询语句，获取指定的数据库表的注释、包含数据量、最近更新时间、数据库表注释、表字段名称、表字段类型、表字段长度、表字段是否允许为空、表字段注释信息以及表主键信息；

4.根据权利要求3所述的一种图层数据聚合查询方法，其特征在于，将不同数据源的数据表存放在配置表中，获取到的数据表信息后，以可视化的界面信息提供给用户进行数据库选择，同时提供给用户数据库表关联关系的可视化选择页面；

5.根据权利要求4所述的一种图层数据聚合查询方法，其特征在于，保存的图层配置信息，连接配置中的数据库，同时基于分页查询逻辑，查询数据表中的数据；

6.根据权利要求5所述的一种图层数据聚合查询方法，其特征在于，在根据用户操作返回聚合或者不聚合、在某一范围内的图层信息和经纬度信息中，具体步骤为：

7.根据权利要求6所述的一种图层数据聚合查询方法，其特征在于，在步骤(1)中，提供接口，接收用户传来的查询请求，包括查询类型、查询参数以及聚合参数；

8.一种图层数据聚合查询装置，其特征在于，包括：至少一个存储器和至少一个处理器；

技术总结
本发明涉及数据库技术领域，具体提供了一种图层数据聚合查询方法及装置，首先跨数据源查询数据库表的信息，然后提供可视化配置方法，将不同数据源的数据表存放在配置表中，提供自定义图层名称、图标、展示字段配置以及数据增删改查功能；基于已完成的配置，将数据库数据同步到Elasticsearch，同时采用定时任务保证数据实时性；根据用户操作返回聚合或者不聚合、在某一范围内的图层信息和经纬度信息。与现有技术相比，本发明可以满足智慧城市大屏可视化等业务系统的数据展示需求，提升数据查询效率，改善用户体验，同时提高系统稳定性和可用性。

技术研发人员：周政,白玉坤
受保护的技术使用者：山东浪潮新基建科技有限公司
技术研发日：
技术公布日：2024/1/14