一种针对大数据场景下数据统计查询的优化方法与流程

本发明涉及统计查询，具体是指一种针对大数据场景下数据统计查询的优化方法。

背景技术：

1、进入大数据时代以来，对于企业来说，海量的数据不仅是财富，也是负担。无论是大型企业还是小型企业，都面临着同样的挑战——如何利用大数据客户体验，有效达到优化生产力的效果。这也是近年来许多企业选择搭建现代大数据分析平台的重要原因。

2、但是，不管是传统意义上的bi平台，还是耦合业务系统的数据分析产品，其本质上都强依赖于底层的数据统计查询，也就是我们常说查数据的大sql。而一般情况下，数据平台的建设，只关注本身数据质量问题，数据的查询阶段还是需要数据的使用者，如bi平台或报表工具等自行判断和把控。

3、而在业务场景越来越复杂话的情况下，难免会出现为了满足某种特殊的数据查询场景，需要将数据库中多张表进行关联后再通过特定的条件进行数据查询，一般情况下我们常见的方案就是在数据库底层做数据逻辑视图，要么提前那根据业务场景做数据的etl。

4、因此，怎么能够适应快速变化的业务数据需求，同时不要需要大量的开发工作介入既可以快速迭代出底层数据逻辑，就显得尤为中重要了。

技术实现思路

1、本发明的目的在于提供一种针对大数据场景下数据统计查询的优化方法，以解决无法使用快速变化业务数据需求，需要快速迭代底层数据逻辑的问题。

2、为解决上述技术问题，本发明提供的技术方案为：一种针对大数据场景下数据统计查询的优化方法，包括以下步骤：

3、(1)根据需求分析，确定业务场景设计的底层数据表；

4、(2)通过程序对数据表的元数据信息进行管理；

5、(3)开发一组单独的组件用来控制每一次统计分析查询能精准的根据查询条件和预设的虚拟表信息，将底层大表加入的数据查询转化为多个相关表子查询后再加入的中间态临时数据视图上；

6、(4)通过有效的参数，在(3)中构件的虚拟表信息上再次进行数据查询，得出数据结果。

7、根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面提供的方法。

8、根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行根据第一方面提供的方法。

9、根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据第一方面提供的方法。

10、本公开通过接收来自用户的应用配置参数并根据应用配置参数、预设的代码仓库和配置仓库，通过预先设置的应用模型，渲染得到待部署应用的应用参数包。最后根据应用参数包，在云平台上部署待部署应用。由于用户只需要提供配置参数，即可根据配置参数生成应用参数包并在云平台上部署应用，无需用户直接编写应用参数包，大大降低了在云平台上部署应用的门槛，提供了更加便捷的云原生应用的部署方式。

11、优选的，所述单独的组件能够只能匹配数据集，包括以下步骤：

12、(1)前端根据界面参数发起统计查询请求；

13、(2)根据数据表和字段，结合元数据信息，提取数据表基础信息；

14、(3)根据数据表基础信息，根据查询参数动态拆分子查询sql和对子查询作为的中间态数据表进行顺序和条件加入，构件“虚拟表”大sql；

15、(4)按条件对“虚拟表”大sql进行数据查询；

16、(5)同时对慢查询和数据量级变化进行监控分析，反馈给元数据进行信息更新，便于动态调整子查询加入顺序，确保最终的“虚拟表”为最优的中间态数据集。

17、优选的，所述统计查询请求包含数据表和查询条件。

18、优选的，所述数据表基础信息包括聚合等级、数据量级信息。

19、优选的，所述按条件对“虚拟表”大sql进行数据查询的结果处理后应返回前端进行渲染。

20、本发明与现有技术相比的优点在于：1、该大数据场景下数据统计查询的优化策略和技术在数据统计查询后台开发实现，对数据应用端来说是无感知的，只要按照特定规则，即可快速接入此方法来提升数据查询能力。

21、2、数据开发人员可通过相关的接口或ui，进行虚拟表的编辑和更新，从而快速满足变化的业务数据使用场景。

22、3、采用算法智能拆分和查询条件填充的方式，在前端有限的参数下，对底层本身复杂的加入查询进行动态拆解和重新组装，优化数据查询路线，快速响应查询结果，提高底层数据库的稳定性，减小不必要的性能开支。

23、4、对虚拟表构建的工程进行监控判断，对可能会产生慢查询或影响数据库性能的逻辑进行快速拦截和容错处理，保证底层数据库的稳定性和可用性。

24、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种针对大数据场景下数据统计查询的优化方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种针对大数据场景下数据统计查询的优化方法，其特征在于：所述单独的组件能够只能匹配数据集，包括以下步骤：

3.根据权利要求2所述的一种针对大数据场景下数据统计查询的优化方法，其特征在于：所述统计查询请求包含数据表和查询条件。

4.根据权利要求2所述的一种针对大数据场景下数据统计查询的优化方法，其特征在于：所述数据表基础信息包括聚合等级、数据量级信息。

5.根据权利要求1所述的一种针对大数据场景下数据统计查询的优化方法，其特征在于：所述按条件对“虚拟表”大sql进行数据查询的结果处理后应返回前端进行渲染。

6.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；

7.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-5任一项所述的方法。

8.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-5任一项所述的方法。

技术总结
本发明公开了一种针对大数据场景下数据统计查询的优化方法，包括以下步骤：(1)根据需求分析，确定业务场景设计的底层数据表；(2)通过程序对数据表的元数据信息进行管理；(3)开发一组单独的组件用来控制每一次统计分析查询能精准的根据查询条件和预设的虚拟表信息；(4)通过有效的参数，在(3)中构件的虚拟表信息上再次进行数据查询，得出数据结果。本发明与现有技术相比的优点在于：1、可快速接入此方法来提升数据查询能力；2、快速满足变化的业务数据使用场景；3、优化数据查询路线，快速响应查询结果，提高底层数据库的稳定性；4、保证底层数据库的稳定性和可用性。

技术研发人员：李栋,潘祥,张燕
受保护的技术使用者：西安点告网络科技有限公司
技术研发日：
技术公布日：2024/1/16