基于流批一体的布控预警系统与方法与流程

本发明属于大数据处理，更具体地说，是涉及基于流批一体的布控预警系统与方法。

背景技术：

1、目前随着互联网和移动互联网的不断发展，各行各业都积累海量的业务数据。而企业为了改善用户体验，提升产品在市场上的竞争力，都采取了实时化方式来处理大数据。社交媒体的实时大屏、电商的实时推荐、城市大脑的实时交通预测、金融行业的实时反欺诈，这些产品的成功都在说明大数据处理的实时化已经成为一个势不可挡的潮流。在实时化的大趋势下，如何将实时数据处理与历史业务中的批处理融合，解决开发人员与用户的痛点，就是当前解决这些问题的关键。

2、现有处理布控预警的方法，分为两种，第一种批处理预警，也就是综合历史数据分析产生预警结果；随着技术的发展，目前用户越来越追求数据的时效性，所以产生了第二种为高时效性数据处理的布控预警。这两种方式独立运行，从用户以及开发人员的角度来看，原有的流、批独立方案存在一些缺点：1、由于流和批是两套系统，相同的逻辑需要两个团队开发两遍，所以人力成本比较高。2、数据链路冗余。在很多的场景下，流和批计算内容其实是一致，但是由于是两套系统，所以相同逻辑还是需要运行两遍，产生一定的资源浪费。3、数据口径不一致。两套系统、两套算子，两套udf(用户自定义函数)，一定会产生不同程度的误差，这些误差给业务方带来了非常大的困扰。

技术实现思路

1、为解决上述问题，本发明的目的在于提供基于流批一体的布控预警系统与方法。

2、为实现上述目的，本发明采用的技术方案是：

3、基于流批一体的布控预警系统，包括：

4、数据源管理模块，用于从不同的数据源中提取出布控数据；

5、布控管理模块，用于根据所述布控数据创建布控任务；

6、审批模块，用于对所述布控任务进行审批，且当所述布控任务通过审批后，将所述布控任务所产生的预警消息传输到预警模块进行展示。

7、优选的，所述布控数据包括存储在消息队列中的实时轨迹类数据以及存储在分部署存储数据库中的维度表数据。

8、优选的，所述数据源管理模块，用于通过java spi和自定义类加载器的方式实现数据源插件机制，以动态加载适配各类数据源。

9、优选的，所述布控管理模块，用于采用拖拉拽的方式构建有向无环图，并基于所述有向无环图和所述布控数据创建布控任务。

10、优选的，所述审批模块，用于根据预设的组织机构层级进行审批。

11、优选的，所述审批模块，还用于将通过审批后的布控任务解析为flink任务。

12、本发明还提供了基于流批一体的布控预警方法，包括：

13、步骤1：从不同的数据源中提取出布控数据；

14、步骤2：根据所述布控数据创建布控任务；

15、步骤3：对所述布控任务进行审批，且当所述布控任务通过审批后，将所述布控任务所产生的预警消息传输到预警模块进行展示。

16、本发明还提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现上述的基于流批一体的布控预警方法中的步骤。

17、本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的基于流批一体的布控预警方法中的步骤。

18、本发明提供的基于流批一体的布控预警系统及方法的有益效果在于：与现有技术相比，本发明通过dag(有向无环图)模型实现数据流处理与批处理的融合，减少了数据链的冗余，同时也缓解了开发人员的维护难度，避免了因流批结果结算不一致带来的误差。

技术特征：

1.基于流批一体的布控预警系统，其特征在于，包括：

2.基于流批一体的布控预警系统，其特征在于，所述布控数据包括存储在消息队列中的实时轨迹类数据以及存储在分部署存储数据库中的维度表数据。

3.如权利要求2所述的基于流批一体的布控预警方法，其特征在于，所述数据源管理模块，用于通过java spi和自定义类加载器的方式实现数据源插件机制，以动态加载适配各类数据源。

4.如权利要求3所述的基于流批一体的布控预警系统，其特征在于，所述布控管理模块，用于采用拖拉拽的方式构建有向无环图，并基于所述有向无环图和所述布控数据创建布控任务。

5.如权利要求4所述的基于流批一体的布控预警系统，其特征在于，所述审批模块，用于根据预设的组织机构层级进行审批。

6.如权利要求5所述的基于流批一体的布控预警系统，其特征在于，所述审批模块，还用于将通过审批后的布控任务解析为flink任务。

7.基于流批一体的布控预警方法，其特征在于，包括：

8.一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求7中任一项所述的基于流批一体的布控预警方法中的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求7中任一项所述的基于流批一体的布控预警方法中的步骤。

技术总结
本发明提供了基于流批一体的布控预警系统与方法，其中该系统包括：数据源管理模块，用于从不同的数据源中提取出布控数据；布控管理模块，用于根据所述布控数据创建布控任务；审批模块，用于对所述布控任务进行审批，且当所述布控任务通过审批后，将所述布控任务所产生的预警消息传输到预警模块进行展示。本发明通过DAG(有向无环图)模型实现数据流处理与批处理的融合，减少了数据链的冗余，同时也缓解了开发人员的维护难度，避免了因流批结果结算不一致带来的误差。

技术研发人员：孙继东,杨明,刘志铭,任俊杰,田恬,冯战卫,胡亚彬,张玉福
受保护的技术使用者：航天神舟智慧系统技术有限公司
技术研发日：
技术公布日：2024/3/31