基于Flink引擎的策略更新方法、装置、设备及介质与流程

本申请涉及策略更新，特别涉及基于flink引擎的策略更新方法、装置、设备及介质。

背景技术：

1、apache flink是一个框架和分布式处理引擎，广泛应用各类大数据分析平台、网络安全检测平台的流数据处理、规则检测、告警检测等流计算业务。伴随社会数字化网络化智能化发展趋势、数据爆炸性增长，各类分析平台检测策略日益丰富、内置策略不断积累、自定义策略业务场景迅速增多；这些场景的变化涉及到规则的新增、删除、修改、启用、禁用等操作，面临这些策略的更新操作，常规的解决方案是手动/程序重启流计算任务，将所有任务及子任务全部重新提交重启以达到较为即时部署最新策略的目标；但是，每一次重启流计算任务都会造成时间上的消耗，重启过程中需要应用策略的数据将会被延迟处理，面对策略反复更新、反复重启必然会造成平台实时流处理特性的降低，另外也不能确保每一次更新策略后，都能及时重启流计算任务。

技术实现思路

1、有鉴于此，本申请的目的在于提供基于flink引擎的策略更新方法、装置、设备及介质，能够避免手动或程序重启流计算任务，从而提升流处理的实时性。其具体方案如下：

2、第一方面，本申请公开了一种基于flink引擎的策略更新方法，包括：

3、当目标平台发生策略更新操作，则将所述策略更新操作对应的更新策略写入数据库；

4、基于预设周期定时向zookeeper发送策略更新消息，以便zookeeper在接收到所述策略更新消息后，通知缓存器从所述数据库拉取目标类型的策略至缓存；所述目标类型为所述更新策略的策略类型；

5、从所述缓存中读取所述目标类型的策略，并将所述目标类型的策略部署至所述目标类型的策略所对应的流计算任务。

6、可选的，基于预设周期定时向zookeeper发送策略更新消息，包括：

7、在任一周期内，若所述目标平台发生多次策略更新操作且所述多次策略更新操作对应不同类型的策略，则在该周期的结束时刻，向zookeeper发送策略更新消息，该策略更新消息携带所述多次策略更新操作所对应的策略类型以及更新时间。

8、可选的，基于预设周期定时向zookeeper发送策略更新消息，包括：

9、在任一周期内，若所述目标平台发生多次策略更新操作且所述多次策略更新操作对应相同类型的策略，则在该周期的结束时刻，向zookeeper发送策略更新消息，该策略更新消息携带所述多次策略更新操作中首次策略更新操作所对应的策略类型以及更新时间，并将所述多次策略更新操作中非首次策略更新操作延后至后续周期进行通知。

10、可选的，还包括：

11、为所述目标平台的各策略类型在flink处理引擎中设置不同路径

12、可选的zookeeper还将所述策略更新消息携带的更新时间记录至相应策略类型所对应的路径下。

13、可选的，将所述更新的策略写入数据库之后，还包括：

14、获取所述数据库同步的策略已写入完成信息。

15、可选的，所述数据库在初始化时，记录所述目标平台的所有策略；所述缓存器在初始化时，将所述目标平台的所有策略写入所述缓存。

16、第二方面，本申请公开了一种基于flink引擎的策略更新装置，包括：

17、更新策略写入模块，用于当目标平台发生策略更新操作，则将所述策略更新操作对应的更新策略写入数据库；

18、策略更新通知模块，用于基于预设周期定时向zookeeper发送策略更新消息，以便zookeeper在接收到所述策略更新消息后，通知缓存器从所述数据库拉取目标类型的策略至缓存；所述目标类型为所述更新策略的策略类型；

19、更新策略部署模块，用于从所述缓存中读取所述目标类型的策略，并将所述目标类型的策略部署至所述目标类型的策略所对应的流计算任务。

20、第三方面，本申请公开了一种电子设备，包括处理器和存储器；其中，

21、所述存储器，用于保存计算机程序；

22、所述处理器，用于执行所述计算机程序，以实现前述的基于flink引擎的策略更新方法。

23、第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述的基于flink引擎的策略更新方法。

24、可见，本申请当目标平台发生策略更新操作，则将所述策略更新操作对应的更新策略写入数据库，基于预设周期定时向zookeeper发送策略更新消息，以便zookeeper在接收到所述策略更新消息后，通知缓存器从所述数据库拉取目标类型的策略至缓存；所述目标类型为所述更新策略的策略类型，从所述缓存中读取所述目标类型的策略，并将所述目标类型的策略部署至所述目标类型的策略所对应的流计算任务。也即，本申请中，当平台发生策略更新，则将更新策略写入数据库，并且定时向zookeeper发送策略更新消息，zookeeper在接收到策略更新消息后，通知缓存器从数据库拉取目标类型的策略至缓存，进而从缓存中读取目标类型的策略并部署至相应的流计算任务，这样，通过定时向zookeeper发送策略更新消息，通知缓存器从数据库拉取目标类型的策略至缓存，进而实现更新策略的部署，能够避免手动或程序重启流计算任务，从而提升流处理的实时性。

技术特征：

1.一种基于flink引擎的策略更新方法，其特征在于，包括：

2.根据权利要求1所述的基于flink引擎的策略更新方法，其特征在于，基于预设周期定时向zookeeper发送策略更新消息，包括：

3.根据权利要求1所述的基于flink引擎的策略更新方法，其特征在于，基于预设周期定时向zookeeper发送策略更新消息，包括：

4.根据权利要求1所述的基于flink引擎的策略更新方法，其特征在于，还包括：

5.根据权利要求4所述的基于flink引擎的策略更新方法，其特征在于，zookeeper还将所述策略更新消息携带的更新时间记录至相应策略类型所对应的路径下。

6.根据权利要求1所述的基于flink引擎的策略更新方法，其特征在于，将所述更新的策略写入数据库之后，还包括：

7.根据权利要求1至6任一项所述的基于flink引擎的策略更新方法，其特征在于，所述数据库在初始化时，记录所述目标平台的所有策略；所述缓存器在初始化时，将所述目标平台的所有策略写入所述缓存。

8.一种基于flink引擎的策略更新装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括处理器和存储器；其中，

10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于flink引擎的策略更新方法。

技术总结
本申请公开了基于Flink引擎的策略更新方法、装置、设备及介质，包括：当目标平台发生策略更新操作，则将所述策略更新操作对应的更新策略写入数据库；基于预设周期定时向Zookeeper发送策略更新消息，以便Zookeeper在接收到所述策略更新消息后，通知缓存器从所述数据库拉取目标类型的策略至缓存；所述目标类型为所述更新策略的策略类型；从所述缓存中读取所述目标类型的策略，并将所述目标类型的策略部署至所述目标类型的策略所对应的流计算任务。这样，能够避免手动或程序重启流计算任务，从而提升流处理的实时性。

技术研发人员：王玉叶,杨梦龙
受保护的技术使用者：杭州安恒信息技术股份有限公司
技术研发日：
技术公布日：2024/1/15