基于业务场景的实时业务监控方法、系统、终端及介质与流程

文档序号:26139362发布日期:2021-08-03 14:22阅读:来源:国知局

技术特征:

1.一种基于业务场景的实时业务监控方法,其特征在于,包括:

在业务应用日志埋点,实时采集埋点数据;

根据采集的所述埋点数据,将总耗时超过设定阈值的业务单作为业务异常事件进行实时监控,其中,所述总耗时是指该业务单从发起初始状态到最终完成状态这一过程所耗时间。

2.根据权利要求1所述的基于业务场景的实时业务监控方法,其特征在于,所述在业务应用日志埋点,实时采集埋点数据,包括:

在业务系统埋点应用日志数据,并异步发送到kafka集群主题分区中;

采用flink进程根据kafka消费者注册的指定主题,实时并发地消费不同主题分区内的业务单数据,通过filter算子将业务单状态处于初始状态和最终状态的数据筛选出来,得到实时的埋点数据。

3.根据权利要求1所述的基于业务场景的实时业务监控方法,其特征在于,所述根据采集的所述埋点数据,将总耗时超过设定阈值的业务单作为业务异常事件进行实时监控,包括:

采用redislua脚本对每一项业务单的状态变化日志进行预排序;

通过flinkcep模型对每一项预排序后的业务单进行超时模式匹配,得到业务异常事件。

4.根据权利要求3所述的基于业务场景的实时业务监控方法,其特征在于,所述采用redislua脚本对每一项业务单的状态变化日志进行预排序,包括:

将同一项业务单不同状态下的埋点数据依次输入至redis中,通过lua脚本对不同状态下的埋点数据的先后顺序进行预排序,并在排序逻辑中确定某项埋点数据在hash数据结构中暂时驻留等待或立即发往下游。

5.根据权利要求4所述的基于业务场景的实时业务监控方法,其特征在于,所述通过flinkcep库对每一项预排序后的业务单进行超时模式匹配,包括:

针对上游发过来的每一项业务单,利用flink进程中cep复杂事件处理模型,进行实时模式匹配;

根据cep复杂事件处理模型中预设的开始条件、结束条件以及完全达成开始条件和结束条件的超时阈值,将超过超时阈值的业务单作为业务异常事件。

6.根据权利要求5所述的基于业务场景的实时业务监控方法,其特征在于,所述业务异常事件通过以下方式得到:

根据业务的开始条件、结束条件以及超时阈值,构建cep复杂事件处理模型,通过cep复杂事件处理模型的静态方法将上游业务事件流转为模型流patternstream;然后针对所述模型流patternstream调用flatselect平面选择方法,从模型流patternstream中进行匹配分流,最后调用getsideoutput方法获取到超时的事件流,得到业务异常事件;

和/或

所述cep复杂事件处理模型中:

预设的开始条件为:业务事件初始化状态02;

预设的结束条件为:业务事件结束状态00或01;

预设的超时阈值为:3~5分钟。

7.根据权利要求1-6中任一项所述的基于业务场景的实时业务监控方法,其特征在于,还包括:

将所述业务异常事件进行封装,并发送至下游告警平台。

8.一种基于业务场景的实时业务监控系统,其特征在于,包括:

应用日志埋点模块,该模块在业务应用日志埋点;

实时数据采集模块,该模块通过应用日志埋点模块,实时获取埋点数据;

复杂事件处理模块,该模块根据采集的所述埋点数据,将总耗时超过设定阈值的业务单作为业务异常事件进行实时监控,其中,所述总耗时是指该业务单从发起初始状态到最终完成状态这一过程所耗时间。

9.一种终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时可用于执行权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时可用于执行权利要求1-7中任一项所述的方法。


技术总结
本发明提供了一种基于业务场景的实时业务监控方法及系统,包括业务应用日志埋点;埋点数据实时采集;实时复杂事件处理;输出超时告警消息。在业务应用日志埋点进行数据监控,根据业务单发起初始化状态到处理中状态再到业务单完成终态的状态变化过程,配置超时时间,对于总耗时超过超时时间的业务单进行实时监控。其中,采用Redis Lua脚本对每一项业务单的状态变化日志进行预排序,并通过Flink CEP模型对每一项预排序后的业务单进行超时模式匹配,得到业务异常事件。本发明既可以很好的贴合业务场景,对每一笔业务单进行监控并及时发现超时异常的业务单,可以扩展到任何具有不同状态先后顺序变化的业务场景。

技术研发人员:邵志鹏
受保护的技术使用者:商盟商务服务有限公司
技术研发日:2021.04.23
技术公布日:2021.08.03
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1