一种数据监控方法及装置、一种计算设备及存储介质与流程

文档序号:18257911发布日期:2019-07-24 10:25阅读:159来源:国知局
一种数据监控方法及装置、一种计算设备及存储介质与流程

本申请涉及互联网技术领域,特别涉及一种数据监控方法及装置、一种计算设备及存储介质。



背景技术:

为了保证网络交易平台的安全性,需要对网络交易平台进行安全监控,随着淘宝等网络交易平台业务量的增加、业务种类的爆发式增长、业务复杂度的突增,网络交易平台安全监控涉及地监控范围越来越广、监控内容越来越多、对突发交易数据监控预警信息的处理速度要求越来越快。

传统的安全监控处理方法,对交易数据监控预警信息的提取无根据历史数据形成的阈值降噪机制,基于人工经验对交易数据进行处理,所需工作量大;对预警信息的处理以人工处理为主,每条预警信息均人工反馈,往往导致对相同或相似的预警信息进行多次处理,处理速度慢。



技术实现要素:

有鉴于此,本申请实施例提供了一种数据监控方法及装置、一种计算设备及存储介质,以解决现有技术中存在的技术缺陷。

第一方面,本申请一个或多个实施例提供了一种数据监控方法,包括:

基于预设的预警阈值收集预设时间周期内的预警信息,所述预警信息包括预警时刻的预警阈值和实际业务数据;

基于预警时刻的预警阈值和实际业务数据确定第一推荐降噪阈值;

根据所述第一推荐降噪阈值调整所述预警阈值。

第二方面,本申请一个或多个实施例提供了一种数据监控装置,包括:

数据归集模块,被配置为基于预设的预警阈值收集预设时间周期内的预警信息,所述预警信息包括预警时刻的预警阈值和实际业务数据;

阈值推荐模块,被配置为基于预警时刻的预警阈值和实际业务数据确定第一推荐降噪阈值;

降噪执行模块,被配置为根据所述第一推荐降噪阈值调整所述预警阈值。

第三方面,本申请一个或多个实施例提供了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,其特征在于,所述处理器执行所述指令时实现该指令被处理器执行时实现数据监控方法的步骤。

第四方面,本说明书实施例公开了一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现数据监控方法的步骤。

本申请一个或多个实施例提供的一种数据监控方法、装置,一种计算设备及存储介质,基于预设的预警阈值收集预设时间周期内的预警信息,所述预警信息包括预警时刻的预警阈值和实际业务数据;基于预警时刻的预警阈值和实际业务数据确定第一推荐降噪阈值;根据所述第一推荐降噪阈值调整所述预警阈值。本申请提供了一种基于文本挖掘和推荐算法的监控降噪机制,本机制能够推荐出优先处理项和降噪阈值,精准有效地降低预警噪音,减少人工重复劳动和判断,提升系统监控的准确度。

附图说明

图1是本申请一个或多个实施例提供的一种计算设备的框架示意图;

图2是本申请一个或多个实施例提供的一种数据监控方法的流程图;

图3是本申请一个或多个实施例提供的一种数据监控方法的流程图;

图4是本申请一个或多个实施例提供的一种数据监控方法的流程图;

图5a是本申请一个或多个实施例提供的预警信息的分时对比数据分析图;

图5b是本申请一个或多个实施例提供的预警信息的历史趋势数据分析图;

图5c是本申请一个或多个实施例提供的预警信息的占比分析数据分析图;

图6是本申请一个或多个实施例提供的一种数据监控方法的流程图;

图7a是本申请一个或多个实施例提供的预警阈值与实际业务数据的可视化对比图;

图7b是本申请一个或多个实施例提供的预警信息的可视化数据的可视化对比图;

图7c是本申请一个或多个实施例提供的预警信息的可视化数据的可视化对比图;

图7d是本申请一个或多个实施例提供的预警信息的可视化数据的可视化对比图;

图8是本申请一个或多个实施例提供的一种数据监控方法的流程图;

图9是本申请一个或多个实施例提供的一种数据监控装置的结构示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先,对本发明一个或多个实施例涉及的名词术语进行解释。

监控:预警系统的应用监控和自定义监控

降噪:过滤或抑制无效报警,提升监控预警信息的有效推送

文本挖掘:对全量预警信息,进行分词和词频分析,提取关键特征,将预警信息转为词向量,进而基于相似性度量,将预警信息归类。

在本申请中,提供了一种数据监控方法及装置、一种计算设备及存储介质,在下面的实施例中逐一进行详细说明。

图1是示出了根据本说明书一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器 110通过总线130相连接,数据库150用于保存数据。

计算设备100还包括接入设备140,接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN) 无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB) 接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。

在本说明书的一个实施例中,计算设备100的上述以及图1中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图1所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。

计算设备100可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备100还可以是移动式或静止式的服务器。

其中,处理器120可以执行图2所示方法中的步骤。图2是示出了根据本申请一实施例的数据监控方法的示意性流程图,包括步骤202至步骤206。

步骤202:基于预设的预警阈值收集预设时间周期内的预警信息,所述预警信息包括预警时刻的预警阈值和实际业务数据。

在本说明书提供的一个或多个实施例中,所述预警阈值包含被监控项在预设时间周期内的业务阈值,所述业务阈值可以是根据被监控项在预设时间周期内的历史处理业务数据设置的,包含预设时间周期内每一监控时刻的处理业务阈值,以及预设时间周期内每一监控时刻的处理业务量的最高业务阈值和处理业务量的最低业务阈值,基于预设的预警阈值收集预设时间周期内的预警信息包括:在预设时间周期内每一监控时刻,将被监控项的实际业务数据与所述业务阈值进行比较,在确定需要预警时形成所述预警信息。

在实际应用中,所述预警信息可以是来自于大数据监控平台对电商或普通消费者的应用预警和自定义监控预警,所述大数据监控平台通过离线数据仓库取得数据,匹配各域信息,补全系统信息。

例如,大数据监控平台采集被监控项在预设时间周期内每一监控时刻的业务处理量,形成每一监控时刻的实际业务数据,将采集到的每一监控时刻的采实际业务数据与预警阈值中该监控时刻的处理业务阈值进行比较,当在某一监控时刻的实际业务数据高于该监控时刻的业务处理量的最高业务阈值或低于业务处理量的最低业务阈值时,大数据监控平台在该监控时刻报警,形成预警信息,该监控时刻为预警时刻,并且大数据监控平台能够同时监控多个被监控项,因此大数据监控平台收集的预警信息可能包含预设时间周期内每一时刻的不同被监控项的预警信息。

可选的,所述预设时间周期可以根据实际业务的需求来确定,所述预设时间周期可以是一天或一个非自然月。

步骤204:基于预警时刻的预警阈值和实际业务数据确定第一推荐降噪阈值。

在本说明书提供的一个或多个实施例中,第一推荐降噪阈值包括最高第一推荐降噪阈值和最低第一推荐降噪阈值。

实际应用中,不同的业务有不同的预警阈值,可以记为业务阈值。以对服务器的访问量的统计为例,该访问量的阈值可以记为访问量阈值。

将预警时刻的预警阈值和预警时刻的实际业务数据进行比较,当预警时刻的实际业务数据高于预警时刻的处理业务量的最高业务阈值时,得到比预警时刻的预警阈值高的第一推荐降噪阈值;当预警时刻的实际业务数据低于预警时刻的处理业务量的最低业务阈值时,得到比预警时刻的预警阈值低的第一推荐降噪阈值。

步骤206:根据所述第一推荐降噪阈值调整所述预警阈值。

在本说明书提供的一个或多个实施例中,将所述预警时刻的预警阈值和预警时刻的实际业务数据进行减法运算,得到预警时刻的预警阈值和预警时刻的实际业务数据之间的预警差值,将所述预警差值的绝对值与预设的差值阈值进行比较,若所述预警差值的绝对值大于等于所述差值阈值,那么就判定预警阈值设置不合理需要降噪,则通过业务阈值与第一推荐降噪阈值相加或相减来提高所述预警阈值,得到新的预警阈值;若所述预警差值的绝对值小于所述差值阈值,那么就可以认为预警阈值设置合理不需要降噪,则继续使用当前的预警阈值。

在本说明书提供的一个或多个实施例中,对多个预警时刻的实际业务数据与所述业务阈值进行比较,统计所述实际业务数据高于所述最高业务阈值的发生次数或所述实际业务数据低于所述最高业务阈值的发生次数,得到多个预警时刻的实际业务数据相对于预警时刻的预警阈值的整体分布,将所述发生次数与预设的次数阈值进行比较,若所述发生次数大于等于所述次数阈值,那么就判定预警阈值设置不合理需要降噪;若所述发生次数小于所述次数阈值,那么就可以认为预警阈值设置合理不需要降噪,则继续使用当前的预警阈值。

以十个预警时刻的数据为例,若其中八个预警时刻的实际业务数据均高于最高业务阈值,那么就通过业务阈值与第一推荐降噪阈值相加来提高所述预警阈值,得到新的预警阈值;仍然以十个预警时刻的数据为例,若其中八个预警时刻的实际业务数据均低于最低业务阈值,那么就通过业务阈值与第一推荐降噪阈值相减来降低所述预警阈值,得到新的预警阈值。

本申请通过收集预警信息,并基于预警信息的预警阈值和实际业务数据确定第一推荐降噪阈值,达到用所述第一推荐降噪阈值调整所述预警阈值的目的,实现监控降噪,保证预警阈值的合理有效性,保证以后根据预警阈值得到的预警信息为真实预警信息,提高对业务处理系统中危险问题的处理效率。

其中,处理器120可以执行图3所示方法中的步骤。图3是示出了根据本申请一实施例的数据监控方法的示意性流程图,包括步骤302至步骤312。

步骤302:基于预设的预警阈值收集预设时间周期内的预警信息,所述预警信息包括预警时刻的预警阈值和实际业务数据。

在本说明书提供的一个或多个实施例中,所述预警阈值包含被监控项在预设时间周期内的业务阈值,所述业务阈值是根据被监控项在预设时间周期内的历史处理业务数据设置的,包含预设时间周期内每一监控时刻的处理业务阈值,以及预设时间周期内每一监控时刻的处理业务量的最高业务阈值和处理业务量的最低业务阈值,基于预设的预警阈值收集预设时间周期内的预警信息包括:在预设时间周期内每一监控时刻,将被监控项的实际业务数据与所述业务阈值进行比较,再确定需要预警时形成所述预警信息。

可选的,所述预设时间周期可以根据实际业务的需求来确定,所述预设时间周期可以是一天或一个非自然月。

步骤304:对所述预警信息进行相似度归类处理,将所述预警信息进行分类。

在本说明书提供的一个或多个实施例中,基于正则表达式和word2vector算法对所述预警信息进行分类,然后提取每条预警信息的预警阈值和实际业务数据。

参见图4,在本说明书提供的一个或多个实施例中,对所述预警信息进行相似度归类处理,将所述预警信息进行分类包括步骤402至步骤404。

步骤402:对所述预警信息进行分词处理,提取关键预警字段。

在本说明书提供的一个或多个实施例中,利用word2vector算法对所述预警信息转化为词向量即进行分词处理,映射到K维度空间向量,并进行词频统计和停用词删除;利用正则表达式提取预警信息的关键预警字段,所述正则表达式可以是基于ODPS的SQL语句,使用的函数可以是regexp_extract、rlike、 split_part、coalesxe、trim、cast或contact等一系列函数以及UDF自定义函数。

步骤404:根据所述关键预警字段进行相似度判断,将相似度在预设阈值内的所述预警信息归为同一类别。

在本说明书提供的一个或多个实施例中,可以利用python的gensim(相似度计算工具)模块,在word2vec(词向量)开源包中调用所述gensim模块,加载语料即所述预警信息对应的词向量,计算所述预警信息的关键预警字段之间的相似度,例如余弦相似度,进而得到所述预警信息对应的词向量之间的相似度,将相似度在预设阈值内的所述预警信息归为同一类别。

步骤306:基于预定的类别处理顺序,确定每个类别的预警信息的处理顺序。

在本说明书提供的一个或多个实施例中,基于预定的类别处理顺序,确定每个类别的预警信息的处理顺序包括:对不同所述类别中的预警信息进行统计,将不同所述类别按照每个类别中的预警信息累计数量从高到低排序,按照所述排序依次处理每个所述类别。

步骤308:将所述预设时间周期分为多个时间段,对同一所述类别中的多个预警信息进行分时对比,按照每个时间段内的预警信息的累计数量将所述多个时间段按照从高到低排序,按照所述排序确定每个所述时间段内的预警信息的处理顺序。

参见图5a至图5c,在本说明书提供的一个或多个实施例中,基于大数据洞察分析平台对所述预警信息进行可视化输出,得到所述预警信息的可视化图表,同时,基于大数据洞察分析平台还能够对所述预警信息进行描述性分析、诊断性分析、预测性分析和决策辅助等数据分析。

如图5a所示,基于所述预警信息的类别,汇总每类预警信息并进行分时对比,并通过大数据洞察分析平台将所述预警信息分类分时的可视化输出,并将分时对比中预警信息的累计数量最高的时段推荐为优先治理项。

如图5b所示,在本说明书提供的一个或多个实施例中,基于所述预警信息的类别和预设时间周期,汇总每类预警信息的历史趋势,并通过大数据洞察分析平台将所述预警信息的历史趋势可视化输出,并将历史趋势中预警信息的累计数量最高的预设时间周期推荐为优先治理项。

表1

如表1所示,在本说明书提供的一个或多个实施例中,基于所述预警信息的类别和预设时间周期,汇总每类预警信息的Top K预警项,并通过大数据洞察分析平台将所述预警信息的Top K预警项可视化输出,并将和预设时间周期内前Top 5预警项中推荐为优先治理项。

如图5c所示,在本说明书提供的一个或多个实施例中,基于所述预警信息的类别和预设时间周期,汇总每类预警信息并进行占比分析,并通过大数据洞察分析平台将所述预警信息的占比分析可视化输出,并将占比分析中占比最高的预警信息的类别推荐为优先治理项。

表2

如表2所示,在本说明书提供的一个或多个实施例中,基于大数据洞察分析平台将所述预警信息的预警日期、系统、监控项、监控项分类关键词和预警数量等信息以图表的形式列出。

步骤310:基于预警时刻的预警阈值和实际业务数据确定第一推荐降噪阈值。

在本说明书提供的一个或多个实施例中,将同一类别中的所述预警信息的所述实际业务数据与所述预警阈值进行比较,根据所述实际业务数据与所述预警阈值的差值确定第一推荐降噪阈值。

将不同类别中的所述预警信息中的所述实际业务数据与所述预警阈值进行比较,根据所述实际业务数据与所述预警阈值的差值的累积量确定第一推荐降噪阈值。

步骤312:根据所述第一推荐降噪阈值调整所述预警阈值。

在本说明书提供的一个或多个实施例中,将所述预警时刻的预警阈值和预警时刻的实际业务数据进行减法运算,得到预警时刻的预警阈值和预警时刻的实际业务数据之间的预警差值,将所述预警差值的绝对值与预设的差值阈值进行比较,若所述预警差值的绝对值大于等于所述差值阈值,那么就判定预警阈值设置不合理需要降噪,则通过业务阈值与第一推荐降噪阈值相加或相减来提高所述预警阈值,得到新的预警阈值;若所述预警差值的绝对值小于所述差值阈值,那么就可以认为预警阈值设置合理不需要降噪,则继续使用当前的预警阈值。

在本说明书提供的一个或多个实施例中,对多个预警时刻的实际业务数据与所述业务阈值进行比较,统计所述实际业务数据高于所述最高业务阈值的发生次数或所述实际业务数据低于所述最高业务阈值的发生次数,得到多个预警时刻的实际业务数据相对于预警时刻的预警阈值的整体分布,将所述发生次数与预设的次数阈值进行比较,若所述发生次数大于等于所述次数阈值,那么就判定预警阈值设置不合理需要降噪;若所述发生次数小于所述次数阈值,那么就可以认为预警阈值设置合理不需要降噪,则继续使用当前的预警阈值。

本申请的数据监控方法通过将预警信息转换为词向量,提供了一种基于文本挖掘和推荐算法的监控降噪机制,本机制能够推荐出降噪阈值和优先处理项,精准有效地降低预警噪音,同时,基于预警信息的相似度检测对预警信息进行分类,在可视化输出平台的协助下系统同类别的预警信息可以批量处理,减少了人工重复劳作和判断。

其中,处理器120可以执行图6所示方法中的步骤。图6是示出了根据本申请一实施例的数据监控方法的示意性流程图,包括步骤602至步骤612。

步骤602:基于预设的预警阈值收集预设时间周期内的预警信息,所述预警信息包括预警时刻的预警阈值和实际业务数据。

在本说明书提供的一个或多个实施例中,所述预警阈值包含被监控项在预设时间周期内的业务阈值,所述业务阈值是根据被监控项在预设时间周期内的历史处理业务数据设置的,包含预设时间周期内每一监控时刻的处理业务阈值,以及预设时间周期内每一监控时刻的处理业务量的最高业务阈值和处理业务量的最低业务阈值,基于预设的预警阈值收集预设时间周期内的预警信息包括:在预设时间周期内每一监控时刻,将被监控项的实际业务数据与所述业务阈值进行比较,再确定需要预警时形成所述预警信息。

步骤604:将所述预设时间周期分为多个时间段,对预警信息进行分时对比,按照每个时间段内的预警信息累计数量将所述多个时间段按照从高到低排序,按照所述排序确定每个所述时间段内的预警信息的处理顺序。

在本说明书提供的一个或多个实施例中,所述预设时间周期可以是一个非自然月,将该非自然月以三天为一个节点分为十个时间段,对预警信息进行分时对比,得到十组预警信息累计数量的数据,根据预警信息累计数量从高到低将十个时间段排序,按照所述排序确定每个所述时间段内的预警信息的处理顺序。

步骤606:对同一所述时间段内的所述预警信息进行相似度归类处理,将所述预警信息分成不同类别。

在本说明书提供的一个或多个实施例中,基于正则表达式和word2vector算法对所述预警信息进行分类,然后提取每条预警信息的预警阈值和实际业务数据。

步骤608:将所述类别按照所述类别中的预警信息进行数量累计从高到低进行排序,按照所述排序确定每个类别内的预警信息的处理顺序。

步骤610:基于预警时刻的预警阈值和实际业务数据确定第一推荐降噪阈值。

在本说明书提供的一个或多个实施例中,将同一类别中的所述预警信息的所述实际业务数据与所述预警阈值进行比较,根据所述实际业务数据与所述预警阈值的差值确定第一推荐降噪阈值。

将不同类别中的所述预警信息中的所述实际业务数据与所述预警阈值进行比较,根据所述实际业务数据与所述预警阈值的差值的累积量确定第一推荐降噪阈值。

参见图7a至图7d,在本说明书提供的一个或多个实施例中,基于大数据洞察分析平台对所述不同类别的预警信息进行分类可视化输出,将每类预警信息的实际业务数据与预警阈值在图表中展示并分时对比,预警阈值是否合理能够被直观的判断。

如图7a所示,在被监控项为红包资金订单外部接口调用指标的预警信息中,所述预警信息的预警阈值相对于实际业务数据过高,并且所述预警阈值为单一直线未考虑实际业务数据在不同时间段的波动周期性,因此所述被监控项为红包资金订单外部接口调用指标的预警阈值设置不合理,需要通过本申请的数据监控方法进行监控降噪,图7a中的value_alert_v2:18.04为2018年7月5日5 点2分的实际业务数据的数值,value_threshold_v2:70为2018年7月5日5点2 分的预警阈值的数值。

如图7b所示,在被监控项为支付中心交换决策对比监控的预警信息中,预警阈值相对于实际业务数据过低,并且所述预警阈值为单一直线未考虑实际业务数据在不同时间段的波动周期性,因此所述被监控项为交换决策对比的预警阈值设置不合理,需要通过本申请的数据监控方法进行监控降噪,图7b中的 value_alert_v2:4244为2018年7月2日2点15分的实际业务数据的数值,value_threshold_v2:-为2018年7月2日2点15分的预警阈值的数值。

如图7c所示,在被监控项为瑜伽基金申购请求量监控的预警信息中,预警阈值成规律的变化,并且预警阈值始终位于实际业务数据的下方,因此所述被监控项为瑜伽基金申购请求量监控的预警阈值设置不合理,需要通过本申请的数据监控方法进行监控降噪。

如图7d所示,在被监控项为关键主渠道返回量监控的预警信息中,预警阈值成规律的变化,并且预警阈值始终位于实际业务数据的下方,因此所述被监控项为关键主渠道返回量监控的预警阈值设置不合理,需要通过本申请的数据监控方法进行监控降噪,图7c中的value_alert_v2:35532为2018年7月2日10 点50分的实际业务数据的数值,value_threshold_v2:20000为2018年7月2日 10点50分的预警阈值的数值。

步骤612:根据所述第一推荐降噪阈值调整所述预警阈值。

在本说明书提供的一个或多个实施例中,将所述预警时刻的预警阈值和预警时刻的实际业务数据进行减法运算,得到预警时刻的预警阈值和预警时刻的实际业务数据之间的预警差值,将所述预警差值的绝对值与预设的差值阈值进行比较,若所述预警差值的绝对值大于等于所述差值阈值,那么就判定预警阈值设置不合理需要降噪,则通过业务阈值与第一推荐降噪阈值相加或相减来提高所述预警阈值,得到新的预警阈值;若所述预警差值的绝对值小于所述差值阈值,那么就可以认为预警阈值设置合理不需要降噪,则继续使用当前的预警阈值。

在本说明书提供的一个或多个实施例中,对多个预警时刻的实际业务数据与所述业务阈值进行比较,统计所述实际业务数据高于所述最高业务阈值的发生次数或所述实际业务数据低于所述最高业务阈值的发生次数,得到多个预警时刻的实际业务数据相对于预警时刻的预警阈值的整体分布,将所述发生次数与预设的次数阈值进行比较,若所述发生次数大于等于所述次数阈值,那么就判定预警阈值设置不合理需要降噪;若所述发生次数小于所述次数阈值,那么就可以认为预警阈值设置合理不需要降噪,则继续使用当前的预警阈值。

本申请的数据监控方法在收集预警信息之后,对于预警信息进行分时对比,按照每个时间段内的预警信息累计数量将所述多个时间段按照从高到低排序,按照所述排序确定每个所述时间段内的预警信息的处理顺序,再对同一所述时间段内的所述预警信息进行相似度归类处理,将所述预警信息分成不同类别,进一步确定每个类别内的预警信息的处理顺序,从而将原本零散的预警信息进行聚合、归类和治理项推荐,并基于预警时刻的预警阈值和实际业务数据确定第一推荐降噪阈值,实现了对预警信息的降噪和准确化。

其中,处理器120可以执行图8所示方法中的步骤。图8是示出了根据本申请一实施例的数据监控方法的示意性流程图,包括步骤802至步骤812。

步骤802:基于预设的预警阈值收集预设时间周期内的预警信息,所述预警信息包括预警时刻的预警阈值和实际业务数据。

在本说明书提供的一个或多个实施例中,所述预警阈值包含被监控项在预设时间周期内的业务阈值,所述业务阈值是根据被监控项在预设时间周期内的历史处理业务数据设置的,包含预设时间周期内每一监控时刻的处理业务阈值,以及预设时间周期内每一监控时刻的处理业务量的最高业务阈值和处理业务量的最低业务阈值,基于预设的预警阈值收集预设时间周期内的预警信息包括:在预设时间周期内每一监控时刻,将被监控项的实际业务数据与所述业务阈值进行比较,再确定需要预警时形成所述预警信息。

可选的,所述预设时间周期可以根据实际业务的需求来确定,所述预设时间周期可以是一天或一个非自然月。

步骤804:基于预警时刻的预警阈值和实际业务数据确定第一推荐降噪阈值。

在本说明书提供的一个或多个实施例中,第一推荐降噪阈值包括最高第一推荐降噪阈值和最低第一推荐降噪阈值。

将预警时刻的预警阈值和预警时刻的实际业务数据进行比较,当预警时刻的实际业务数据高于预警时刻的处理业务量的最高业务阈值时,得到比预警时刻的预警阈值高的第一推荐降噪阈值;当预警时刻的实际业务数据低于预警时刻的处理业务量的最低业务阈值时,得到比预警时刻的预警阈值低的第一推荐降噪阈值。

步骤806:根据所述第一推荐降噪阈值调整所述预警阈值。

在本说明书提供的一个或多个实施例中,将所述预警时刻的预警阈值和预警时刻的实际业务数据进行减法运算,得到预警时刻的预警阈值和预警时刻的实际业务数据之间的预警差值,将所述预警差值的绝对值与预设的差值阈值进行比较,若所述预警差值的绝对值大于等于所述差值阈值,那么就判定预警阈值设置不合理需要降噪,则通过业务阈值与第一推荐降噪阈值相加或相减来提高所述预警阈值,得到新的预警阈值;若所述预警差值的绝对值小于所述差值阈值,那么就可以认为预警阈值设置合理不需要降噪,则继续使用当前的预警阈值。

在本说明书提供的一个或多个实施例中,对多个预警时刻的实际业务数据与所述业务阈值进行比较,统计所述实际业务数据高于所述最高业务阈值的发生次数或所述实际业务数据低于所述最高业务阈值的发生次数,得到多个预警时刻的实际业务数据相对于预警时刻的预警阈值的整体分布,将所述发生次数与预设的次数阈值进行比较,若所述发生次数大于等于所述次数阈值,那么就判定预警阈值设置不合理需要降噪;若所述发生次数小于所述次数阈值,那么就可以认为预警阈值设置合理不需要降噪,则继续使用当前的预警阈值。

步骤808:基于调整后的预警阈值收集预设时间周期内的预警信息,所述预警信息包括预警时刻的预警阈值和实际业务数据。

在本说明书提供的一个或多个实施例中,基于调整后的预警阈值再次收集预设时间周期内对应的预警信息,实现循环监控。

步骤810:基于预警时刻的预警阈值和实际业务数据确定第二推荐降噪阈值。

在本说明书提供的一个或多个实施例中,基于调整后的预警阈值和实际业务数据确定第二推荐降噪阈值,进一步提高监控降噪的精确程度。

步骤812:根据所述第二推荐降噪阈值更新所述预警阈值。

在本说明书提供的一个或多个实施例中,根据所述第二推荐降噪阈值更新所述预警阈值之后,使得系统能够进一步过滤过滤或抑制无效的预警信息,精准有效地降低预警噪音。

参见图9,本说明书一个或多个实施例提供了一种数据处理装置,包括:

数据归集模块902,被配置为基于预设的预警阈值收集预设时间周期内的预警信息,所述预警信息包括预警时刻的预警阈值和实际业务数据;

阈值推荐模块904,被配置为基于预警时刻的预警阈值和实际业务数据确定第一推荐降噪阈值;

降噪执行模块906,被配置为根据所述第一推荐降噪阈值调整所述预警阈值。

可选的,所述预警阈值包含被监控项在预设时间周期内的业务阈值,所述数据归集模块902块包括预警形成模块,被配置为在预设时间周期内每一监控时刻,将被监控项的实际业务数据与所述业务阈值进行比较,再确定需要预警时形成所述预警信息。

可选的,所述装置还包括:

第一数据分类模块908,被配置为对所述预警信息进行相似度归类处理,将所述预警信息进行分类;

第一处理项推荐模块910,被配置为基于预定的类别处理顺序,确定每个类别的预警信息的处理顺序。

可选的,所述第一数据分类模块908包括:

智能分词单元,被配置为对所述预警信息进行分词处理,提取关键预警字段;

相似度度量单元,被配置为根据所述关键预警字段进行相似度判断,将相似度在预设阈值内的所述预警信息归为同一类别。

可选的,所述第一处理项推荐模块910包括:

排序单元,被配置为对不同所述类别中的预警信息进行统计,将不同所述类别按照每个类别中的预警信息累计数量从高到低排序,按照所述排序依次处理每个所述类别。

可选的,所述装置还包括:

第一可视化输出模块912,被配置为将所述预设时间周期分为多个时间段,对同一所述类别中的多个预警信息进行分时对比,按照每个时间段内的预警信息的累计数量将所述多个时间段按照从高到低排序,按照所述排序确定每个所述时间段内的预警信息的处理顺序。

可选的,所述装置还包括:

第二可视化输出模块914,被配置为将所述预设时间周期分为多个时间段,对预警信息进行分时对比,按照每个时间段内的预警信息累计数量将所述多个时间段按照从高到低排序,按照所述排序确定每个所述时间段内的预警信息的处理顺序。

可选的,所述装置还包括:

第二数据分类模块916,被配置为对同一所述时间段内的所述预警信息进行相似度归类处理,将所述预警信息分成不同类别;

第二处理项推荐模块918,被配置为将所述类别按照所述类别中的预警信息进行数量累计从高到低进行排序,按照所述排序确定每个类别内的预警信息的处理顺序。

可选的,所述阈值推荐模块904包括:

第一比较单元,被配置为将同一类别中的所述预警信息的所述实际业务数据与所述预警阈值进行比较,根据所述实际业务数据与所述预警阈值的差值确定第一推荐降噪阈值。

可选的,所述阈值推荐模块904包括:

第二比较单元,被配置为将不同类别中的所述预警信息中的所述实际业务数据与所述预警阈值进行比较,根据所述实际业务数据与所述预警阈值的差值的累积量确定第一推荐降噪阈值。

可选的,所述数据归集模块902,还被配置为:

基于调整后的预警阈值收集预设时间周期内的预警信息,所述预警信息包括预警时刻的预警阈值和实际业务数据;

所述阈值推荐模块904,还被配置为:

基于预警时刻的预警阈值和实际业务数据确定第二推荐降噪阈值;

所述降噪执行模块906,还被配置为:

根据所述第二推荐降噪阈值更新所述预警阈值。

本申请一实施例还提供一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现以下步骤:

基于预设的预警阈值收集预设时间周期内的预警信息,所述预警信息包括预警时刻的预警阈值和实际业务数据;

基于预警时刻的预警阈值和实际业务数据确定第一推荐降噪阈值;

根据所述第一推荐降噪阈值调整所述预警阈值。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的数据监控方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述数据监控方法的技术方案的描述。

所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或平台、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。

需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。

以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1