一种异常检测方法、装置、终端及存储介质与流程

文档序号:24388317发布日期:2021-03-23 11:22阅读:85来源:国知局
一种异常检测方法、装置、终端及存储介质与流程

本申请涉及无线通信网络,具体涉及一种异常检测方法、装置、终端及存储介质。



背景技术:

在当前的无线网络系统中,基于基本的性能指标(performanceindicator,pi)和关键性能指标(keyperformanceindicator,kpi)实现无线通信系统的运维,以及网络质量和性能的评估等。由于无线通信网络系统在运行时产生的pi和kpi的数据量(即性能指标数据)是非常巨大的,面对如此规模的性能指标数据,若通过人工分析的方式检测其中的异常性能指标数据,在准确度及自适应性等方面存在局限性。



技术实现要素:

本申请实施例提供一种异常检测方法、装置、终端和存储介质,提高了检测的准确度和检测方法的自适应性。

本申请实施例提供一种异常检测方法,包括:

根据对象的配置数据和性能指标数据,生成对象的至少一个聚类集合;

根据预设异常检测算法和聚类集合中对象对应的性能指标数据,确定每个聚类集合对应的算法配置参数;

根据所述算法配置参数确定对应的聚类集合中对象的异常性能指标数据,根据所述异常性能指标数据确定异常对象。

本申请实施例提供一种异常检测装置,包括:

聚类集合生成模块,用于根据对象的配置数据和性能指标数据,生成对象的至少一个聚类集合;

参数确定模块,用于根据预设异常检测算法和聚类集合中对象对应的性能指标数据,确定每个聚类集合对应的算法配置参数;

异常检测模块,用于根据所述算法配置参数确定对应的聚类集合中对象的异常性能指标数据,根据所述异常性能指标数据确定异常对象。

本申请实施例提供一种终端,所述终端包括:存储器,以及一个或多个处理器;

所述存储器,设置为存储一个或多个程序;

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本申请实施例中的任意一种方法。

本申请实施例提供了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例中的任意一种方法。

关于本申请的以上实施例和其他方面以及其实现方式,在附图说明、具体实施方式和权利要求中提供更多说明。

附图说明

图1为现有技术中的一种无线通信网络系统的基本架构示意图;

图2为本申请实施例提供的一种异常检测方法的方法流程图;

图3为本申请实施例提供的一种异常检测方法中配置数据的处理流程图;

图4为本申请实施例提供的一种异常检测方法中确定聚类集合的处理流程图;

图5为本申请实施例提供的另一种异常检测方法的流程图;

图6为本申请实施例提供的一种对象之间的逻辑依赖关系示意图;

图7为本申请实施例提供的一种异常对象的归因裁减示意图;

图8为本申请实施例提供的一种异常检测装置的结构示意框图;

图9为本申请实施例提供的另一种异常检测装置的处理流程示意图;

图10为本申请实施例提供的一种无线通信网络系统的示例图;

图11为本申请实施例提供的一种终端的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白,下文中将结合附图对本申请的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。

为了便于理解,首先对无线通信网络系统的基本架构进行简要介绍。图1为现有技术中的一种无线通信网络系统的基本架构示意图。如图1所示,无线通信网络系统主要包括核心网140、基站130、小区120、终端110以及传输链路150这些对象组成。需要说明的是,对象包括构建无线通信网络系统的功能模块。对象并不限于上述列举的几种,还可以是基带处理模块、射频处理模块等,本申请实施例不作具体限定。

终端110是用户使用的网络接入设备的统称。例如,终端可以是手机。终端与基站之间通过各自的天线进行无线数据交互,进而接入网络,进行上传业务(例如语音通话或访问互联网等)。

基站130是构建无线通信网络系统的核心设备,其对上通过无线通信协议与终端交互,对下通过传输链路与核心网交互,负责打通终端到核心网之间的数据通道。大部分无线通信协议都在基站中实现。

小区120是一个虚拟的管理对象。为了让系统服务区域内的无线信号在覆盖度、干扰度、接入容量等因素上达到一个最佳的平衡,规划人员一般会将整个服务区域划分为许多个小区,通过为每个小区设置不同的参数来达到目标。在大多数情况下,终端一般会通过地理位置接近的小区接入网络。

核心网140负责终端用户的鉴权、计费以及所有业务数据的处理。当基站打通了终端到核心网的数据通道后,终端发起的业务数据(比如语音数据和互联网数据)要通过核心网来处理或转发。

传输链路150一般指连接基站与核心网的有线传输链路。由于所有的终端业务数据最终都要通过基站汇聚到核心网,对传输链路的带宽、可靠性和延迟一般都有很高的要求。

需要说明的是,图1只是一种无线通信网络系统的架构简图,实际的无线通信网络系统的网络架构要更加复杂。但图1所展示的网络架构在概念上是正确的,能够帮助理解无线通信网络系统的基本结构以及本申请所要解决的技术问题。

为了便于无线通信网络系统的运维,同时为网络质量和性能设定一个统一的评估标准,3gpp标准组织在多个标准文件中制订了一批基本的性能指标pi和关键性能指标kpi,并给出了指标的含义、采集内容、采集条件和相关的运算公式。所有的通信设备制造商都要遵从标准的要求,在网络设备中实现并上报这些pi,同时在网络管理系统(下文简称为网管)中汇总pi,并根据公式计算出kpi。此外,设备商和运营商一般也会根据自身的特定需求,设计并实现一批标准外的pi或kpi,以监控关键的系统运行状况。

在大多数情况下,无线通信网络系统在运行时产生的kpi和pi数据量是非常惊人的。面对如此规模的数据,试图通过人工来分析数据并发现其中的异常点是很困难的。网管一般都会实现一些辅助功能来帮助运维人员观察和分析这些数据。例如,网管提供可视化看板系统,让用户能够以图表的方式观察和理解数据。又如,网管提供降序排列与筛选,让用户能重点观察变化量最大的指标。又如,网管提供告警系统,用户可以为指定的指标设立告警门限或规则,当指标值突破门限或触发规则时上报告警,让用户知晓系统异常

网管提供的上述功能虽然可以减轻一部分人工分析指标的负担,但仍然存在一些不足。例如,分析覆盖度低。即使有看板系统、topn或筛选等工具辅助,人工能同时观察和分析到的指标数量仍然十分有限(一般不会超过10个),这主要是由于人的固有局限性决定的。又如,难以指定合适的告警门限或触发规则。通信系统复杂而多变,不同的时间、不同的空间、不同的业务场景、不同的配置对相同指标的表现都会有不同的影响,仅凭人的经验和知识很难在这样多变的场景下为相关指标精确地界定何为异常何为正常。

为了弥补传统网管辅助分析功能的不足,提出了一些改进方案。这些改进方案主要包括两类:

第一、人工维护一个检测异常的经验知识库,该经验知识库的形式可以是做了标注的历史性能指标数据(即异常性能指标数据已被标记出来),也可以是一套模式识别规则的集合。前者一般用于辅助统计训练规程得到检测门限,而后者则直接用于异常性能指标数据的检测。

第二、采用统计分析方法对历史性能指标数据进行分析,计算得出区分异常性能指标数据或正常性能指标数据的门限,并将该门限应用到当前的性能指标数据的检测中。

第一类方案延续了专家系统解决问题的方法,其效果也类似:系统内具备的专家规则越全,结果越准确,且待解决的问题本身不会发生较大变化,那么专家系统运行的效果就会比较好。然而,实际情况一般都不会如此理想,通常具有下述局限性:人工收集并总结专家规则的成本非常高;由于人本身的局限性,专家规则的完整性和准确性难以保证;现实中很多待解决的问题都不是静态不变的。

采用第二类方案对性能指标数据进行异常检测,虽然降低了对专家经验和规则的需求,减少了人工干预或指导的成本,但其仍然存在一些局限性,例如:

第一、绝大多数异常检测算法依然需要用户设定算法配置参数。虽然设定参数的工作量和难度要远小于直接指定检测规则,但用户提供的参数质量仍然直接影响到了算法输出结果的准确性。对于无线通信网络系统这种极端复杂庞大的系统而言,针对不同时间、不同空间、不同对象给出合适的算法配制参数,对用户来说是非常困难的。

第二、大多数异常检测算法对于异常点的特性模式都有某种假定(比如对于k近邻算法,其假定异常点一定离所有的密集邻域都较远)。但在实际情况中,同一个对象在不同的时间范围内异常模式可能会不同;或者说两个同类对象在相同的时间范围内异常模式会有所不同。在这样的前提下,参数配置基本固定的算法很难为不同条件下的对象做出精确的异常检测。

第三、目前用于异常检测的主流算法,基本都是将历史性能指标数据作为唯一的输入,也就是只根据性能指标数据的历史来预测其未来,影响检测结果的精确性。

有鉴于此,本申请实施例提供了一种异常检测方法以解决上述技术问题。

图2为本申请实施例提供的一种异常检测方法的方法流程图,该方法可以由异常检测装置执行。其中,该装置可由软件和/或硬件实现,一般可集成在网络管理系统中,或者独立与网络管理系统而存在。

如图2所示,本申请实施例提供的方法包括:

步骤210、根据对象的配置数据和性能指标数据,生成对象的至少一个聚类集合。

需要说明的是,对象包括构建无线通信网络系统的功能模块。以图1中的无线通信网络系统为例,对象可以是核心网、基站、小区、终端以及传输链路。可以理解的是,对象与无线通信网络系统的组成相关联,在无线通信网络系统的组成发生变化时,对象也随之变化。

本申请实施例中,配置数据可以是对象的在配置方面的属性信息。配置数据的种类有很多,本申请实施例并不作具体限定。例如,配置数据可以包括空间信息相关的配置数据。或者,配置数据还可以包括性能指标相关的配置数据。可以根据要进行异常检测的性能指标数据的类型,确定配置数据的类型,进而,选取相应类型的配置数据作进一步处理。可以理解的是,当有多种性能指标数据要进行异常检测,或者要进行异常检测的性能指标数据包含多个指标时,需要选取多种类型的配置数据。需要说明的是,在无线通信网络系统构建完毕并开始运行时,配置数据通常就已经固化不变了。因此,在配置数据发生变化的情况下,需要从网管重新获取无线通信网络系统中对象的配置数据。

本申请实施例中,性能指标数据可以是性能指标相关的数据。性能指标是监控网络质量和性能的评估标准。性能指标包括3gpp指定的pi或kpi,也可以包括设备商和运营商自行制定的标准外的pi或kpi。需要说明的是,性能指标数据与无线通信网络系统的运行相关,需要周期性的由无线通信网络系统获取性能指标数据。可选的,性能指标数据的获取周期通常与网络设备上报性能指标数据的上报更新周期对齐。例如,获取周期与上报更新周期相同。或者,获取周期与上报更新周期存在整数倍数的关系。

需要说明的是,聚类集合是综合考虑对象对应的配置数据和性能指标数据的特性,聚类得到的集合。由于性能指标数据是周期性获取的,基于当前获取周期的性能指标数据生成的至少一个聚类集合,其包含的对象在当前获取周期下具有相似的性能指标特征和波动模式。例如,可以分别基于配置数据和性能指标数据的特性对对象进行聚类,得到基于配置数据的子聚类集合和基于性能指标数据的子聚类集合。综合考虑两个子聚类集合中数据的特性,对两个子聚类集合进行逻辑运算,得到对象的至少一个聚类集合,同一聚类集合中的对象的性能指标数据具有相似的性能指标特征和波动模式。

需要说明的是,性能指标数据是周期性获取的,相应的,聚类集合的生成也是周期性的,且生成聚类集合的周期与性能指标数据的获取周期相关。

步骤220、根据预设异常检测算法和聚类集合中对象对应的性能指标数据,确定每个聚类集合对应的算法配置参数。

需要说明的是,预设异常检测算法是基于对象的性能指标数据检测异常对象的算法。异常检测算法可以有很多种,本申请实施例并不作具体限定。例如,异常检测算法可以包括:低通滤波器类型的算法、基于密度的检测算法、聚类检测算法和支撑向量机算法等。其中,低通滤波器类型的算法包括移动平均线或卡尔曼滤波器及其变种等。基于密度的检测算法包括k近邻或局部异常因子算法及其变种等。聚类检测算法包括k均值聚类及其变种。支撑向量机算法包括单类支撑向量机算法及其变种等。

本申请实施例中,算法配置参数是运行异常检测算法进行异常检测所需的参数。例如,可以基于算法配置参数确定异常检测的门限值等。由于算法配置参数与每个聚类集合相对应,实现为具有不同特性的对象、在不同时间区间内生成不同的算法配置参数,减轻了性能指标检测领域人工分析和调参的工作负担,提高了检测方法的自适应性。

示例性的,根据预设异常检测算法和聚类集合中对象的性能指标数据,确定算法配置参数的方式可以是:基于每个聚类集合中对象的性能指标数据对预设异常检测算法进行训练,得到每个聚类集合对应的算法配置参数。例如,基于预设的获取周期,获取性能指标数据。对当前获取的性能指标数据进行清洗并规整化处理后,得到用于训练预设异常检测算法的样本数据。样本数据与对象具有对应关系。遍历聚类集合,采用每个聚类集合中对象对应的样本数据对预设异常检测算法进行训练,得到适用于各个聚类聚合的算法配置参数。例如,假设根据对象的配置数据和性能指标数据,生成了6个聚类集合,那么,针对第一个聚类集合,根据该聚类集合中对象对应的性能指标参数训练预设异常检测算法,得到适用于第一个聚类集合的算法配置参数。同样的,针对第二个聚类集合,根据该聚类集合中对象对应的性能指标参数训练预设异常检测算法,得到适用于第二个聚类集合的算法配置参数。以此类推,针对第六个聚类集合,根据该聚类集合中对象对应的性能指标参数训练预设异常检测算法,得到适用于第六个聚类集合的算法配置参数。

需要说明的是,不同预设异常检测算法的训练方式也不同,本申请实施例对具体的训练过程并不作具体限定。

需要说明的是,由于聚类集合的生成是周期性的,相应的,确定每个聚类集合对应的算法配置参数也是周期性的,且算法配置参数的确定周期与聚类集合的生成周期相关联。

步骤230、根据所述算法配置参数确定对应的聚类集合中对象的异常性能指标数据,根据所述异常性能指标数据确定异常对象。

需要说明的是,异常性能指标数据是存在异常的性能指标数据。可以采用预设异常检测算法检测性能指标数据是否存在异常。由于性能指标数据与对象相对应,在检测出异常性能指标数据后,可以基于异常性能指标数据确定与其对应的对象,即为异常对象。

示例性的,获取待检测的聚类集合中对象对应的目标性能指标数据。确定该待检测的聚类集合对应的目标算法配置参数。根据预设异常检测算法和目标算法配置参数对目标性能指标数据进行异常检测,根据异常检测结果确定目标性能指标数据中的异常性能指标数据,将异常性能指标数据对应的对象确定为异常对象。

需要说明的是,在无线网络通信系统中,同一类型的对象可能有多个,而多个对象可能具有不同的数据特性,得到多个聚类集合。每个聚类集合中可能包括至少一个对象。例如,无线网络通信系统包括10个小区,基于配置数据和性能指标数据对小区进行聚类后,得到6个聚类集合,每个聚类集合中包含2个小区。

在确定了每个聚类集合对应的算法配置参数之后,任意获取对象的一个聚类集合,作为待检测的聚类集合。确定待检测的聚类集合中的对象,并获取该对象对应的性能指标数据,作为目标性能指标数据。获取待检测的聚类集合对应的算法配置参数,作为目标算法配置参数。根据目标算法配置参数,采用预设异常检测算法对目标性能指标数据进行异常检测,根据异常检测结果确定目标性能指标数据中的异常性能指标数据。对剩余聚类集合执行上述操作,直至所有聚类集合中的对象均被进行过关于性能指标数据的异常检测。将每个聚类集合中异常性能指标数据对应的所有对象确定为异常对象。

需要说明的是,性能指标数据是周期性获取的,相应的,确定聚类集合中的异常对象的操作也是周期性的,且异常对象的确定周期与性能指标数据的获取周期相关联。

本申请实施例提供了一种异常检测方法,通过对象的配置数据和性能指标数据对对象进行聚类处理,得到至少一个聚类集合;采用每个聚类集合对应的性能指标数据训练预设异常检测算法,得到每个聚类集合对应的算法配置参数;基于预设异常检测算法和算法配置参数确定对应的聚类集合中对象的异常性能指标数据,根据异常性能指标数据确定异常对象。上述技术方案充分利用除了性能指标数据之外的配置数据,从而能更精确地掌握系统不同组成部分的属性,实现自动化调整算法配置参数,提高了检测的准确度和检测方法的自适应性。

在一个示例性实施方式中,根据对象的配置数据和性能指标数据,生成对象的至少一个聚类集合,可以优化为根据对象的配置数据、性能指标数据和运行状态数据,生成对象的至少一个聚类集合。其中,运行状态数据包括业务质量数据、测量报告、呼叫跟踪数据、信令跟踪数据、用户投诉数据或其它与对象的运行状态相关联的数据。可以理解的是,运行状态数据可以是上述列举的数据中的一种或几种的组合,本申请实施例并不作具体限定。由于对象的运行状态数据能够体现对象的运行状况,而基于对象的配置数据、性能指标数据和运行状态数据,生成聚类集合,能够更精确地掌握无线通信网络系统中不同对象的运行状况和属性特征,实现针对不同系统、不同对象、不同时间区间等因素自动调整算法配置参数。

示例性的,根据对象的配置数据、性能指标数据和运行状态数据,生成对象的至少一个聚类集合,进一步包括:

获取对象的配置数据,根据所述配置数据对所述对象进行聚类处理,生成所述对象的第一聚类集合;

获取对象的性能指标数据,根据所述性能指标数据对所述对象进行聚类处理,生成所述对象的第二聚类集合;

根据所述运行状态数据对所述对象进行聚类处理,生成所述对象的第三聚类集合;

基于预设规则对所述第一聚类集合、第二聚类集合和第三聚类集合进行逻辑运算,得到对象的至少一个聚类集合。

需要说明的是,当无线网络通信系统构建完毕且开始运行时,配置数据基本已固化,因此,在后续的异常检测过程中,如果配置数据未发生变化,则获取对象的配置数据,并根据配置数据对对象进行聚类处理,生成对象的第一聚类集合的操作仅执行一次。如果配置数据发生变化,则需要重新获取配置数据,并基于新获取的配置数据对对象进行聚类处理,生成新的第一聚类集合。

图3为本申请实施例提供的一种异常检测方法中配置数据的处理流程图。如图3所示,获取对象的配置数据,根据所述配置数据对所述对象进行聚类处理,生成所述对象的第一聚类集合的处理流程包括:

步骤310、由网管获取无线网络管理系统的配置数据,对所获取的配置数据进行清洗和规整化处理。

需要说明的是,对配置数据进行清洗处理,实现去除重复数据、错误数据等。对配置数据进行规整化处理,实现数据的清理、转换、合并和重塑。

步骤320、根据所述配置数据确定无线通信网络系统中对象的逻辑依赖关系。

需要说明的是,逻辑依赖关系是只不同对象之间在逻辑上的联系。例如,一个基站可以对应多个小区,此时,小区与基站存在逻辑依赖关系,可以认为,基站是小区的父对象,小区是基站的子对象。或者,每个小区和其所属的基站之间存在一条逻辑传输链路,每个基站和核心网之间存在一条物理传输链路,基于同一基站的物理传输链路是逻辑传输链路的父对象,而逻辑传输链路是物理传输链路的子对象。

通常情况下,无线网络通信系统中的对象的逻辑依赖关系呈现树状图的结构。

步骤330、根据与空间信息相关的配置数据,对对象进行聚类处理,得到按空间信息进行聚类的对象的空间聚类集合。

本申请实施例中,空间信息相关的配置数据是指配置数据中携带空间信息之一属性的数据。例如,空间信息可以是地理位置等。

步骤340、根据设定类型的配置数据,对对象进行聚类处理,得到按设定类型的配置数据进行聚类的对象的配置聚类集合。

需要说明的是,选取何种类型的配置数据进行聚类,取决于进行异常检测的kpi或pi指标。比如,要进行异常检测的是无线射频相关的指标,则选取与无线射频相关的配置参数来进行聚类。或者,要进行异常检测的是通话相关的指标,则选取与通话相关的配置参数来进行聚类。可选的,可以同时存在基于不同类型的配置数据进行聚类,得到的多个配置聚类集合。

需要说明的是,按照配置数据进行聚类,得到的第一聚类集合包括:步骤330中的空间聚类集合以及步骤340中的配置聚类集合。

需要说明的是,步骤320、步骤330和步骤340没有执行顺序要求,可以按照上述示例中记载的顺序执行,也可以颠倒顺序执行,或者可以同步进行。

图4为本申请实施例提供的一种异常检测方法中确定聚类集合的处理流程图。如图4所示,获取对象的性能指标数据,根据所述性能指标数据对所述对象进行聚类处理,生成所述对象的第二聚类集合;根据所述运行状态数据对所述对象进行聚类处理,生成所述对象的第三聚类集合;基于预设规则对所述第一聚类集合、第二聚类集合和第三聚类集合进行逻辑运算,得到对象的至少一个聚类集合的处理流程包括:

步骤410、周期性的获取对象的性能指标数据和运行状态数据,并分别对性能指标数据和运行状态数据进行清洗和规整化处理。

本申请实施例中,根据上述数据的上报周期确定性能指标数据和运行状态数据的获取周期。例如,假设无线网络通信系统中性能指标数据或运行状态数据的上报周期是x分钟,则本申请实施例中获取对象的性能指标数据和运行状态数据的获取周期也可以是x分钟。可选的,根据实际使用场景的需要,获取周期还可以是上报周期的整数倍,本申请实施例并不作具体限定。

本申请实施例中,运行状态数据包括用户话单、投诉单、测量报告mr或呼叫跟踪cdt等数据。性能指标数据包括业务量相关的指标数据。其中,业务量相关的指标数据可以是业务数据量或者切换数量等指标对应的数据。

步骤420、根据业务量相关的指标数据,对无线通信网络系统中的对象进行聚类处理,得到按业务量相关的指标数据聚类的业务量聚类集合。

需要说明的是,由于业务量属于性能指标,基于业务量的相关指标数据进行聚类处理,得到的业务量聚类集合,属于按照性能指标数据聚类得到的第二聚类集合。

步骤430、根据运行状态数据对无线通信网络系统中的对象进行聚类处理,得到按照运行状态数据聚类的运行状态聚类集合。

需要说明的是,运行状态聚类集合属于第三聚类集合。

步骤440、基于预设规则对空间聚类集合、配置聚类集合、业务量聚类集合和运行状态聚类集合进行逻辑运算,得到对象的至少一个聚类集合。

本申请实施例中,预设规则是对逻辑运算的逻辑运算符或运算顺序进行限定的限定信息。基于不同预设规则对空间聚类集合、配置聚类集合、业务量聚类集合和运行状态聚类集合进行逻辑运算,得到运算结果也不同。可以根据异常检测的目标确定所要选择的预设规则。例如,预设规则可以是配置聚类集合and业务量聚类集合and运行状态聚类集合xor空间聚类集合。其中,and是表示与运算的逻辑运算符,xor是表示异或运算的逻辑运算符。采用上述预设规则对空间聚类集合、配置聚类集合、业务量聚类集合和运行状态聚类集合进行逻辑运算,得到的运算结果是将配置类似、业务量类似、运行状态类似但空间位置不同的对象纳入一个聚类集合中。又如,预设规则可以是配置聚类集合and空间聚类集合and运行状态聚类集合xor业务量聚类集合。采用上述预设规则对空间聚类集合、配置聚类集合、业务量聚类集合和运行状态聚类集合进行逻辑运算,得到的运算结果是将配置类似、运行状态类似、空间位置类似但业务量不同的对象纳入一个聚类集合中。又如,预设规则可以是配置聚类集合and业务量聚类集合and运行状态聚类集合and空间聚类集合。采用上述预设规则对空间聚类集合、配置聚类集合、业务量聚类集合和运行状态聚类集合进行逻辑运算,得到的运算结果是将配置类似、业务量类似、运行状态类似且空间位置相同的对象纳入一个聚类集合中。

图5为本申请实施例提供的另一种异常检测方法的流程图。如图5所示,该异常检测方法包括:

步骤501、周期性的获取对象的性能指标数据和运行状态数据,并分别对性能指标数据和运行状态数据进行清洗和规整化处理。

步骤502、根据运行状态数据对无线通信网络系统中的对象进行聚类处理,得到按照运行状态数据聚类的运行状态聚类集合。

步骤503、根据业务量相关的指标数据,对无线通信网络系统中的对象进行聚类处理,得到按业务量相关的指标数据聚类的业务量聚类集合。

步骤504、获取对象的空间聚类集合和配置聚类集合。

步骤505、基于预设规则对空间聚类集合、配置聚类集合、业务量聚类集合和运行状态聚类集合进行逻辑运算,得到对象的至少一个聚类集合。

可选的,可以采用列表的形式存储对象的至少一个聚类集合,进而,将存储至少一个聚类集合的列表称为聚类集合列表。

步骤506、分别获取聚类集合列表中的每个聚类集合,根据预设异常检测算法和聚类集合中对象对应的性能指标数据,确定每个聚类集合对应的算法配置参数。

本申请实施例中,算法配置参数包括异常检测算法所需的配置参数或门限值。需要说明的是,选择何种算法作为预设异常检测算法是根据实际应用场景确定的,本申请实施例并不作具体限定。可选的,通过上述逻辑运算实现对不同状态的对象进行分类的目的,从而简化了应用场景,可以选用较为诸如向量自回归算法(vectorautoregression,var)之类的比较简单的异常检测算法。

步骤507、根据所述算法配置参数确定对应的聚类集合中对象的异常性能指标数据,根据所述异常性能指标数据确定异常对象。

示例性的,根据上述步骤所确定的各个聚类集合对应的算法配置参数,采用预设异常检测算法对各个聚类集合中对象的性能指标数据进行异常检测,得到异常性能指标数据。根据性能指标数据与对象的对应关系,确定异常性能指标数据对应的异常对象。

步骤508、根据异常对象生成待确定异常对象集合。

步骤509、获取无线通信网络系统中对象的逻辑依赖关系。

步骤510、基于所述对象之间的逻辑依赖关系,确定所述待确定异常对象集合中异常对象的逻辑因果关系。

图6为本申请实施例提供的一种对象之间的逻辑依赖关系示意图。如图6所示,对象0与三个其它类对象(即对象0-0,对象0-1和对象0-2)具有逻辑依赖关系;对象0-0分别与对象0-0-0和对象0-0-1具有逻辑依赖关系;对象0-1分别与对象0-1-0和对象0-1-1具有逻辑依赖关系;对象0-2分别与对象0-2-0和对象0-2-1具有逻辑依赖关系。

步骤511、根据所述逻辑因果关系调整所述待确定异常对象集合,得到异常对象集合。

示例性的,根据对象之间的逻辑依赖关系,从最顶层的子节点向下遍历,获取一个异常对象以及与该异常对象存在逻辑依赖关系的对象(父节点处的对象),判断异常对象与该父节点处的对象是否具有相类似的性能指标异常。若是,则由待确定异常对象集合中删除作为子节点的异常对象;否则,不进行任何操作。在聚类集合中还存在未被遍历到的异常对象的情况下,获取新的异常对象,重复上述过程。若聚类集合列表中所有聚类集合的异常对象均被遍历过,则将调整后的待确定异常对象集合作为最终的异常对象集合。

图7为本申请实施例提供的一种异常对象的归因裁减示意图。如图7所示,对象0-0、对象0-0-0和对象0-0-1具有相似的性能异常,且对象0-0是父节点处的对象,对象0-0-0和对象0-0-1均是子节点处的对象,子节点处的对象的异常很可能是由父节点处的对象引发的,因此,可以由待确定异常对象集合中删除对象0-0-0和对象0-0-1。

采用上述方案,基于对象之间的逻辑依赖关系,在子节点处的对象与父节点处的对象具有相似的异常时,将子节点处的对象的异常归因与父节点处的对象,从而实现异常对象的归因裁减,减少了异常对象集合包含的冗余数据,提高了异常对象检测的精确度。

图8为本申请实施例提供的一种异常检测装置的结构示意框图。该装置可以配置于网管中,也可以独立于网管之外存在。该装置通过执行本申请实施例提供的异常检测方法,实现精确检测无线通信网络系统中国内的异常对象。如图8所示,本申请实施例中的异常检测装置包括:

聚类集合生成模块810,用于根据对象的配置数据和性能指标数据,生成对象的至少一个聚类集合;

参数确定模块820,用于根据预设异常检测算法和聚类集合中对象对应的性能指标数据,确定每个聚类集合对应的算法配置参数;

异常检测模块830,用于根据所述算法配置参数确定对应的聚类集合中对象的异常性能指标数据,根据所述异常性能指标数据确定异常对象。

本申请实施例提供的异常检测装置设置为实现图2所示实施例的异常检测方法,该异常检测装置的实现原理与技术效果与异常检测方法类似,此处不再赘述。

在一个实例中,所述对象包括构建无线通信网络系统的功能模块。

在一个实例中,所述聚类集合生成模块810用于:

根据对象的配置数据、性能指标数据和运行状态数据,生成对象的至少一个聚类集合。

在一个实例中,所述运行状态数据包括业务质量数据、测量报告、呼叫跟踪数据、信令跟踪数据、用户投诉数据中的一种或几种的组合。

在一个实例中,所述聚类集合生成模块810具体用于:

获取对象的配置数据,根据所述配置数据对所述对象进行聚类处理,生成所述对象的第一聚类集合;

获取对象的性能指标数据,根据所述性能指标数据对所述对象进行聚类处理,生成所述对象的第二聚类集合;

获取对象的运行状态数据,根据所述运行状态数据对所述对象进行聚类处理,生成所述对象的第三聚类集合,其中,所述运行状态数据包括业务质量数据、测量报告、呼叫跟踪数据、信令跟踪数据或用户投诉数据;

基于预设规则对所述第一聚类集合、第二聚类集合和第三聚类集合进行逻辑运算,得到对象的至少一个聚类集合。

在一个实例中,所述参数确定模块820具体用于:

基于每个聚类集合中对象的性能指标数据对预设异常检测算法进行训练,得到每个聚类集合对应的算法配置参数。

在一个实例中,所述异常检测模块830具体用于:

获取待检测的聚类集合中对象对应的目标性能指标数据;

确定所述待检测的聚类集合对应的目标算法配置参数;

根据所述预设异常检测算法和所述目标算法配置参数对所述目标性能指标数据进行异常检测,根据异常检测结果确定所述目标性能指标数据中的异常性能指标数据。

在一个实例性,该异常检测装置还包括:

集合调整模块,用于在所述根据所述异常性能指标数据确定异常对象之后,根据异常对象生成待确定异常对象集合;获取无线通信网络系统中对象的依赖关系,其中,所述依赖关系根据所述配置数据确定;基于所述对象之间的依赖关系,确定所述待确定异常对象集合中异常对象的逻辑因果关系;根据所述逻辑因果关系调整所述待确定异常对象集合,得到异常对象集合。

图9为本申请实施例提供的另一种异常检测装置的处理流程示意图。在一个示例性实施方式中,异常检测装置可以包括图9所示的性能指标数据预处理(加载、清洗和规整化)模块901、异常检测算法模块902、配置数据预处理(加载、清洗和规整化)模块903、运行状态数据预处理(加载、清洗和规整化)模块904、对象依赖关系生成模块905、配置聚类集合生成模块906、运行状态聚类集合生成模块907、业务量聚类集合生成模块908、聚类集合生成模块909、算法配置参数生成模块910和异常对象归因裁减模块911。

其中,性能指标数据预处理模块901,用于读取性能指标数据,对其进行清洗和规整化,并将清洗和规整化后的数据分别发送给异常检测算法模块902和业务量聚类集合生成模块908。

配置数据预处理模块903,用于读取无线通信网络系统的配置数据,对其进行清洗和规整化,并将清洗和规整化后的数据分别发送给对象依赖关系生成模块905和配置聚类集合生成模块906。

运行状态数据预处理模块904,用于读取无线通信网络系统中对象的运行状态数据,并对其进行清洗和规整化,并将清洗和规整化后的数据发送给运行状态聚类集合生成模块907。

对象依赖关系生成模块905,用于基于配置数据生成对象的逻辑依赖关系,并将该逻辑依赖关系发送给异常对象归因裁减模块911。

配置聚类集合生成模块906,用于根据配置数据对对象进行聚类,得到对象的配置聚类集合和空间聚类集合,并将配置聚类集合和空间聚类集合发送给聚类集合生成模块909。

运行状态聚类集合生成模块907,用于根据运行状态数据对对象进行聚类,得到对象的运行状态聚类集合,并将运行状态聚类集合发送给聚类集合生成模块909。

业务量聚类集合生成模块908,用于根据业务量对对象进行聚类,得到对象的业务量聚类集合,并将业务量聚类集合发送给聚类集合生成模块909。

聚类集合生成模块909,用于根据基于预设规则对空间聚类集合、配置聚类集合、业务量聚类集合和运行状态聚类集合进行逻辑运算,得到对象的至少一个聚类集合。可选的,可以采用聚类集合列表的方式存储对象的至少一个聚类集合。聚类集合生成模块909将聚类集合列表发送给算法配置参数生成模块910。

算法配置参数生成模块910,用于根据预设异常检测算法和聚类集合列表中对象对应的性能指标数据,为每个聚类集合生成算法配置参数,并将其发送给异常检测算法模块902。

异常检测算法模块902,用于根据每个聚类集合对应的算法配置参数,对相应聚类集合中的性能指标数据进行异常检测,生成待确定异常对象集合,并将其发送至异常对象归因裁减模块911。

异常对象归因裁减模块911,用于根据对象的逻辑依赖关系,确定待确定异常对象集合中异常对象的逻辑因果关系,根据逻辑因果关系确定待确定异常对象集合中符合设定规律的目标异常对象,删除目标异常对象得到异常对象集合,输出该异常对象集合。

为了便于理解,采用下述具体示例说明本申请实施例的异常检测方法的处理流程。图10为本申请实施例提供的一种无线通信网络系统的示例图。假设存在一个简化后的无线通信网络系统,如图10所示,该无线通信网络系统包括:

1)一个核心网,编号为:cn_0;

2)5个基站,编号为:b_0~b_4;

3)每个基站管辖2个小区(共10个小区),小区编号为:c_0_0~c_4_1,其中第二位数字为小区所属的基站编号(0~4),第三位数字为小区编号(0~1);

4)每个小区和基站之间存在一条逻辑传输链路,编号为:ll_0_0~ll_4_1;

5)每个基站和cn之间存在一条物理传输链路,编号为:pl_0~pl_4;

6)假设这10个小区主要覆盖2处地理位置:loc_0~loc_1,其中b_0、b_1管辖的4个小区覆盖loc_0,b_2、b_3、b_4管辖的6个小区覆盖loc_1;

7)假设这些小区共存在2套不同的无线参数配置,附图中用包含水平线的圆和包含垂直线的圆来代表;

8)假设部分小区当前处于高业务量状态,附图中用灰色底色代表;部分小区处于低业务量状态,附图中用白底色代表;

9)假设当前的运行转态数据只有用户话单数据,且所有小区的用户话单数据基本相同。

基于上述假设说明本申请实施例中的异常检测方法的具体实现过程。

1.配置数据预处理模块首先获取配置数据,进行清洗和规整化,并生成对象依赖关系图。此时异常检测装置已了解无线网络通信系统中包含哪些对象以及对象之间的父子依赖关系,并将此依赖关系数据留存备用。随后将处理后的配置数据发送给配置聚类生成模块。

2.配置聚类生成模块基于dbscan聚类算法对空间信息相关的配置数据进行运算,即可得到根据地理位置聚类的小区聚类集合,以及根据无线参数配置聚类的小区聚类集合。

3.上述无线通信网络系统中的小区按地理位置聚类,得到两个空间聚类集合:

loc_1:[c_0_0,c_0_1,c_1_0,c_1_1]

loc_2:[c_2_0,c_2_1,c_3_0,c_3_1,c_4_0,c_4_1]

上述无线通信网络系统中的小区按无线配置聚类,得到两个配置聚类集合:

a.[c_0_0,c_0_1,c_2_0,c_2_1,c_4_1]

b.[c_1_0,c_1_1,c_3_0,c_3_1,c_4_0]

将这些数据留存备用。

4.性能指标数据预处理模块读取系统上报的性能指标数据,进行清洗和规整化后先发送给业务量聚类集合生成模块,并同时缓存数据等待异常检测算法模块准备就绪后为其提供数据。

5.运行状态数据预处理模块读取系统上报的运行状态数据(此场景下为用户话单),进行清洗和规整化后发送给运行状态聚类集合生成模块。

6.业务量聚类集合生成模块基于dbscan聚类算法对收到的性能指标数据进行运算,即可得到根据业务量聚类的小区聚类集合。

7.运行状态聚类集合生成模块基于dbscan聚类算法对收到的运行状态数据进行运算,即可得到根据运行状态数据聚类的小区聚类集合。

8.上述无线通信网络系统中的小区按业务量聚类,得到两个业务量聚类集合:

高业务量:[c_0_1,c_1_0,c_3_0,c_3_1,c_4_1]

低业务量:[c_0_0,c_1_1,c_2_0,c_2_1,c_4_0]

上述无线通信网络系统中的小区按运行状态数据聚类,得到一个运行状态聚类集合,该集合包含所有小区。将这些数据留存备用。

9.聚类集合生成模块可根据第3步和第8步得到的聚类数据,通过集合运算得到聚类集合列表。具体的做法是:无线配置聚类集合and运行状态聚类集合and业务量聚类集合xor空间聚类集合,这样可以得到所有在无线配置、运行状态和业务量上类似、但地理位置不同的小区的聚类集合。

10.最终得到的小区的聚类集合列表为:

a.[c_0_0,c_2_0]

b.[c_0_0,c_2_1]

c.[c_0_1,c_4_1]

d.[c_1_0,c_3_0]

e.[c_1_0,c_3_1]

f.[c_1_1,c_4_0]

将此数据发送给算法配置参数生成模块。

11.算法配置参数生成模块根据得到的聚类集合列表,以每一个聚类集合中的小区性能指标数据为一组,使用向量自回归方法进行训练,得到适用于该组的算法配置参数。待针对聚类集合列表中所有的聚类集合均完成算法配置计算后,将每个聚类集合的算法配置参数传递给异常检测算法模块。

12.异常检测算法模块从性能指标数据预处理模块获取性能指标数据,从算法配置参数生成模块获得聚类集合列表,以及适用于每个聚类集合的算法配置参数,随后以每个聚类集合中的小区为单位,使用向量自回归算法进行异常检测。待所有聚类集合都检测完毕后,输出待确认异常对象集合给异常对象归因裁减模块。

13.异常对象归因裁减模块通过步骤1得到的对象依赖关系图,对待确认异常对象集合进行归因裁减。举例来说,参考图10,异常检测算法认为ll_1_1、ll_3_0、ll_3_1以及pl_3在丢包率这个指标上有类似异常。异常对象归因裁减模块根据对象间的依赖关系确定:ll_1_1的相邻节点处的对象和父节点处的对象均无异常,因此,异常仅限定于ll_1_1自身,无须裁减;而pl_3作为有异常的父节点处的对象、其所有子节点处的对象均有类似异常,那么,子节点处的对象的异常很有可能是由于父节点处的对象引发的,因此,决定裁剪掉所有子节点处的对象,只留下pl_3的异常对象,至此,归因裁减完毕,得到异常对象集合。

14.输出异常对象集合。

本申请实施例提供了一种终端。图11为本申请实施例提供的一种终端的结构示意图。如图11所示,终端包括存储器1110,以及一个或多个处理器1120;所述存储器1110,设置为存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器1120执行,使得所述一个或多个处理器1120实现本申请实施例所述的异常检测方法。

上述提供的终端可设置为执行上述任意实施例提供的异常检测方法,具备相应的功能和有益效果。

本申请实施例还提供了一种可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时设置为执行一种异常检测方法,该方法包括:根据对象的配置数据和性能指标数据,生成对象的至少一个聚类集合;

根据预设异常检测算法和聚类集合中对象对应的性能指标数据,确定每个聚类集合对应的算法配置参数;

根据所述算法配置参数确定对应的聚类集合中对象的异常性能指标数据,根据所述异常性能指标数据确定异常对象。

以上,仅为本申请的示例性实施例而已,并非用于限定本申请的保护范围。

一般来说,本申请的多种实施例可以在硬件或专用电路、软件、逻辑或其任何组合中实现。例如,一些方面可以被实现在硬件中,而其它方面可以被实现在可以被控制器、微处理器或其它计算装置执行的固件或软件中,尽管本申请不限于此。

本申请附图中的任何逻辑流程的框图可以表示程序步骤,或者可以表示相互连接的逻辑电路、模块和功能,或者可以表示程序步骤与逻辑电路、模块和功能的组合。计算机程序可以存储在存储器上。存储器可以具有任何适合于本地技术环境的类型并且可以使用任何适合的数据存储技术实现,例如但不限于只读存储器(rom)、随机访问存储器(ram)、光存储器装置和系统(数码多功能光碟dvd或cd光盘)等。计算机可读介质可以包括非瞬时性存储介质。数据处理器可以是任何适合于本地技术环境的类型,例如但不限于通用计算机、专用计算机、微处理器、数字信号处理器(dsp)、专用集成电路(asic)、可编程逻辑器件(fgpa)以及基于多核处理器架构的处理器。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1