基于极值理论的智慧城市网络设备性能异常阈值评估方法

1.本发明涉及网络信息技术领域，尤其涉及一种基于极值理论的智慧城市网络设备性能异常阈值评估方法。


背景技术：

2.目前信息技术不断发展，信息化、数据化成为了新的经济增长点和目前各项建设工作的重点，其中建设智慧城市则是目前网络设施建设以及城市未来规划建设的重中之重。庞大的智慧城市信息化工程需要高性能、强稳定性的网络基础设施作为支撑，其中网络设备性能是重要考察点之一。网络设备性能由几个关键指标决定，比如网络流量，网络延迟，接入设备数量等。其中关键性能指标存在可承载阈值，网络设备需要在承载范围内发挥最大性能，因此需要明确求解关键性能指标的极大极小异常阈值，这决定了网络设备的性能及鲁棒性。因此如何求解网络设备关键性能指标的异常阈值，保证网络服务稳定高效成为了智慧城市建设中网络建设所需要突破的重点问题之一。
3.在现代互联网服务中，为了确保服务不中断，运维人员需要密切关注各种性能指标的表现情况。因此系统要能及时触发关于异常指标的警报，然后运维人员才可以快速进行故障止损的操作。但是随着业务越来越复杂，系统需要监控大量的性能指标，因此操作员需要自动的异常检测算法，由该需求逐渐延伸出不少异常边界阈值求解算法。异常边界阈值求解方法由来已久，主要分为基于性能指标和基于深度学习的方法。
4.基于性能指标的服务异常检测方法发展迅速，但现有方法存在依赖于原始数据分布、依赖于手动设置阈值、依赖于大量标注的异常指标样本数据、对多种形态混合性能指标检测效果较差等问题，因此其效果往往并不理想，但基于性能指标的服务异常检测方法仍然是检测指标异常的最主要方法。


技术实现要素：

5.本发明提供一种基于极值理论的智慧城市网络设备性能异常阈值评估方法，用以解决现有技术中性能指标检测效果较差的缺陷，实现提高异常边界阈值计算的准确率。
6.本发明提供一种基于极值理论的智慧城市网络设备性能异常阈值评估方法，包括：
7.基于目标性能数据和极大似然估计方法，确定广义帕累托分布模型的目标参数；
8.基于所述目标参数，确定智慧城市网络设备性能的异常阈值；
9.所述目标性能数据是基于智慧城市网络设备的运行数据确定的；
10.所述目标参数包括规模参数和形状参数。
11.在一些实施例中，所述基于目标数据和极大似然估计方法，确定广义帕累托分布模型的目标参数，包括：
12.基于目标性能数据和极大似然估计方法，确定所述目标性能数据的平均值和方差；
13.基于所述平均值和方差，确定广义帕累托分布模型的目标参数。
14.在一些实施例中，所述基于所述目标参数，确定智慧城市网络设备性能的异常阈值，包括：
15.基于所述目标参数，确定智慧城市网络设备性能的异常极大值和异常极小值。
16.在一些实施例中，所述基于目标性能数据和极大似然估计方法，确定广义帕累托分布模型的目标参数之前，还包括：
17.基于异常边界阈值的检测方法，确定所述目标性能数据的风险系数、初始低值阈值和初始高值阈值。
18.在一些实施例中，所述基于所述目标参数，确定智慧城市网络设备性能的异常极大值和异常极小值的公式为：
[0019][0020][0021]
其中，z
t
为异常极大值，zb为异常极小值，t为初始高值阈值，b为初始低值阈值，α为规模参数，γ为形状参数，q为风险系数，n为观测总数，n
t
为峰值数。
[0022]
在一些实施例中，所述基于所述平均值和方差，确定广义帕累托分布模型的目标参数的公式为：
[0023][0024][0025]
其中，α为规模参数，γ为形状参数，μ为平均值，σ2为方差。
[0026]
本发明还提供一种基于极值理论的智慧城市网络设备性能异常阈值评估装置，包括：
[0027]
确定模块，用于基于目标性能数据和极大似然估计方法，确定广义帕累托分布模型的目标参数；
[0028]
评估模块，用于基于所述目标参数，确定智慧城市网络设备性能的异常阈值；
[0029]
所述目标性能数据是基于智慧城市网络设备的运行数据确定的；
[0030]
所述目标参数包括规模参数和形状参数。
[0031]
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于极值理论的智慧城市网络设备性能异常阈值评估方法。
[0032]
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于极值理论的智慧城市网络设备性能异常阈值评估方法。
[0033]
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器
mobile personal computer，umpc)、上网本或者个人数字助理(personal digital assistant，pda)等，非移动电子设备可以为服务器、网络附属存储器(network attached storage，nas)、个人计算机(personal computer，pc)、电视机(television，tv)、柜员机或者自助机等，本发明不作具体限定。
[0048]
在步骤110中，基于目标性能数据和极大似然估计方法，确定广义帕累托分布模型的目标参数。
[0049]
根据采集的智慧城市网络设备的运行数据，确定目标性能数据，目标性能数据可以包括：网络流量数据，网络延迟数据，接入设备数量数据等。
[0050]
根据极大似然估计方法对目标性能数据进行计算，确定广义帕累托分布模型的规模参数和形状参数。
[0051]
在步骤120中，基于目标参数，确定智慧城市网络设备性能的异常阈值。
[0052]
根据极大似然估计方法计算得到广义帕累托分布模型的目标参数之后，通过广义帕累托分布求解智慧城市网络设备性能的异常边界阈值，从而实现准确评估智慧城市网络设备性能是否异常。
[0053]
本发明实施例提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法，通过使用极大似然估计方法确定广义帕累托分布的参数，解决了一般参数估计方法准确率低，性能低效的问题，并且极大似然估计方法大样本下一致收敛更强并且趋于正态分布，使得到的广义帕累托分布的参数更加接近真实值，为广义帕累托分布求解异常边界阈值打下基础，提高了异常边界阈值计算的准确率。
[0054]
在一些实施例中，基于目标数据和极大似然估计方法，确定广义帕累托分布模型的目标参数，包括：
[0055]
基于目标性能数据和极大似然估计方法，确定目标性能数据的平均值和方差；
[0056]
基于平均值和方差，确定广义帕累托分布模型的目标参数。
[0057]
对于广义帕累托分布模型，其平均值和方差可以表示为：
[0058][0059][0060]
其中，e(y)为平均值，var(y)为方差，α为广义帕累托分布模型的规模参数，γ为广义帕累托分布模型的形状参数。
[0061]
基于采集的目标性能数据x＝{x1，
…
，xn}，采用极大似然估计方法求出对应的平均值和方差：
[0062][0063]
[0064][0065][0066]
其中，μ为似然函数变量的平均值，σ2为似然函数变量的方差，为变量x的平均值。
[0067]
根据公式(1)-(2)，以及公式(6)，用μ代替e(y)，σ2代替var(y)，做一个参数估计，其中yi是超过顶点的随机变量(对xi》t，yi＝x
i-t，xi是一个采样点，t是初始化阈值)，n
t
是满足t《xi≤zq的xi个数。
[0068]
可以通过以下两个公式估计广义帕累托分布的参数γ和α。
[0069][0070][0071]
本发明实施例提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法，通过使用极大似然估计方法来确定广义帕累托分布模型中的参数，解决了其他参数估计方法在数据量较大情况下效率低的问题，且极大似然估计在大样本下一致收敛更强并且趋于正态分布，时间复杂度低，效率及鲁棒性高。
[0072]
在一些实施例中，基于目标参数，确定智慧城市网络设备性能的异常阈值，包括：
[0073]
基于目标参数，确定智慧城市网络设备性能的异常极大值和异常极小值。
[0074]
对输入流式数据x进行归一化处理：
[0075][0076]
归一化处理后使数据分布在(0，1)之间。
[0077]
标准广义极值分布的分布函数如下:
[0078][0079]
根据已有理论，当x超过初始高值阈值t时，记x-t＝y，y遵循参数为形状参数γ，规模参数α的广义帕累托分布。在边界极端情况下原始数据的异常极值都服从于广义帕累托分布模型，极大值检测方法如下所示：
[0080][0081]
由于现有基于极值理论的异常检测，仅考虑了异常极大值的检测情况，在异常极小值情况下表现效果较差，因此本发明扩展了极值理论在极小值情况下的适用性，提出在极小值情况下的异常检测公式，其公式如下：
[0082][0083]
其中，b为初始低值阈值。
[0084]
根据极值理论和极大值异常和极小值异常的不同，将极值进一步细化为异常极大值边界z
t
，异常极小值边界zb，计算方法如下所示：
[0085][0086][0087]
其中，t为初始高值阈值，b为初始低值阈值，q为风险系数，n为观测总数，n
t
为峰值数，即xi》t时xi的数量。
[0088]
本发明实施例提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法，通过基于极值理论，引入广义帕累托分布进行异常边界求解，在经典广义帕累托分布模型上加以改进，根据已有的异常极大值，引入异常极小值的概念，完善异常边界阈值的推导方式，求解得到异常极大值和异常极小值，解决了现有基于极值的方法在极小值范围下无法检测异常的问题。
[0089]
在一些实施例中，基于目标性能数据和极大似然估计方法，确定广义帕累托分布模型的目标参数之前，还包括：
[0090]
基于异常边界阈值的检测方法，确定目标性能数据的风险系数、初始低值阈值和初始高值阈值。
[0091]
令某性能指标x＝{x1,
…
,xn}是一个随机变量，f是其累积分布函数：f(x)＝p(x≤x)。表示分布f的尾部：
[0092][0093]
对于x表示的随机变量和给定风险系数q，使用zq表示f的1-q位分位数，对于随机变量取正常范围的值x≤zq：
[0094]
p(x≤zq)≥1-q
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)
[0095]
其中关于异常边界zq的求解，就是要找到一个分位数zq使得x》zq这个事件在随机事件x的分布中是小概率事件，本发明通过zq进行异常检测。换言之当x》zq时，此事件发生的概率极小。
[0096]
p(x》zq)《q
ꢀꢀꢀꢀꢀꢀꢀꢀ
(17)
[0097]
通过使用基于异常边界阈值的异常检测方法，设定性能指标的风险系数，设定边界异常值，规定性能指标的正常范围。
[0098]
本发明实施例提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法，通过使用基于异常边界阈值的异常检测方法，设定性能指标的风险系数，设定边界异常值，规定性能指标的正常范围。
[0099]
图2是本发明提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法的
流程示意图之二，参照图2，本发明提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法，可以包括：
[0100]
步骤210、基于异常阈值的异常检测方法，确定异常边界的概念。
[0101]
使用基于异常边界阈值的异常检测方法，设定性能指标的风险系数，设定边界异常值，规定性能指标的正常范围，具体计算过程可参考公式(15)-(17)。
[0102]
步骤220、基于极大似然估计方法，确定广义帕累托分布的参数。
[0103]
使用基于极大似然估计方法求解广义帕累托分布的参数，根据广义帕累托分布模型的平均值和方差，将其与极大似然估计的方法相匹配，求解广义帕累托分布模型的对应参数，为步骤230使用广义帕累托分布模型求解异常边界阈值提供分布参数γ和α，具体计算过程可参考公式(1)-(8)。
[0104]
步骤230、基于广义帕累托分布的异常边界求解方法，确定异常边界。
[0105]
使用基于广义帕累托分布的异常边界求解方法求出异常边界，先将流式性能指标数据归一化处理，再使用广义帕累托分布拟合指标的极端分布情况，采用步骤220得到的分布参数，分别求解异常极大值边界z
t
和异常极小值边界zb，具体计算过程可参考公式(9)-(14)。
[0106]
下面结合具体场景，对本发明提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法进行详细描述，具体步骤如下：
[0107]
s1、使用采集到的网络运行数据中网络流量大小作为性能指标，取网络流量大小x＝{x1，
…
，xn}＝{15.43，23.09，48.53，5.62，0.53
…
，18.66}，其中x为10维数据，由公式(15)-(17)可知，求解异常阈值需要设置初始风险参数q，此处设置q＝0.9，初始高值阈值t＝0.98，初始低值阈值b＝0.05。
[0108]
s2、采用极大似然估计方法进行参数估计，将x＝{x1,
…
,xn}代入公式(3)至公式(6)，可以得到极大似然估计中μ＝25.38，σ2＝13.52。再将μ和σ2代入公式(7)和(8)，得到广义帕累托分布的参数分别是α＝617.29，γ＝-23.32。
[0109]
s3、根据s2的结果，将参数估计求解的参数代入广义帕累托分布模型中，在实际进行异常阈值边界求解时，先将x＝{x1,
…
,xn}进行归一化处理，将x代入公式(9)得到归一化后的x＝{0.58，0.72，0.93，0.23，0.04，
…
，0.61}。根据公式(11)和公式(12)，初始阈值t＝0.98,b＝0.05。将s2得到的参数以及初始阈值代入公式(13)以及公式(14)，最终得到异常极大值边界z
t
＝0.96，异常极小值边界zb＝0.03。
[0110]
本发明实施例提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法，使用极大似然估计方法来确定广义帕累托分布模型中的参数，解决了其他参数估计方法在数据量较大情况下效率低的问题，且极大似然估计在大样本下一致收敛更强并且趋于正态分布，时间复杂度低，效率及鲁棒性高。基于极值理论，引入广义帕累托分布进行异常边界求解，在经典广义帕累托分布模型上加以改进，根据已有的异常极大值，引入异常极小值的概念，完善异常边界阈值的推导方式，求解得到异常极大值和异常极小值。
[0111]
此外，本发明实施例提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法，方法解决了现有性能指标异常检测算法存在依赖于手动设置阈值或假定数据服从某种分布的理想场景等问题。首先本发明基于极值理论来准确估计低概率区域，然后区分异常值。然后，提出了异常低值边界计算公式解决了现有基于极值的方法在极小值范围下无
法检测异常的问题。不仅避免了现有算法依赖于人工阈值的问题，还避免了算法过分依赖于性能指标数学分布的问题，可以根据最新时序数据自动地迭代更新异常边界阈值。
[0112]
下面对本发明提供的基于极值理论的智慧城市网络设备性能异常阈值评估装置进行描述，下文描述的基于极值理论的智慧城市网络设备性能异常阈值评估装置与上文描述的基于极值理论的智慧城市网络设备性能异常阈值评估方法可相互对应参照。
[0113]
图3是本发明提供的基于极值理论的智慧城市网络设备性能异常阈值评估装置的结构示意图，参照图3，本发明提供的基于极值理论的智慧城市网络设备性能异常阈值评估装置，可以包括：
[0114]
确定模块310，用于基于目标性能数据和极大似然估计方法，确定广义帕累托分布模型的目标参数；
[0115]
评估模块320，用于基于目标参数，确定智慧城市网络设备性能的异常阈值；
[0116]
目标性能数据是基于智慧城市网络设备的运行数据确定的；
[0117]
目标参数包括规模参数和形状参数。
[0118]
本发明实施例提供的基于极值理论的智慧城市网络设备性能异常阈值评估装置，通过使用极大似然估计方法确定广义帕累托分布的参数，解决了一般参数估计方法准确率低，性能低效的问题，并且极大似然估计方法大样本下一致收敛更强并且趋于正态分布，使得到的广义帕累托分布的参数更加接近真实值，为广义帕累托分布求解异常边界阈值打下基础，提高了异常边界阈值计算的准确率。
[0119]
在一些实施例中，确定模块310具体用于：
[0120]
基于目标性能数据和极大似然估计方法，确定目标性能数据的平均值和方差；
[0121]
基于平均值和方差，确定广义帕累托分布模型的目标参数。
[0122]
在一些实施例中，评估模块320，具体用于：
[0123]
基于目标参数，确定智慧城市网络设备性能的异常极大值和异常极小值。
[0124]
在一些实施例中，基于目标性能数据和极大似然估计方法，确定广义帕累托分布模型的目标参数之前，还包括：
[0125]
基于异常边界阈值的检测方法，确定目标性能数据的风险系数、初始低值阈值和初始高值阈值。
[0126]
在一些实施例中，基于目标参数，确定智慧城市网络设备性能的异常极大值和异常极小值的公式为：
[0127][0128][0129]
其中，z
t
为异常极大值，zb为异常极小值，t为初始高值阈值，b为初始低值阈值，α为规模参数，γ为形状参数，q为风险系数，n为观测总数，n
t
为峰值数。
[0130]
在一些实施例中，基于平均值和方差，确定广义帕累托分布模型的目标参数的公式为：
[0131][0132][0133]
其中，α为规模参数，γ为形状参数，μ为平均值，σ2为方差。
[0134]
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communications interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行基于极值理论的智慧城市网络设备性能异常阈值评估方法，该方法包括：
[0135]
基于目标性能数据和极大似然估计方法，确定广义帕累托分布模型的目标参数；
[0136]
基于目标参数，确定智慧城市网络设备性能的异常阈值；
[0137]
目标性能数据是基于智慧城市网络设备的运行数据确定的；
[0138]
目标参数包括规模参数和形状参数。
[0139]
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0140]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法，该方法包括：
[0141]
基于目标性能数据和极大似然估计方法，确定广义帕累托分布模型的目标参数；
[0142]
基于目标参数，确定智慧城市网络设备性能的异常阈值；
[0143]
目标性能数据是基于智慧城市网络设备的运行数据确定的；
[0144]
目标参数包括规模参数和形状参数。
[0145]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于极值理论的智慧城市网络设备性能异常阈值评估方法，该方法包括：
[0146]
基于目标性能数据和极大似然估计方法，确定广义帕累托分布模型的目标参数；
[0147]
基于目标参数，确定智慧城市网络设备性能的异常阈值；
[0148]
目标性能数据是基于智慧城市网络设备的运行数据确定的；
[0149]
目标参数包括规模参数和形状参数。
[0150]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可
以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0151]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0152]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。