监控数据降噪处理方法和装置与流程

文档序号:15466063发布日期:2018-09-18 19:21阅读:645来源:国知局

本发明涉及通信技术领域,特别涉及一种监控数据降噪处理方法和装置。



背景技术:

GTM(Global Traffic Manager,全局流量管理)是基于智能DNS(Domain Name System,域名系统)、分布式监控体系及大数据处理平台、覆盖各运营商和各区域的解析线路以及不断更新的IP库,实现24小时宕机自动检测及主备源的智能切换,进而为用户提供可靠、稳定和安全的流量调度服务。

目前,GTM调度主要依赖于IDC(Internet Data Center,互联网数据中心)机房监控节点对目标主机进行的监控探测。通常是选取多个监控节点对一个目标主机进行监控探测,监控节点将监控数据返回给GTM调度中心,GTM调度中心再对监控节点返回的监控数据进行分析。如果对目标主机的探测结果存在不可用的情况,则提高探测频率,继续对目标主机进行探测,直至返回的探测结果全部为不可用状态。若返回的探测结果全部为不可用状态,则进行调度切换。

上述方法中,GTM调度中心根据监控节点返回的监控数据实现对目标主机的探测及调度切换。但是,监控节点返回的监控数据存在不准确性,例如,当出现网络波动、监控节点故障等状况时。当监控节点返回的监控数据准确性较差时,由于GTM调度中心不能识别监控数据的准确性,导致调度错误。



技术实现要素:

本发明的实施例提供一种监控数据降噪处理方法和装置,用以提高监控数据的准确性。

为达到上述目的,本发明的实施例采用如下技术方案:

第一方面,本发明实施例提供一种监控数据降噪处理方法,包括:

获取监控数据,所述监控数据为单变量的时间序列信号;

基于所述单变量的时间序列信号在嵌入维空间中进行相空间重构,得到原动力系统的相空间矩阵;

对所述相空间矩阵进行奇异值分解;

计算相空间矩阵的有效重构阶秩,获得相空间矩阵的主奇异值;

利用相空间矩阵的主奇异值进行信号重构,获得降噪后的信号,实现对所述监控数据的降噪处理。

在第一方面的第一种可能的实现方式中,所述利用相空间矩阵的主奇异值进行信号重构,包括:

构造相空间矩阵的主元素矩阵,计算出重构信号的各个主分量;

根据计算出的各个主分量及各个主分量对应的经验正交函数EOF,计算出重构信号。

在第一方面的第二种可能的实现方式中,所述利用相空间矩阵的主奇异值进行信号重构,获得降噪后的信号,包括:

重构第1个主奇异值对应的逼近矩阵;

计算重构信号分量和重构信号剩余分量;

判断重构信号剩余分量是否为噪声成分信号;

若剩余分量是噪声成分,则降噪后的信号为:

式中,p为相空间矩的有效重构阶秩,为重构信号分量。

结合第一方面或第一方面的第二种可能的实现方式,在第三种可能的实现方式中,若剩余分量不是噪声成分,则通过改变嵌入维数和延迟时间对相空间矩阵进行调整,直至计算出的重构信号剩余分量是噪声成分;

然后基于重构信号分量计算降噪后的信号计算公式为:

结合第一方面或第一方面的第二种可能的实现方式,在第四种可能的实现方式中,若剩余分量不是噪声成分,则将剩余分量作为单变量的时间序列信号在嵌入维空间中进行相空间再重构,相空间再重构的次数最大值为p;

然后基于重构信号分量计算降噪后的信号计算公式为:

第二方面,本发明实施例提供一种监控数据降噪处理装置,包括:

获取模块,用于获取监控数据,所述监控数据为单变量的时间序列信号;

构造模块,用于基于所述单变量的时间序列信号在嵌入维空间中进行相空间重构,得到原动力系统的相空间矩阵;

分解模块,用于对所述相空间矩阵进行奇异值分解;

计算模块,用于计算相空间矩阵的有效重构阶秩,获得相空间矩阵的主奇异值;

所述构造模块,还用于利用相空间矩阵的主奇异值进行信号重构,获得降噪后的信号,实现对所述监控数据的降噪处理。

在第二方面的第一种可能的实现方式中,所述构造模块还用于构造相空间矩阵的主元素矩阵,计算出重构信号的各个主分量;

所述计算模块,还用于根据计算出的各个主分量及各个主分量对应的经验正交函数EOF,计算出重构信号。

在第二方面的第二种可能的实现方式中,所述构造模块还用于重构第1个主奇异值对应的逼近矩阵;

所述计算模块还用于计算重构信号分量和重构信号剩余分量;

所述的装置还包括判断模块,所述判断模块用于判断重构信号剩余分量是否为噪声成分信号;

若剩余分量是噪声成分,则降噪后的信号为:

式中,p为相空间矩的有效重构阶秩,为重构信号分量。

结合第二方面或第二方面的第二种可能的实现方式,在第三种可能的实现方式中,若剩余分量不是噪声成分,则所述构造模块还用于通过改变嵌入维数和延迟时间对相空间矩阵进行调整,直至计算出的重构信号剩余分量是噪声成分;

然后由计算模块基于重构信号分量计算降噪后的信号计算公式为:

结合第二方面或第二方面的第二种可能的实现方式,在第四种可能的实现方式中,若剩余分量不是噪声成分,则所述构造模块还用于将剩余分量作为单变量的时间序列信号在嵌入维空间中进行相空间再重构,相空间再重构的次数最大值为p;

然后由计算模块基于重构信号分量计算降噪后的信号计算公式为:

本发明实施例提供的技术方案,在获取监控数据后,针对监控数据时间序列信号在嵌入维空间中进行相空间重构,在嵌入维空间中可以恢复诸如吸引子等非线性特征,重构出的原动力系统的相空间矩阵是与原动力系统在拓扑意义下等价的模型,进一步的通过对相空间矩阵进行奇异值分解,计算相空间矩阵的有效重构阶秩,得到相空间矩阵的主奇异值,并利用相空间矩阵的主奇异值进行信号重构,能体现系统的全局特征,达到很好的预测效果。因此,本发明实施例提供的技术方案可以提高监控数据的准确性,进而提升GTM调度质量。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明监控数据降噪处理方法实施例一的流程图;

图2为本发明监控数据降噪处理装置实施例一的结构示意图;

图3为本发明监控数据降噪处理装置实施例二的结构示意图;

图4为本发明另一个实施例提供的监控数据降噪处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

图1为本发明监控数据降噪处理方法实施例一的流程图,本实施例的降噪处理方法适用于GTM调度中心根据监控节点返回的监控数据实现对目标主机的探测及调度切换,该方法可以由处理装置来执行,该处理装置可以通过软件方式实现,配置于GTM调度设备中。如图1所示,本实施例的方法可以包括以下内容。

S101、获取监控数据,监控数据为单变量的时间序列信号。

按照时间的顺序把事件变化发展的过程记录下来,就构成了一个时间序列。监控节点返回的监控数据为一维向量,表示为单变量的时间序列信号x(k),k=1,2,…,N。

S102、基于单变量的时间序列信号在嵌入维空间中进行相空间重构,得到原动力系统的相空间矩阵。

把一个时间序列看成是由一个确定性的非线性动力系统产生的,一个系统在某一时刻的状态称为相,决定状态的几何空间称为相空间。为了由时间序列来恢复并刻画原动力系统,本实施例中,基于单变量的时间序列信号x(k)在嵌入维空间中进行相空间重构,得到原动力系统的相空间矩阵X,

其中,d为嵌入维数,L为延迟时间,r=N-(d-1)L,N为单变量的时间序列信号的长度。如果嵌入维数d和延迟时间L选择恰当,则相空间矩阵可描述原系统。

延迟时间L的选择是从研究数据序列相关性入手,选择方法有自相关法、复自相关法、平均位移法等。嵌入维数d的选择方法有虚假邻点法、关联积分法、奇异值分解法等。

S103、对相空间矩阵进行奇异值分解。

具体的,如果时间序列不含噪声,相空间矩阵奇异值分解可得p个较大的主奇异值,其余奇异值均为零;如果信号含有噪声,由于噪声的影响将使得所有奇异值均大于零,p个较大的主奇异值对应信号的特征成分,而近似为零的奇异值对应信号中的噪声成分。保留p个较大的主奇异值,其余的奇异值设为零,便可重构原信号,降低噪声。

嵌入相空间矩阵可写为:

其中,为系统的确定信号,P为噪声信号,令Λ2=0,得的最小二乘估计式

将相应各列相加取平均,可获得含噪声较少的时间序列。

对相空间矩阵X进行奇异值分解,

X=UΛVT

式中,U为r×d阶的正交矩阵,Λ=diag(λ1,λ2,…,λd),λ1,λ2,…,λd为相空间矩阵X的奇异值,且λ1≥λ2≥…≥λd>0,V为矩阵XTX对应于特征值为的特征向量而成的正交矩阵。

V的每一列(即特征值对应的特征向量)为X在嵌入空间的“主轴”,也称为经验正交函数(EOF)。正交变换Y=XV称为X的主元素矩阵,是X在“主轴”上的投影,由XTX的特征值对应的特征向量Vk(k=1,2,…,d),可得第k个主分量为Yk=XVk,利用主分量及EOF便可还原原信号。

S104、计算相空间矩阵的有效重构阶秩,得到相空间矩阵的主奇异值。

如何选择和确定相空间矩阵的有效重构阶秩p,即选取哪些主分量重构信号。具体的,计算相空间矩阵X的有效重构阶秩p,计算公式为:

式中,m=dk-k(k+1)2,x=(x(1),…,x(N))T

计算出相空间矩阵X的有效重构阶秩p,则λ1,λ2,…,λd中的前p个奇异值即为相空间矩阵X的主奇异值。

S105、利用相空间矩阵的主奇异值进行信号重构,获得降噪后的信号。

具体的,利用相空间矩阵X的主奇异值进行信号重构,获得降噪后的信号,可以包括:

构造相空间矩阵X的主元素矩阵Y,

Y=XV

由XTX的特征值对应的特征向量Vk,计算出重构信号的各个主分量Yk=XVk,k=1,2,…,p;

根据计算出的各个主分量及各个主分量对应的经验正交函数EOF,计算出重构信号,计算公式为:

降噪后的信号为:

式中,α=max(1,k-r+1),β=min(d,k)。

其余的主分量及相应的EOF重构了噪声信号:

利用相空间矩阵X的主奇异值进行信号重构,获得降噪后的信号,即实现对所述监控数据的降噪处理。

本实施例中,在获取监控数据后,针对监控数据时间序列信号在嵌入维空间中进行相空间重构,在嵌入维空间中可以恢复诸如吸引子等非线性特征,重构出的原动力系统的相空间矩阵是与原动力系统在拓扑意义下等价的模型,进一步的通过对相空间矩阵进行奇异值分解,计算相空间矩阵的有效重构阶秩,得到相空间矩阵的主奇异值,并利用相空间矩阵的主奇异值进行信号重构,能体现系统的全局特征,达到很好的预测效果。因此,本发明实施例提供的技术方案可以提高监控数据的准确性,进而提升GTM调度质量。

如上所述的监控数据降噪处理方法,其中,利用相空间矩阵X的主奇异值进行信号重构,获得降噪后的信号,具体还可以包括:

重构第1个主奇异值对应的逼近矩阵Y1,

计算重构信号分量,计算公式为:

式中,α=max(1,k-r+1),β=min(d,k);

计算重构信号剩余分量,计算公式为:

判断重构信号剩余分量r[k]是否为噪声成分信号;

若剩余分量r[k]是噪声成分,则降噪后的信号为:

若剩余分量r[k]不是噪声成分,则通过改变嵌入维数d和延迟时间L对相空间矩阵X进行调整,直至计算出的重构信号剩余分量r[k]是噪声成分;

然后基于重构信号分量计算降噪后的信号计算公式为:

如上所述的监控数据降噪处理方法,其中,若剩余分量r[k]不是噪声成分,则将剩余分量r[k],k=1,2,…,N,作为单变量的时间序列信号在嵌入维空间中进行相空间再重构,相空间再重构的次数最大值为p;

然后基于重构信号分量计算降噪后的信号计算公式为:

例如,监控数据为一含噪信号x=(x(1),…,x(N))T,本实施例的降噪处理方法可以包括以下步骤。

(1)构造含噪信号x=(x(1),…,x(N))T的延迟-协方差矩阵X,并进行奇异值分解X=UΛVT

(2)根据奇异值的大小按MBMS准则确定最大奇异值的个数p,即重构阶次p。

(3)重构第一个奇异值对应的逼近矩阵Y1,

(4)根据下式估计信号分量

(5)利用自相关分析法判别剩余信号分量是否为噪声成分。若是噪声,则执行步骤(6);若不是噪声,则将该剩余分量视为新的含噪信号,并执行步骤(1)、(3)、(4)、(5),直到循环p次结束,则降噪后的信号为

(6)获得降噪后的信号

由于噪声的影响,使得前p个较大的主奇异值并不能完全表征系统的确定信号,本实施例中,通过采用迭代的奇异值降噪算法,进一步提高了监控数据的准确性。

图2为本发明监控数据降噪处理装置实施例一的结构示意图,本实施例的监控数据降噪处理装置可以包括:获取模块201、构造模块202、分解模块203和计算模块204。其中,获取模块201用于获取监控数据,监控数据为单变量的时间序列信号x(k),k=1,2,…,N;构造模块202用于基于单变量的时间序列信号在嵌入维空间中进行相空间重构,得到原动力系统的相空间矩阵X,

其中,d为嵌入维数,L为延迟时间,r=N-(d-1)L,N为单变量的时间序列信号的长度;分解模块203用于对相空间矩阵X进行奇异值分解,

X=UΛVT

式中,U为r×d阶的正交矩阵,Λ=diag(λ1,λ2,…,λd),λ1,λ2,…,λd为相空间矩阵X的奇异值,且λ1≥λ2≥…≥λd>0,V为矩阵XTX对应于特征值为的特征向量而成的正交矩阵;计算模块204用于计算相空间矩阵X的有效重构阶秩p,则λ1,λ2,…,λd中的前p个奇异值为相空间矩阵X的主奇异值;构造模块202还用于利用相空间矩阵X的主奇异值进行信号重构,获得降噪后的信号,实现对监控数据的降噪处理。

在具体应用中,计算模块204还可以用于计算相空间矩阵X的有效重构阶秩p,具体计算公式为:

式中,m=dk-k(k+1)2,x=(x(1),…,x(N))T

本实施例的监控数据降噪处理装置可以用于执行图1所示方法实施例的方法,其实现原理和所要达到的技术效果类似,在此不再赘述。

如上所述的装置,其中,构造模块202还用于构造相空间矩阵X的主元素矩阵Y,

Y=XV

由XTX的特征值对应的特征向量Vk,由计算模块204计算出重构信号的各个主分量Yk=XVk,k=1,2,…,p;

计算模块204还用于根据计算出的各个主分量及各个主分量对应的经验正交函数EOF,计算出重构信号,计算公式为:

降噪后的信号为:

式中,α=max(1,k-r+1),β=min(d,k)。

图3为本发明监控数据降噪处理装置实施例二的结构示意图,如图3所示,构造模块202还用于重构第1个主奇异值对应的逼近矩阵Y1,

Y1=U1λ1V1T

计算模块204还用于计算重构信号分量,计算公式为:

式中,α=max(1,k-r+1),β=min(d,k);

计算模块204还用于计算重构信号剩余分量,计算公式为:

所述的装置还包括判断模块301,判断模块301用于判断重构信号剩余分量r[k]是否为噪声成分信号;

若剩余分量r[k]是噪声成分,则降噪后的信号为:

如上的装置,其中,若剩余分量r[k]不是噪声成分,则构造模块202还用于通过改变嵌入维数d和延迟时间L对相空间矩阵X进行调整,直至计算模块204计算出的重构信号剩余分量r[k]是噪声成分;

然后由计算模块204基于重构信号分量计算降噪后的信号计算公式为:

图4为本发明另一个实施例提供的监控数据降噪处理装置的结构示意图,如图4所示,该监控数据降噪处理装置包括至少一个处理器401(例如CPU),存储器403,和至少一个通信总线404,用于实现装置之间的连接通信。处理器401用于执行存储器403中存储的可执行模块,例如计算机程序。存储器403可能包含高速随机存取存储器(RAM:Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。

在一些实施方式中,存储器403存储了程序405,程序405可以被处理器401执行,这个程序包括执行一种监控数据降噪处理方法,该方法包括:

获取监控数据,所述监控数据为单变量的时间序列信号;

基于所述单变量的时间序列信号在嵌入维空间中进行相空间重构,得到原动力系统的相空间矩阵;

对所述相空间矩阵进行奇异值分解;

计算相空间矩阵的有效重构阶秩,获得相空间矩阵的主奇异值;

利用相空间矩阵的主奇异值进行信号重构,获得降噪后的信号,实现对所述监控数据的降噪处理。

上述执行监控数据降噪处理方法的程序,优选地,所述利用相空间矩阵的主奇异值进行信号重构,包括:

构造相空间矩阵的主元素矩阵,计算出重构信号的各个主分量;

根据计算出的各个主分量及各个主分量对应的经验正交函数EOF,计算出重构信号。

上述执行监控数据降噪处理方法的程序,优选地,所述利用相空间矩阵的主奇异值进行信号重构,获得降噪后的信号,包括:

重构第1个主奇异值对应的逼近矩阵;

计算重构信号分量和重构信号剩余分量;

判断重构信号剩余分量是否为噪声成分信号;

若剩余分量是噪声成分,则降噪后的信号为:

式中,p为相空间矩的有效重构阶秩,为重构信号分量。

上述执行监控数据降噪处理方法的程序,优选地,若剩余分量不是噪声成分,则通过改变嵌入维数和延迟时间对相空间矩阵进行调整,直至计算出的重构信号剩余分量是噪声成分;

然后基于重构信号分量计算降噪后的信号计算公式为:

上述执行监控数据降噪处理方法的程序,优选地,若剩余分量不是噪声成分,则将剩余分量作为单变量的时间序列信号在嵌入维空间中进行相空间再重构,相空间再重构的次数最大值为p;

然后基于重构信号分量计算降噪后的信号计算公式为:

最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1