技术特征:
1.一种变点检测优化方法,其特征在于,所述方法至少包括:s1.设置第一检测窗口与第二检测窗口的长度;s2.滑动第一检测窗口与第二检测窗口,分别获取待测数据序列,所述第一检测窗口获取的数据定义为正类数据,第二检测窗口获取的数据定义为负类数据;s3.利用动态规划法计算正类数据与负类数据的auc统计量,获得auc序列;s4.利用指数加权移动平均法对auc序列进行光滑处理;s5.通过零假设实验,获得auc密度分布图,设置置信度,再根据相应的置信度及累积分布图求取相应的阈值,以检测潜在突变点;s6.设置k值,利用k值法进一步确认真实突变点,筛除虚假变点;s7.输出待测数据序列的突变点个数及位置。2.根据权利要求1所述的变点检测优化方法,其特征在于,令q={q1,q2,..,q
t
}为待测数据序列,序列中的元素独立同分布于f(μ,δ2),其中,μ,δ2分别为q的均值和方差,当序列发生均值时,其数学模型表述如下:q
i
~f(μ+δ
μ
,δ2)τ+1≤i≤n,所述第一检测窗口与第二检测窗口为连续的、且大小一致的检测窗口。3.根据权利要求2所述的变点检测优化方法,其特征在于,步骤s3所述利用动态规划法计算正类数据与负类数据的auc统计量的具体过程为:s31.设正类数据表示为负类数据表示为将正类数据与负类数据汇总为序列对进行排序,得到z1<z2<
…
<z
m+n
;其中,m表示正类数据的个数,n表示负类数据的个数;s32.获取正类数据和负类数据在序列z1<z2<
…
<z
m+n
中对应的位置及数量,表达式分别为m
x
=[a1,a2,...,a
k
]、m
y
=[b1,b2,...,b
k
],其中,a
l
表示x
i
等于z
k
的个数以及在序列z
k
中相应的位置,b
l
表示y
j
等于z
k
的个数以及在序列z
k
中相应的位置;s33.使用cumsum函数进行加乘计算,公式为:其中,h为指示函数,当x
i
<y
j
时,h为1,否则为0;上式计算规则满足:s34.将步骤s33的计算结果除以正、负类数据数量的乘积,得到auc统计量,表达式为:4.根据权利要求3所述的变点检测优化方法,其特征在于,步骤s4所述利用指数加权移动平均法对auc序列进行光滑处理的表达式为:其中,θ
t
表示到第t时刻auc的平均值,表示第t时刻的auc值,α为可调参数。5.根据权利要求4所述的变点检测优化方法,其特征在于,步骤s5所述的零假设实验指
无突变点序列的情况下,进行重复随机试验;步骤s5所述的具体过程为:s51.设定随机试验重复次数上限;s52.根据检测窗口的大小,随机产生两类来自同一分布的数据,分别为正类数据与负类数据;s53.计算两类数据的auc值;s54.判断随机试验重复次数是否达到上限,若是,执行步骤s55;否则,执行返回步骤s51;s55.画出auc对应的密度分布图及累积分布图,设置置信度,根据相应的置信度及累积分布图,计算获得相应的阈值。6.根据权利要求5所述的变点检测优化方法,其特征在于,步骤s55所述的置信度为95%。7.根据权利要求5所述的变点检测优化方法,其特征在于,步骤s6所述设置k值的过程为:随机产生不存在突变点的数值序列,以不存在突变点的数值序列进行重复试验;计算不存在突变点的数值序列的auc值;画出auc对应的密度分布图,计算超过阈值的auc值点的个数,画出auc值超过阈值的个数分布图a;随机产生存在突变点的数值序列,以存在突变点的数值序列进行重复试验;计算存在突变点的数值序列的auc值;画出auc对应的密度分布图,计算超过阈值的auc值点的个数,画出auc值超过阈值的个数分布图b;结合个数分布图a与个数分布图b设定k值。8.根据权利要求7所述的变点检测优化方法,其特征在于,在步骤s6所述确认真实突变点,筛除虚假变点的过程中:将auc值超过阈值并达到k值点数的变点判定为真实突变点,否则,为虚假变点。9.一种变点检测优化系统,其特征在于,所述系统包括:设置模块,用于设置第一检测窗口与第二检测窗口的长度;数据获取模块,用于滑动第一检测窗口与第二检测窗口,分别获取待测数据序列,所述第一检测窗口获取的数据定义为正类数据,第二检测窗口获取的数据定义为负类数据;auc序列获取模块,利用动态规划法计算正类数据与负类数据的auc统计量,获得auc序列;auc处理模块,利用指数加权移动平均法对auc序列进行光滑处理;阈值设置模块,通过零假设实验,获得auc密度分布图,设置置信度,再根据相应的置信度及累积分布图求取相应的阈值;k值设置及检测模块,用于设置k值,利用k值法进一步确认真实突变点,筛除虚假变点,输出待测数据序列的突变点个数及位置。10.一种变点检测优化装置,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1~8中任
一项所述方法的步骤。
技术总结
本发明提出一种变点检测优化方法、系统及装置,解决了解决当前变点检测的传统方法无法兼顾变点检测速率与检测准确率的问题,首先设置两个检测窗口,通过移动窗口以获取相应的待测数据序列,并将两个窗口的数据分别记为不同的类别,然后计算两类数据的AUC估计值,从而获得AUC序列;利用动态规划法降低AUC计算的时间复杂度;利用指数移动加权平均法对AUC序列进行光滑化处理,以此减小特殊噪声信号的影响;并根据已设定好的阈值,探究突变情况下,AUC值超过阈值的数据点的经验分布,从而设定相应的K值,并将超过阈值的AUC数据点的数量小于K的变点进行筛除,提高变点检测的速率以及检测准确度。确度。确度。
技术研发人员:朱鸿斌 徐维超 谭华 王天乐 王柏鸿 陈泽鹏 宋卓霖 王彦光
受保护的技术使用者:广东工业大学
技术研发日:2021.06.02
技术公布日:2021/9/9