一种基于轨迹的无线传感器网络多维数据异常值检测方法_2

文档序号:9552030阅读:来源:国知局
2] 图7是节点33数据拟合曲线;
[0053] 图8是节点38数据拟合曲线;
[0054] 图9是节点51数据拟合曲线;
[0055] 图10是节点39数据拟合曲线;
[0056] 图11是点44数据拟合曲线;
[0057] 图12是取不同阈值c时的检测结果图。
[0058] 具体实施方法
[0059] 为使本发明的技术方案更加清晰,以下结合附图深一步给出其具体操作过程:
[0060] 如图1至图12所示,本发明的具体步骤如下:
[0061] 步骤 1 :选取测试数据。从IBRL实验室(http: //db.lcs.mit.edu/labdata/ labdata.htmlIntelLabData英特尔-伯克利联合实验室)获取每个节点2004-03-0100 : 57--2004-03-0101 :03时间段内的10个数据作为测试数据。对其进行适当处理,使其不 含异常数据。
[0062] 步骤2 :分簇。根据每个节点某相同时刻点的数据对节点分簇。具体方法为:根据 数据分别计算PRk,其中
[0063]
[0064] 判断#与< 在第k维是否相邻,进一步判断对所有k是否都有#与r/相邻,从而 对节点分簇。
[0065] 步骤3:训练超椭球。对已分好的簇训练刚好包含簇内所有节点的超椭球。具体 方法为:(1)分别写出簇内节点所收集的多维数据的协方差矩阵Σ并计算其对应特征值。 按特征值的大小依次排列,其分别对应椭圆的长轴、次长轴,等等。
[0066] 步骤4 :数据降维。通过步骤3计算超椭球各个轴长对应的比例系数&1并将其作 为线性降维的系数,即做= 。
[0067] 步骤5:曲线拟合。对降维后的数据在二维平面进行曲线拟合。本实施例中将十 组数据拟合成一条8次光滑非线性函数曲线并将其起点平移至原点,平移后的曲线作为测 试曲线f(X)。
[0068] 步骤6 :选取检测数据。在IBRL实验室选取2004-03-0200 :57--2004-03-0201 : 03时间段内10个数据作为检测数据。
[0069] 步骤7:处理检测数据。将所选取的检测数据作步骤4、步骤5的处理。将所得的 曲线称为检测曲线g(x)。
[0070] 步骤8 :比较曲线。将测试曲线与检测曲线进行相似度比较。选取适当阈值c,判 断是否有If(X)-g(X)I<c或華 vaλ
y
[0071] 步骤9 :检测异常。根据步骤8中的判断结果检测节点处是否存在异常数据。
[0072] 步骤10:重复检测。重复上述步骤,直至检测完所有节点数据。
[0073] 本发明算法的效果可以通过如下仿真来进一步说明:
[0074] 1.仿真条件
[0075]本发明通过对IBRL实验室数据集(http: //db.lcs.mit.edu/labdata/labdata. himl)的实验仿真来说明该算法的有效性。仿真实验是在一台4G内存,赛扬双核2. 6GHz,32 位win7操作系统下,使用matlab2008a进行的。在仿真过程中分别取c= 0. 05、c= 0. 08 与c= 0· 1。
[0076]2.仿真内容
[0077] 采用IBRL实验室真实部署的无线传感器网络收集的数据进行仿真实验(http:// db.lcs.mit.edu/labdata/labdata.html)。IBRL网络是由 54 个Mica2dot传感器所组成。 其每隔30秒传感器节点收集一次数据,每组数据包括数据收集时间点、温度、湿度、电压及 光照。该网站提供数据为2004年2月28日至2004年5月5日传感器节点所收集数据。其 中节点5与节点15显示没有数据,其余节点数据也存在少量缺失情况,但可以选取适当时 间段数据进行仿真实验。在仿真过程只考虑每个节点的两个属性(选取温度和湿度),但对 于更多属性的情况可以相似处理。
[0078] 综上,选取除节点5与15之外的52个节点2004-03-0100 :57--2004-03-0101: 03时间段与2004-03-0200 :57--2004-03-0201 :03时间段内温度与湿度数据进行仿真。
[0079]图2给出了收集数据的无线传感器网络部署节点图,其可以对图3的分簇结果进 一步检验。
[0080] 图5至图11给出了部分节点测试和检测数据拟合曲线。其中实线代表测试数据 拟合曲线,虚线代表检测数据拟合曲线。图5是节点13的数据拟合曲线;图6是节点30的 数据拟合曲线;图7是节点33数据拟合曲线;图8是节点38数据拟合曲线;图9是节点51 数据拟合曲线;图10是节点39数据拟合曲线;图11是点44数据拟合曲线。在检测过程 中,曲线相似度用绝对值之差来刻画。当阈值c= 0. 05时,准确检测出节点13、30、33、38、 51处存在异常值,并且节点39、44被误检为异常值。当阈值c= 0. 08时,准确检测出节点 13、30、33、38、51处存在异常值,无节点被误检。当阈值c= 0. 1时,节点30、33、38、51被成 功检出,节点13被漏检,无误检。综上,针对本实验室的数据,选择阈值c= 0. 08是比较合 理的。
[0081] 符号说明
[0082] WSNs:无线传感器网络
[0083] PR:许可半径
[0084] CR:簇区间
[0085] IBRL:英特尔-伯克利联合实验室。
【主权项】
1. 一种基于轨迹的无线传感器网络多维数据异常值检测方法,其特征在于:其包括以 下步骤: 51 :选取测试数据; 52 :对选取的测试数据进行节点分簇; 53 :对已分好的簇训练刚好包含簇内所有节点的超椭球,并计算相应超椭球的轴长; 54 :根据各个超椭球的轴长进行数据降维; 55 :对根据各个超椭球的轴长降维后的数据进行相应的曲线拟合; 56 :选取检测数据; 57 :处理检测数据; 58 :将测试曲线与检测曲线进行相似度比较,确定数据是否存在异常数据; 59 :重复步骤S4至步骤S8直至检测完所有节点数据。2. 根据权利要求1所述的一种基于轨迹的无线传感器网络多维数据异常值检测方法, 其特征在于:所述步骤S1的具体过程为:在IBRL实验室选取节点连续两天相同时间段内 数据,且所选第一天的数据无异常值存在。3. 根据权利要求2所述的一种基于轨迹的无线传感器网络多维数据异常值检测方法, 其特征在于:所述步骤S2的具体过程为: 根据每个节点某相同时刻点的数据对节点分簇,通过选取的节点数据,计算数据在每 个维度的许可半径,判断#与r,f是否相邻;若相邻,则节点i,j在第维方向上同属一个簇。只有满足节点 在所有的k维上都属同一个簇时,称节点i,j同簇。同时,若两个簇(;和C,的簇区间CSf 和0满足对所有k成立时,则簇(^和C^可合并为一个簇,簇半径为CR=[MIN({mini,minj),MAX({maXi,max))] 〇4. 根据权利要求3所述的一种基于轨迹的无线传感器网络多维数据异常值检测方法, 其特征在于:所述步骤S3的具体过程为: 用超椭球的各个轴长之间的比例关系来描述数据属性之间的联系,超椭球的各个轴长 分别为σP1彡σpJ彡σp21彡…彡σJ;其中,〇i(l彡i彡P)表示数据集D的协方差 矩阵Σ的特征值之平方根,用μ表示数据集D的均值,则对应超椭球的轴长 / =舰X{|卜 _ eD卜5. 根据权利要求4所述的一种基于轨迹的无线传感器网络多维数据异常值检测方法, 其特征在于:所述步骤S4的具体过程为:计算超椭球各个轴长对应的比例系数&1并将其作 为线性降维的系数d,6. 根据权利要求5所述的一种基于轨迹的无线传感器网络多维数据异常值检测方法, 其特征在于:所述步骤S5的具体过程为:对降维后的数据在二维平面进行曲线拟合;十组 数据拟合成一条八次光滑非线性函数曲线并将其起点平移至原点,平移后的曲线作为测试 曲线f (X)。7. 根据权利要求6所述的一种基于轨迹的无线传感器网络多维数据异常值检测方法, 其特征在于:所述步骤S7的具体过程为:按照所述步骤S4和S5的方法对选取的测试数据 进行数据降维和曲线拟合,得到检测曲线g(X)。8. 根据权利要求7所述的一种基于轨迹的无线传感器网络多维数据异常值检测方法, 其特征在于:所述步骤S8需要通过判断两条曲线的相似程度来确定异常值,其具体过程 为: 设f(X)为拟合的测试曲线,g(x)为拟合的待检测曲线,对于预先设定的阈值C(0 <c< 1),当曲线f(X)与曲线g(x)满足,对任意的XeX,有 f(x)-g(x)I<c 或者满足则称该节点处无异常值存在,否则,认为存在异常值。
【专利摘要】本发明公开了一种关于无线传感器网络多维数据的异常值检测方法。主要考虑现有方法中不能很好的利用传感器节点之间的空间相关性及节点数据的时间相关性等问题。主要方法是通过对传感器节点进行分簇,并进一步对所得分簇结果训练包含所有簇内节点的椭圆,从而可以达到对数据降维的目的。对网络内所有节点选取相同时间段10组数据并作相应降维处理后,将降维后的10个数据拟合成一条曲线,作为测试曲线。同样对次日相同时间段内的节点数据作上述处理,所得曲线作为检测曲线。通过对测试曲线与检测曲线的趋势及相似度进行比较,判断该节点收集到的数据是否存在异常值。本发明所述异常值检测方法实现过程比较简单,且在检测过程中不需要额外的数据通信,同时还可以实现对传感器节点收集的多维数据的检测。
【IPC分类】H04W84/18, H04W24/04
【公开号】CN105307200
【申请号】CN201510640695
【发明人】冯海林, 王晶, 杨国平, 齐小刚, 马琳
【申请人】西安电子科技大学
【公开日】2016年2月3日
【申请日】2015年9月30日
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1