传感数据的异常检测方法、装置、电子设备及存储介质与流程

1.本技术涉及数据处理领域，尤其涉及一种传感数据的异常检测方法、装置、电子设备及存储介质。


背景技术：

2.传感测量类数据异常的检测可以形式化为时序数据中的异常检测(也称为离群点检测)，其中异常实例与常规实例非常不同。这些实例称为异常或离群值，而正常实例称为内部值。异常检测目前研究较多，比如一些不平衡分类的问题也经常使用异常检测算法来解决。异常检测最简单的方法是统计方法，比如tukey方法；另一种简单、直观且通常有效的异常检测方法是使用一些聚类算法(如高斯混合模型和dbscan)来解决密度估计任务。那么，任何位于低密度区域的实例都可以被认为是异常；一些监督学习算法也可用于异常检测，其中最流行的两种是孤立森林和svm。这些算法更适合奇异值检测，但通常也适用于异常检测。
3.然而目前提出的方法要么过于简单导致异常漏报率和误报率过高，要么模型过于复杂导致不能实时处理，且大多技术不能实现自主学习导致不能实时的去自适应环境等因素变化。


技术实现要素：

4.为了解决上述技术问题或者至少部分地解决上述技术问题，本技术提供了一种传感数据的异常检测方法、装置、电子设备及存储介质。
5.根据本技术实施例的一个方面，提供了一种传感数据的异常检测方法，包括：
6.获取待异常检测的至少一个模点集合，其中，所述模点集合包括当前采集周期内多个待检测传感数据对应的目标数据特征；
7.获取所述模点集合对应的数据值区间，其中，所述数据值区间是依据所述模点集合中任意一个目标数据特征得到的；
8.从所述目标数据特征中获取所述待检测传感数据对应的数据值，将所述数据值落入所述数据值区间的待检测传感数据确定为目标传感数据；
9.基于所述模点集合中目标传感数据的数量确定所述模点集合对应传感数据集的数据状态。
10.进一步的，所述获取待异常检测的至少一个模点集合，包括：
11.获取所述模点集合对应的传感数据集，其中，所述传感数据集包括当前采集周期按照采集时序排列的传感数据；
12.确定所述传感数据对应的数据特征；
13.将按照预设比例从所述传感数据集中随机提取的传感数据确定为待检测传感数据，并基于所述待检测传感数据对应的目标数据特征生成所述模点集合。
14.进一步的，所述确定所述传感数据对应的数据特征，包括：
15.获取所述待检测传感数据对应的数据值；
16.计算所述待检测传感数据对应的平均值以及标准差；
17.基于所述数据值、平均值以及标准差生成所述目标数据特征。
18.进一步的，所述将按照预设比例从所述传感数据集中随机提取的传感数据确定为待检测传感数据，并基于所述待检测传感数据对应的目标数据特征生成所述模点集合，包括：
19.确定随机提取的提取次数；
20.基于所述提取次数从所述传感数据集中随机提取预设比例的待检测传感数据，基于所述待检测传感数据对应的目标数据特征生成与所述提取次数数量相同的模点集合。
21.进一步的，所述获取所述模点集合对应的数据值区间，包括：
22.提取所述目标数据特征携带的目标平均值以及目标标准差；
23.确定所述目标标准差与预设数值之间的乘积；
24.将所述乘积与所述目标平均值之间的差值确定为区间下限，将所述乘积与所述目标平均值之间的和值确定为区间上限；
25.基于所述区间上限以及所述区间下限生成所述数据值区间。
26.进一步的，所述基于所述模点集合中目标传感数据的数量确定所述模点集合对应传感数据集的数据状态，包括：
27.获取所述模点集合中目标传感数据对应的第一数量，并利用所述第一数量确定所述模点集合对应的检测结果；
28.基于至少一个所述模点结合对应的检测结果确定所述传感数据集的数据状态；
29.其中，在所述第一数量大于第一预设数量的情况下，所述检测结果为正常；或，在所述所述第一数量小于或等于第一预设数量的情况下，所述检测结果为异常。
30.进一步的，所述方法还包括：
31.在所述数据状态为正常状态的情况下，将按照目标比例从所述模点集合中获取的目标数据特征确定为待替换数据特征；
32.对所述待替换数据特征进行替换，得到更新后的模点集合。
33.根据本技术实施例的另一方面，还提供了一种传感数据的异常检测装置，包括：
34.第一获取模块，用于获取待异常检测的至少一个模点集合，其中，所述模点集合包括当前采集周期内多个待检测传感数据对应的目标数据特征；
35.第二获取模块，用于获取所述模点集合对应的数据值区间，其中，所述数据值区间是依据所述模点集合中任意一个目标数据特征得到的；
36.处理模块，用于从所述目标数据特征中获取所述待检测传感数据对应的数据值，将所述数据值落入所述数据值区间的待检测传感数据确定为目标传感数据；
37.确定模块，用于基于所述模点集合中目标传感数据的数量确定所述模点集合对应传感数据集的数据状态。
38.根据本技术实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。
39.根据本技术实施例的另一方面，还提供了一种电子装置，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其
中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
40.本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。
41.本技术实施例提供的上述技术方案与现有技术相比具有如下优点：本技术实施例提供的方法通过利用当前采集周期内多个待检测传感数据的数据特征构建模点集合，利用模点集合的数据值区间对模点集合中的传感数据进行判定，从而得到模点集合中正常传感数据的数量，然后基于该数量确定模点集合对应传感数据集的数据状态。能够实现传感数据检测的高准确率且保证时效性，同时通过数据值区间还能避免随着时间变化带来的各种外界干扰的影响。
附图说明
42.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
43.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
44.图1为本技术实施例提供的一种传感数据的异常方法的流程图；
45.图2为本技术另一实施例提供的一种传感数据的异常方法的流程图；
46.图3为本技术实施例提供的一种传感数据的异常装置的框图；
47.图4为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
48.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
49.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个类似的实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
50.本技术实施例提供了一种传感数据的异常检测方法、装置、电子设备及存储介质。本发明实施例所提供的方法可以应用于任意需要的电子设备，例如，可以为服务器、终端等电子设备，在此不做具体限定，为描述方便，后续简称为电子设备。
51.根据本技术实施例的一方面，提供了一种传感数据的异常检测方法的方法实施
例。图1为本技术实施例提供的一种传感数据的异常检测方法的流程图，如图1所示，该方法包括：
52.步骤s11，获取待异常检测的至少一个模点集合，其中，模点集合包括当前采集周期内多个待检测传感数据对应的目标数据特征。
53.在本技术实施例中，获取待异常检测的至少一个模点集合，包括以下步骤a1-a3：
54.步骤a1，获取模点集合对应的传感数据集，其中，传感数据集包括当前采集周期按照采集时序排列的传感数据。
55.本技术实施例提供的方法应用于能够进行数据处理的智能终端，智能终端可以是智能手机、电脑等等。具体的，智能终端首先获取各个传感器在当前采集周期采集的传感数据，将传感数据按照采集时序进行排序，形成当前采集周期对应的传感数据集，后续可以基于传感数据集构建模点集合。
56.步骤a2，确定传感数据对应的数据特征。
57.在本技术实施例中，步骤a2，确定传感数据对应的数据特征，包括以下步骤a201-a203：
58.步骤a201，获取待检测传感数据对应的数据值。
59.步骤a202，计算待检测传感数据对应的平均值以及标准差。
60.步骤a203，基于数据值、平均值以及标准差生成目标数据特征。
61.在本技术实施例中，大多异常检测方法中的3σ理论进行异常检测，所以每个采集数据的特征表示为x＝[v，mean，std]，其中v为当前采集数据的值，mean和std分别为根据该数据的前10个数据计算得到的均值和标准差。
[0062]
步骤a3，将按照预设比例从传感数据集中随机提取的传感数据确定为待检测传感数据，并基于待检测传感数据对应的目标数据特征生成模点集合。
[0063]
在本技术实施例中，由于传感器的工作原理，数据采集异常发生的概率很小。因此，本技术实施例随机抽样数据来构建模点集合，具体的，可以按照预设比例从传感数据集中随机提取传感数据，并将提取出的传感数据确定为待检测传感数据，基于待检测传感数据对应的目标数据特征生成模点集合。
[0064]
或者，还可以定义模点集的个数为n，定义随机抽样的概率为τ。则随着传感时序数据的采集，每采集一个传感数据则以一定的概率τ进行随机抽样进模点集合中，最终模点集为m＝{x1，...，xn}，为x某个时间点采集的传感数据的特征表示。例如：模点集合的建立需要n/τ(预设比例)个数据进行初始化建立。设置n＝100，τ＝1/5。
[0065]
在本技术实施例中，将按照预设比例从传感数据集中随机提取的传感数据确定为待检测传感数据，并基于待检测传感数据对应的目标数据特征生成模点集合，包括：
[0066]
步骤a301，确定随机提取的提取次数。
[0067]
步骤a302，基于提取次数从传感数据集中随机提取预设比例的待检测传感数据，基于待检测传感数据对应的目标数据特征生成与提取次数数量相同的模点集合。
[0068]
在本技术实施例中，先一定的概率τ进行随机抽样，并确定随机提取次数为l次，然后随机抽样过程进行l次。最终建立的l个模点集合都包含n个数据为止。模点集合的集成表示需要的数据为[n/τ，n
×
l/τ]。此次使用集成策略的思想得到多个模点集合，不仅能增强正常数据的表征能力，还能增大异常数据的检测能力。同时面向采集数据正常数据特征表
征的模点集合建立，并随着时序数据的接入不断更新模点集以适应外界环境变化，实现鲁棒的数据异常检测。
[0069]
步骤s12，获取模点集合对应的数据值区间，其中，数据值区间是依据模点集合中任意一个目标数据特征得到的。
[0070]
在本技术实施例中，获取模点集合对应的数据值区间，包括以下步骤b1-b4：
[0071]
步骤b1，提取目标数据特征携带的目标平均值以及目标标准差。
[0072]
步骤b2，确定目标标准差与预设数值之间的乘积。
[0073]
步骤b3，将乘积与目标平均值之间的差值确定为区间下限，将乘积与目标平均值之间的和值确定为区间上限。
[0074]
步骤b4，基于区间上限以及区间下限生成数据值区间。
[0075]
在本技术实施例中，提取目标数据特征携带的目标平均值以及目标标准差，首先计算出目标标准差与预设数值之间的乘积，通过目标标准差与预设数值之间的乘积能够表示数据值的误差范围。然后计算该乘积与目标平均值之间和值与差值，能够确定数值区间的区间上限和区间下限，最终得到数值区间。
[0076]
作为一个示例，目标数据特征中携带的目标平均值为o，目标标准差u与预设数值之间的乘积为3u，最终得到的数值区间为[o+3u，o+3u]。
[0077]
步骤s13，从目标数据特征中获取待检测传感数据对应的数据值，将数据值落入数据值区间的待检测传感数据确定为目标传感数据。
[0078]
在本技术实施例中，从模点集合中的各个目标数据特征中提取待检测创安数据对应的数据值，将数据值落入上述数据值区间的待检测传感数据确定为目标传感数据。目标传感数据即为正常的传感数据。
[0079]
步骤s14，基于模点集合中目标传感数据的数量确定模点集合对应传感数据集的数据状态。
[0080]
在本技术实施例中，基于模点集合中目标传感数据的数量确定模点集合对应传感数据集的数据状态，包括以下步骤c1-c2：
[0081]
步骤c1，获取模点集合中目标传感数据对应的第一数量，并利用第一数量确定模点集合对应的检测结果。
[0082]
在本技术实施例中，在第一数量大于第一预设数量的情况下，检测结果为正常；或，在第一数量小于或等于第一预设数量的情况下，检测结果为异常。
[0083]
步骤c2，基于至少一个模点结合对应的检测结果确定传感数据集的数据状态。
[0084]
在本技术实施例中，当存在多个模点集合的情况下，通过确定每个模点集合对应的检测结果，通过检测结果确定最终传感数据集的数据状态。例如：在多个模点集合中，如果检测结果为正常的模点集合的数量大于第三预设数量，则确定传感数据集的数据状态为正常状态。
[0085]
本技术实施例提供的方法通过利用当前采集周期内多个待检测传感数据的数据特征构建模点集合，利用模点集合的数据值区间对模点集合中的传感数据进行判定，从而得到模点集合中正常传感数据的数量，然后基于该数量确定模点集合对应传感数据集的数据状态。能够实现传感数据检测的高准确率且保证时效性，同时通过数据值区间还能避免随着时间变化带来的各种外界干扰的影响。
[0086]
在本技术实施例中，如图2所示，方法还包括以下步骤：
[0087]
步骤s21，在数据状态为正常状态的情况下，将按照目标比例从模点集合中获取的目标数据特征确定为待替换数据特征。
[0088]
在本技术实施例中，在传感器的数据不断采集过程中，外界环境干扰因素会一直动态变化。因此，在数据状态为正常状态的情况下，会自动按照目标比例从模点集合中获取目标数据特征，例如：将模点集合中30％的目标数据特征确定为待替换数据特征。
[0089]
步骤s22，对待替换数据特征进行替换，得到更新后的模点集合。
[0090]
在本技术实施例中，获取新采集的传感数据，并计算新采集的传感数据的数据特征，表示为新增数据特征，使用新增数据特征对待替换数据进行替换，的带更新后的模点集合。
[0091]
基于此，本技术实施例通过更新策略对模点集合进行更新，解决外界因素和自身设备因素等干扰的问题，还能够不断适应场景变化。具体的，首先确定数据状态，在数据状态为正常状态下，才会触发更新策略。按照更新策略对模点集合中的数据特征进行更新。即随机选择一个模点集，再随机选择一个数据表示，以一定概率φ，用当前采集数据的特征表示进行替换。
[0092]
图3为本技术实施例提供的一种传感数据的异常检测装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图3所示，该装置包括：
[0093]
第一获取模块31，用于获取待异常检测的至少一个模点集合，其中，模点集合包括当前采集周期内多个待检测传感数据对应的目标数据特征；
[0094]
第二获取模块32，用于获取模点集合对应的数据值区间，其中，数据值区间是依据模点集合中任意一个目标数据特征得到的；
[0095]
处理模块33，用于从目标数据特征中获取待检测传感数据对应的数据值，将数据值落入数据值区间的待检测传感数据确定为目标传感数据；
[0096]
确定模块34，用于基于模点集合中目标传感数据的数量确定模点集合对应传感数据集的数据状态。
[0097]
在本技术实施例中，第一获取模块31，包括：
[0098]
获取子模块，用于获取模点集合对应的传感数据集，其中，传感数据集包括当前采集周期按照采集时序排列的传感数据；
[0099]
确定子模块，用于确定传感数据对应的数据特征；
[0100]
提取子模块，用于将按照预设比例从传感数据集中随机提取的传感数据确定为待检测传感数据，并基于待检测传感数据对应的目标数据特征生成模点集合。
[0101]
在本技术实施例中，确定子模块，用于获取待检测传感数据对应的数据值；计算待检测传感数据对应的平均值以及标准差；基于数据值、平均值以及标准差生成目标数据特征。
[0102]
在本技术实施例中，提取子模块，用于确定随机提取的提取次数；基于提取次数从传感数据集中随机提取预设比例的待检测传感数据，基于待检测传感数据对应的目标数据特征生成与提取次数数量相同的模点集合。
[0103]
在本技术实施例中，第二获取模块32，用于提取目标数据特征携带的目标平均值以及目标标准差；确定目标标准差与预设数值之间的乘积；将乘积与所述目标平均值之间
的差值确定为区间下限，将乘积与目标平均值之间的和值确定为区间上限；基于区间上限以及区间下限生成数据值区间。
[0104]
在本技术实施例中，确定模块34，用于获取模点集合中目标传感数据对应的第一数量，并利用第一数量确定模点集合对应的检测结果；基于至少一个模点结合对应的检测结果确定传感数据集的数据状态；其中，在第一数量大于第一预设数量的情况下，检测结果为正常；或，在第一数量小于或等于第一预设数量的情况下，检测结果为异常。
[0105]
在本技术实施例中，传感数据的异常检测装置还包括：更新模块，用于在数据状态为正常状态的情况下，将按照目标比例从模点集合中获取的目标数据特征确定为待替换数据特征；对待替换数据特征进行替换，得到更新后的模点集合。
[0106]
本技术实施例还提供一种电子设备，如图4所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。
[0107]
存储器1503，用于存放计算机程序；
[0108]
处理器1501，用于执行存储器1503上所存放的计算机程序时，实现上述实施例的步骤。
[0109]
上述终端提到的通信总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0110]
通信接口用于上述终端与其他设备之间的通信。
[0111]
存储器可以包括随机存取存储器(random access memory，简称ram)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0112]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0113]
在本技术提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的传感数据的异常检测方法。
[0114]
在本技术提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的传感数据的异常检测方法。
[0115]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机
指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk)等。
[0116]
以上所述仅为本技术的较佳实施例而已，并非用于限定本技术的保护范围。凡在本技术的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本技术的保护范围内。
[0117]
以上所述仅是本技术的具体实施方式，使本领域技术人员能够理解或实现本技术。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。