数据检测方法、装置、电子设备和存储介质与流程

1.本技术涉及工业领域，特别涉及一种测量的数据检测方法、数据检测装置、电子设备和计算机存储介质。


背景技术：

2.在工业领域中，利用光学进行无线测距是较为常见的方式。然而对于移动物体如养殖场中运动的养殖对象的测量过程中，则可能由于物体移动而形成光路的多径干扰，从而造成异常的测量数据，而如果在相关计算中不加检测而直接采用这些测量数据，则可能会因为其中的异常测量数据造成较为严重的错误。因此，如何检测出这些异常测量数据成为亟待解决的问题。


技术实现要素：

3.有鉴于此，本技术的实施例提供了一种数据检测方法、数据检测装置、电子设备和计算机存储介质。
4.本技术提供了一种数据检测方法，所述检测方法包括：
5.获取所述传感器采集的测量数据；
6.计算所述测量数据的异众比率以确定风险数据；
7.计算所述风险数据的方差以确定异常测量数据。
8.在某些实施方式中，所述获取所述传感器采集的测量数据包括：
9.根据预定频率获取所述测量数据。
10.在某些实施方式中，所述根据预定频率获取所述传感器采集的测量数据包括：
11.根据检测对象确定所述预设频率。
12.在某些实施方式中，所述获取所述传感器采集的测量数据包括：
13.自所述测量数据中抽取任一连续时长的多个数据作为样本数据。
14.在某些实施方式中，所述计算所述测量数据的异众比率以确定风险数据包括：
15.计算所述样本数据的异众比率；
16.在所述异众比率小于异众比率设定值的情况下，确定所述样本数据正常；
17.在所述异众比率大于或等于所述异众比率设定值的情况下，确定所述样本数据为所述风险数据。
18.在某些实施方式中，所述计算所述风险数据的方差以确定异常测量数据包括：
19.计算所述风险数据的方差；
20.在所述方差小于方差设定值的情况下，确定所述风险数据为正常测量数据；
21.在所述方差大于或等于所述方差设定值的情况下，确定所述风险数据为所述异常测量数据。
22.在某些实施方式中，所述计算所述风险数据的方差以确定异常测量数据包括：
23.分别选取多组正常样本数据和多组异常样本数据；
24.分别计算所述多组正常样本数据中每组正常样本数据的方差和多组异常样本数据中每组异常样本数据的方差，以得到正常样本数据方差最大值和异常样本数据方差最小值；
25.根据所述正常样本数据方差最大值和所述异常样本数据方差最小值确定容忍度值；
26.根据所述异常样本数据方差最小值和所述容忍度值确定所述方差设定值。
27.本技术还提供了一种数据检测装置，包括：
28.获取模块，用于获取所述传感器采集的测量数据；
29.第一计算模块，用于计算所述测量数据的异众比率以确定风险数据；
30.第二计算模块，用于计算所述风险数据的方差以确定异常测量数据。
31.本技术还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述的数据检测方法。
32.本技术还提供了一种计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，实现所述的数据检测方法。
33.本技术实施方法的数据检测方法、数据检测装置、电子设备和计算机存储介质中，通过获取所述传感器采集的测量数据，计算所述测量数据的异众比率以确定风险数据，以及计算所述风险数据的方差以确定异常数据。可以有效地对测量数据进行检测，从而检测出如利用光学进行无线测距中由多径干扰造成的异常测量数据，在一定程度上提高了测量数据的准确性。此外，对于具有移动物体的测距场景或无人维护的测距场景，可在一定程度上协助分析传感器的工作状态。
附图说明
34.本技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解。
35.图1是本技术某些实施方式数据检测方法流程示意图；
36.图2是本技术某些实施方式数据检测装置模块图；
37.图3是本技术某些实施方式数据检测方法流程示意图；
38.图4是本技术某些实施方式数据检测方法流程示意图；
39.图5是本技术某些实施方式数据检测方法流程示意图；
40.图6是本技术某些实施方式数据检测方法流程示意图。
41.具体实施方法
42.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
43.请参阅图1，本技术提供了一种数据检测方法，包括：
44.s10：获取传感器采集的测量数据；
45.s20：计算测量数据的异众比率以确定风险数据；
46.s30：计算风险数据的方差以确定异常测量数据。
47.请参阅图2，本技术实施方式还提供了一种数据检测装置100，本技术实施方式的
数据检测方法可以由数据检测装置100实现。数据检测装置100包括获取模块110、第一计算模块120和第二计算模块130。s10可以由获取模块110实现，s20可以由第一计算模块120实现。s30可以由第二计算模块130实现。或者说，获取模块110用于获取传感器采集的测量数据，第一计算模块120用于计算测量数据的异众比率以确定风险数据，第二计算130用于计算风险数据的方差以确定异常测量数据。
48.本技术实施方法还提供了一种电子设备。电子设备包括存储器和处理器。存储器中存储有计算机程序，处理器用于获取传感器采集的测量数据，及用于计算测量数据的异众比率以确定风险数据，以及用于计算风险数据的方差以确定异常测量数据。
49.在工业领域中，利用光学中的可见光或不可见光进行无线红外测距是较为常见的方式。在测距中数值小幅度的浮动是可接受的误差范围，不属于异常测量数据。然而对于移动物体的测量过程中，则可能由于物体移动而形成光路的多径干扰，从而造成异常的测量数据。其中，红外测距是利用红外发射端发射出的红外光遇到障碍物产生反射返回后红外接收端接收到微弱能量的关系来进行测距的。理想的光线测距场景，激光器发射的光全部照射到物体表面，光线无障碍反射回。而异常的光线测距场景，激光器发射的光不是全部照射到物体表面，或者返回的光线遇到部分障碍，甚至同时兼有发射的光不是全部照射到物体表面，同时返回的光线遇到障碍物。此为光路的多径干扰，而多径干扰造成的测量数据则为异常测量数据。在养殖领域中，利用光学进行测距的测量对象往往是移动的养殖对象，因养殖对象的随机移动性，多径干扰的情况较为多见，从而造成异常的测量数据，而此异常的测量数据在分析计算中往往不可用。
50.需要说明的是，本技术的异常测量数据可针对多径干扰造成的异常，但不作为对本技术的限制，如有其它类似多径干扰的异常情况，亦可根据实际情况判断并使用本技术的数据检测方法。
51.在本实施方法中，获取传感器采集的测量数据，对采集的测量数据进行计算，利用统计学原理对数据进行离散程度分析，从而检测出异常测量数据。
52.具体地，获取传感器采集的测量数据，对测量的数据根据如近邻数据值分类原则进行分类，即变异性最小的数据分为一类。进而对划分的各类测量数据计算异众比率。其中，异众比率为总体中非众数次数与总体全部次数之比，主要用于衡量众数对一组数据的代表程度。异众比率越大，说明非众数组的频数占总频数的比重越大，众数的代表性就越差；异众比率越小，说明非众数组的频数占总频数的比重越小，众数的代表性越好。异众比率可用如下公式计算：
[0053][0054]
其中，v
m0
表示异众比率，f
m0
表示众数次数，n表示总体单位总数(即总体次数)。
[0055]
进一步地，对计算出的异众比率进行分析判断，如选取一个预定的异众比率v，此预定值v表示此测量数据可接受的异众比率，当v
m0
<v时，说明此测量数据的众数代性好，可判定为正常测量数据。反之，当v
m0
≤v时，说明此测量数据的众数比较分散，可确定为风险数据，需要进行进一步分析计算。
[0056]
如此，通过计算测量数据的异众比率可对大量的测量数据进行初步筛选，即筛选出正常测量数据和风险数据以作进一步计算分析，在一定程度上提高了数据检测的效率。
[0057]
进一步地，对风险数据可计算其方差。其中，方差在统计学中可用来衡量随机变量或一组数据时的离散程度。若方差越大，说明数据的取值比较分散，反之若方差越小，说明数据的取值比较集中。方差计算公式如下：
[0058][0059]
其中，σ2为方差。x为变量，μ为总体均值，n为总体例数。
[0060]
当计算出风险数据的方差后，可将之与方差的设定值进行对比，如果测量数据的方差大于或等于方差的设定值，可判定此测量数据为异常测量数据，反之如果测量数据的方差小于方差的设定值，则可判定此测量数据为正常测量数据。
[0061]
如此，本技术实施方法的数据检测方法、数据检测装置、电子设备和计算机存储介质中，通过获取所述传感器采集的测量数据，计算所述测量数据的异众比率以确定风险数据，以及计算所述风险数据的方差以确定异常数据。可以有效地对测量数据进行检测，从而检测出如利用光学进行无线测距中由多径干扰造成的异常测量数据，在一定程度上提高了测量数据的准确性。此外，对于具有移动物体的测距场景或无人维护的测距场景，可在一定程度上协助分析传感器的工作状态。
[0062]
请参阅图3，在某些实施方式中，s10包括：
[0063]
s11：根据预定频率获取传感器采集的测量数据。
[0064]
在某些实施方式中，处理器用于根据预定频率获取传感器采集的测量数据。
[0065]
在某些实施方式中，s101可以由获取模块110实现。或者说，获取模块110用于根据预定频率获取传感器采集的测量数据。
[0066]
具体地，在获取测量数据时，可通过预定频率来获取传感器采集的测量数据。其中，预定频率为固定的时间周期，即在固定的时间周期获取传感器采集的测量数据。例如，预定频率设定为10秒每次，则从传感器中每10秒获取一次测量数据进行下一步分析计算。此外，预定频率还可以是1秒每次，3秒每次，或100秒每次。在此不做限定，频率越高获取的数据越多，从而准确率更高，但需要处理的数据量亦更大。故在实际测量中可根据处理能力和业务需求来设定相应的预定频率。
[0067]
如此，根据预定频率获取传感器采集的测量数据，可从均匀时间中了解物体连续运动变化情况，提高了数据检测的准确性。
[0068]
请参阅图4，在某些实施方式中，s11还包括：
[0069]
s111：根据检测对象确定预设频率。
[0070]
在某些实施方式中，处理器用于根据检测对象确定预设频率。
[0071]
在某些实施方式中，s111可以由获取模块110实现。或者说，获取模块110用于根据检测对象确定预设频率。
[0072]
具体地，对于移动的物体或无人维护的测量场景，需要捕捉物体在运动过程中的动作行为及其造成的错误，例如测量固定猪栏中的猪的运动情况。本技术可通过预定频率来获取传感器采集的测量数据。其中，预定频率的标准可根据被测物体运动频率来选择，或者说根据实际应用场景来设定预定频率值。例如，测量静止物体时，获取测量数据的时间周期可以延长，预定频率可设定为30秒每次。而测量运动物体时，获取测量数据的时间周期需要根据物体运动频率来定，如预定频率可设定为1秒每次。
[0073]
如此，根据检测对象确定预设频率，能根据不同的检测对象确定相应的预设频率值，从而提高了数据检测中采集数据的效率。
[0074]
请再次参阅图3，在某些实施方式中，s10还包括：
[0075]
s12：自测量数据中抽取任一连续时长的多个数据作为样本数据。
[0076]
在某些实施方式中，处理器用于自测量数据中抽取任一连续时长的多个数据作为样本数据。
[0077]
在某些实施方式中，s12可以由获取模块110实现。或者说，获取模块110用于自测量数据中抽取任一连续时长的多个数据作为样本数据。
[0078]
具体地，对于测量数据，在测量的场景中存在某些障碍物可能导致产生异常测量数据，而这种异常在时间上可能是连续偶然发生的。例如测量时突然飞来一只苍蝇或蜜蜂等刚好挡住光路，从而造成多径干扰，那么这一段数据属于异常测量数据，而短时间后又会自动恢复正常，之后的数据则属于正常测量数据。针对如上光线测距中的偶然异常情况，本技术可通过在测量数据中抽取任一连续时长的数据作为样本数据，进而抽取多个样本数据进行后续计算分析。
[0079]
如此，通过自测量数据中抽取任一连续时长的多个数据作为样本数据，可保证较大范围的数据覆盖，从而提高了数据检测的可靠性。
[0080]
请参阅图5，在某些实施方式中，s20包括：
[0081]
s21：计算样本数据的异众比率；
[0082]
s22：在异众比率小于异众比率设定值的情况下，确定样本数据正常；
[0083]
s23：在异众比率大于或等于异众比率设定值的情况下，确定样本数据为风险数据。
[0084]
在某些实施方式中，处理器用于计算样本数据的异众比率，及在异众比率小于异众比率设定值的情况下，确定样本数据正常，以及在异众比率大于或等于异众比率设定值的情况下，确定样本数据为风险数据。
[0085]
在某些实施方式中，s21
‑
s23可以由第一计算模块120实现。或者说，第一计算模块120用于计算样本数据的异众比率，及在异众比率小于异众比率设定值的情况下，确定样本数据正常，以及在异众比率大于或等于异众比率设定值的情况下，确定样本数据为风险数据。
[0086]
具体地，对抽取的样本数据进行初步分析判定，可计算各样本数据的异众比率。异众比率可用如下公式计算：
[0087][0088]
其中，v
m0
表示异众比率，f
m0
表示众数次数，n表示总体单位总数(即总体次数)。
[0089]
对计算出的异众比率进行分析判断，如选取一个预定的异众比率设定值v，此设定值v表示此测量场景的测量数据可接受的异众比率。当v
m0
<v时，说明此测量数据的众数代性好，可判定为正常测量数据。反之，当v
m0
≤v时，说明此测量数据的众数比较分散，可确定为风险数据，需要进行进一步分析计算。其中，对于预定的异众比率v值的选择标准可根据实际测量需要，或统计学相关方法如四分位法，即将整体数据视为100％，每份占比25％，当众数处于75％以上范围时是可接受的，则v可设定为0.3，也可以根据实际测量来调整预定的
异众比率值。
[0090]
例如，在抽取的样本数据组中，第m1组的数据有100个值，其中10米～15米的数值有78个；第m2组的数据有100个值，其中12米～16米的数值有55个。选取的预定的异众比率v＝0.3。对m1和m2组的数据进行异众比率计算结果如下：
[0091][0092][0093]
v
m1
值为0.22，v
m2
值为0.45，那么和预定的异众比率v进行比较，0.22<0.3，则可判定m1组的数据为正常数据，0.45>0.3，m2组的数据可确定为风险数据，需要进行进一步分析计算。
[0094]
如此，通过计算测量数据的异众比率可对大量的测量数据进行初步筛选，即筛选出正常数据和风险数据以进一步计算分析，从而提高了数据检测的效率。
[0095]
请参阅图6，在某些实施方式中，s30包括：
[0096]
s31：计算风险数据的方差；
[0097]
s32：在方差小于方差设定值的情况下，确定风险数据为正常测量数据；
[0098]
s33：在方差大于或等于方差设定值的情况下，确定风险数据为异常测量数据。
[0099]
在某些实施方式中，处理器用于计算风险数据的方差，及在方差小于方差设定值的情况下，确定风险数据为正常测量数据，以及在方差大于或等于方差设定值的情况下，确定风险数据为异常测量数据。
[0100]
在某些实施方式中，s31
‑
s33可以由第二计算模块130实现。或者说，第二计算模块130用于计算风险数据的方差，及在方差小于方差设定值的情况下，确定风险数据为正常测量数据，以及在方差大于或等于方差设定值的情况下，确定风险数据为异常测量数据。
[0101]
具体地，利用异众比率对样本数据进行初步筛选后，对确定为风险数据的测量数据进一步进行方差计算。方差计算公式如下：
[0102][0103]
其中，σ2为方差。x为变量，即样本数据，μ为样本数据的平均值，n为总体例数。
[0104]
当计算出风险数据的方差后，可将之与方差的设定值σ0进行对比，如果测量数据的方差大于或等于方差的设定值σ0，则可判定为异常测量数据，反之如果测量数据的方差小于方差的设定值σ0，则可判定为正常测量数据。
[0105]
例如，样本数据组的样本数据m1集合为{10、12、25、10、13、26、50、56、45、52}，样本数据m2集合为{10、12、25、10、13、26、12、13、10、11}，方差的设定值为250，根据方差计算公式得到m1样本数据的方差如下：
[0106][0107]
其中，样本数据的平均值μ＝29.9。方差323.89>250，即测量数据的方差σ2>方差的设定值σ0，则可判定样本数据m1为异常测量数据。
[0108]
同样，根据方差计算公式得到m2样本数据的方差如下：
[0109][0110]
其中，样本数据的平均值μ＝14.2。方差33.16<250，即测量数据的方差σ2<方差的设定值σ0，则可判定样本数据m2为正常测量数据。
[0111]
如此，通过计算风险数据的方差来进一步判断测量数据的离散程度，可区分正常测量数据和异常测量数据，从而检测出如多径干扰造成的异常测量数据。
[0112]
请再次参阅图6，在某些实施方式中，s30还包括：
[0113]
s34：分别选取多组正常样本数据和多组异常样本数据；
[0114]
s35：分别计算多组正常样本数据中每组正常样本数据的方差和多组异常样本数据中每组异常样本数据的方差，以得到正常样本数据方差最大值和异常样本数据方差最小值；
[0115]
s36：根据正常样本数据方差最大值和异常样本数据方差最小值确定容忍度值；
[0116]
s37：根据异常样本数据方差最小值和容忍度值确定方差设定值。
[0117]
具体地，本技术可通过风险数据的方差和方差设定值的比较来检测异常测量数据。其中，方差设定值的取值可通过前期的训练来获取。不同的测量场景可训练相应的方差设定值，训练方式可通过异常样本方差最小值和可接受的容忍度值来确定。
[0118]
在训练方差设定值期间，分别从历史测量数据中选取多组正常样本数据{se1，se2，se3，...sen}和多组异常样本数据{sr1，sr2，sr3，...srn}，然后计算多组正常样本数据中每组正常样本数据的方差ne和多组异常样本数据中每组异常样本数据的方差nr，即{ne1，ne2，ne3，...nen}和{nr1，nr2，nr3，...nrn}，进而可从n组样本数据的方差中得到正常样本数据方差最大值nrmax和异常样本数据方差最小值nemin。
[0119]
进一步地，可通过正常样本数据方差最大值nrmax和异常样本数据方差最小值nemin得到容忍度值，本技术包括但不限于用四分法进行计算，也可根据数据等实际情况采用八分法等其它统计方法进行计算可接受的容忍度值。以四分法为例，容忍度值r计算公式为r＝(nemin
‑
nrmax)/4。需要说明的是，异常样本数据方差最小值nemin应大于正常样本数据方差最大值nrmax，否则选择的正常样本数据或异常样本数据可能有误，或计算过程有误，需重新选取或计算。
[0120]
当容忍度值r确定后，方差设定值t可通过计算公式t＝nemin
–
r来得到方差设定值t。当方差设定值t确定后，实际测量时将风险数据的计算方差s和方差设定值t进行比较，从而可区分正常的测量数据和异常的测量数据。具体地，若测量数据的方差s>＝t，可判定测量数据为异常的测量数据，反之若s<t，则可判定为正常的测量数据。
[0121]
需要说明的是，在训练期间正常样本数据和异常样本数据的组数n可根据训练后的测试结果判断，一般n大于或等于1。例如，可先从样本数据组中训练少量如3个的样本数据得到方差设定值后进行测试，测试时可用历史数据中部分正常测量数据和异常测量数据作为测试对象，当测试结果全部正确时则可结束训练。其中，对于测试结果的判定，若测试对象和测试结果是相同的如都为正常测量数据或异常测量数据则表示测试正确。当测试结果不正确或者部分正确，则需要再增加训练样本的组数直至测试结果全部正确。
[0122]
例如，从历史测量数据中选取3组正常样本数据{se1，se2，se3}和3组异常样本数据{sr1，sr2，sr3}如下：
[0123]
se1{10,11,12,15,12,13,11,22,23,25}；
[0124]
se2{10,11,12,10,12,10,11,22,10,25}；
[0125]
se3{10,11,12,10,12,10,11,9,8,7}；
[0126]
sr1{10,13,12,10,13,39,52,56,45,50}；
[0127]
sr2{29,39,12,10,11,15,52,56,45,60}；
[0128]
sr3{10,11,12,60,67,80,52,56,45,60}。
[0129]
计算3组正常样本数据中每组正常样本数据的方差{ne1，ne2，ne3}和3组异常样本数据中每组异常样本数据的方差{nr1，nr2，nr3}，利用方差公式：
[0130][0131]
计算得到：
[0132]
ne1＝29.04，ne2＝27.01，ne3＝2.4；
[0133]
nr1＝356.8，nr2＝359.29，nr3＝579.81。
[0134]
进而得到：
[0135]
nemin＝356.8，nrmax＝29.04。
[0136]
计算r和t：
[0137]
r＝(nemin
‑
nrmax)/4＝(356.8
‑
29.04)/4＝81.9
[0138]
t＝nemin
–
r＝356.8
‑
81.9＝274.86
[0139]
如此，得到方差的设定值t＝274.86。当测量数据进行计算分析后的方差值s>＝t，可判定测量数据为异常的测量数据，反之若s<t，则可判定为正常的测量数据。
[0140]
当检测出异常的测量数据后，用户可自行处理，如删除异常测量数据或者根据需要进行进一步分析。
[0141]
综上所述，本技术实施方法的数据检测方法、数据检测装置、电子设备和计算机存储介质中，通过获取所述传感器采集的测量数据，计算所述测量数据的异众比率以确定风险数据，以及计算所述风险数据的方差以确定异常数据。可以有效地对测量数据进行检测，从而检测出如多径干扰造成的异常测量数据，在一定程度上提高了测量数据的准确性。此外，根据检测对象通过预定频率来获取测量数据并对测量数据进行连续时长的抽样检测，可有效地提高对于移动物体的测量数据的准确性。进一步地，根据历史样本数据来训练方差设定值从而检测出异常的测量数据，可在一定程度上地提高数据检测的有效性和准确性。此外，对于具有移动物体的测距场景或无人维护的测距场景，可在一定程度上协助分析传感器的工作状态。
[0142]
本技术实施方式还提供了一种计算机可读存储介质。一个或多个存储有计算机程序的非易失性计算机可读存储介质，当计算机程序被一个或多个处理器执行时，实现上述任一实施方式的数据检测方法。
[0143]
本技术实施方式还提供了一种电子设备。电子设备包括存储器及一个或多个处理器，一个或多个程序被存储在存储器中，并且被配置成由一个或多个处理器执行。程序包括用于执行上述任意一项实施方式所述的数据检测方法。处理器可用于提供计算和控制能力，支撑整个电子设备的运行。存储器为存储在其中的计算机可读指令运行提供环境。
[0144]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以
通过计算机程序来指令相关的软件来完成。程序可存储于一非易失性计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中存储介质可为磁碟、光盘、只读存储记忆体(read
‑
only memory，rom)等。
[0145]
以上实施例仅表达了本技术的几种实施方法，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。