异常数据的检测方法和装置、存储介质及电子装置与流程

本申请涉及通信领域，具体而言，涉及一种异常数据的检测方法和装置、存储介质及电子装置。

背景技术：

1、目前，云网监控数据是采集获取的能够表示某一时刻云网资源使用和运行状态的数据，如网络流量上行、下行、cpu使用率、内存占用率、丢包率、网络延迟等指标。这些数据按照时间进行组合，便形成了多维时序数据。通过分析该多维时序数据发现其中的异常点，进而判断当前时刻系统的异常状态。

2、相关技术中，常见的云网监控数据异常检测的方法为时序数据异常检测，从正常的时间序列中识别不正常的事件或行为的过程。有效的异常检测被广泛用于很多领域，例如量化交易，网络安全检测、自动驾驶汽车和大型工业设备的日常维护。基于传统机器学习的方法，统计模型、多元正态分布模型、独立森林等方法能够在一定程度上检测出明显的异常点，但是这些机遇学习的方法对数据噪声敏感，并且仅针对每个时序数据进行独立建模，很难解决多维时序数据中的相互关联产生的异常。近年来，基于深度学习的方法逐步运用于时序数据异常检测，常用方法是基于循环神经网络的序列编码，然后结合基于预测、重建或数据分布距离等方法来定位异常点，但是这种方法只能够顺序处理，无法并行计算，因此，训练和推理速度较慢。

3、针对现有技术中，运用人工手段检测时序数据的异常情况而导致处理速度慢等问题，尚未提出有效的解决方案。

技术实现思路

1、本申请实施例提供了一种异常数据的检测方法和装置、存储介质及电子装置，以至少解决相关技术中，运用人工手段检测时序数据的异常情况而导致处理速度慢等问题。

2、根据本申请实施例的一个实施例，提供了一种异常数据的检测方法，包括：对预设数据大小的第一时序数据进行预处理，得到第二时序数据，其中，所述第二时序数据通过所述第一时序数据对应的信号数量和时间窗口大小确定；将所述第二时序数据依次通过n层金字塔网络结构的每一层金字塔层，并获取所述每一层金字塔层输出的n个数据特征，其中，所述n为大于1的正整数；对所述n个数据特征进行重建，以获取所述n个数据特征的重建误差；根据所述重建误差和预设阈值的大小关系确定所述第一时序数据是否为异常数据。

3、在一个示例性实施例中，获取所述每一层金字塔层输出的n个数据特征的过程中，所述方法还包括：对于所述n层金字塔网络结构的第i层金字塔层，获取第i-1层金字塔层输出的第三时序数据；分别按照m个采样方式对第i-1层金字塔层的第三时序数据进行采样，得到m个采样结果，其中，i和m均为正整数，所述i大于1，且小于或等于n；对所述m个采样结果进行融合，得到所述第i层金字塔层对应的第三时序数据；将所述第三时序数据进行特征提取，得到所述第i层金字塔层对应的数据特征。

4、在一个示例性实施例中，分别按照m个采样方式对第i-1层金字塔层的第三时序数据进行采样，得到m个采样结果的过程中，所述方法还包括：在所述m个采样方式包括第一采样方式的情况下，按照所述第一采样方式对应的预设采样步长对所述第三时序数据进行采样，将每次采样得到多个数据点中的最大数据点确定为所述m个采样结果中的第一采样结果，其中，所述第三时序数据中包括：多个数据点。

5、在一个示例性实施例中，分别按照m个采样方式对第i-1层金字塔层的第三时序数据进行采样，得到m个采样结果的过程中，所述方法还包括：在所述m个采样方式包括第二采样方式的情况下，按照所述第二采样方式对应的采样间隔对所述第三时序数据进行采样，并将采样结果确定为所述m个采样结果中的第二采样结果。

6、在一个示例性实施例中，分别按照m个采样方式对第i-1层金字塔层的第三时序数据进行采样，得到m个采样结果的过程中，所述方法还包括：在所述m个采样方式包括第三采样方式的情况下，将所述第三时序数据中的后半段时序数据确定为所述m个采样结果中的第三采样结果。

7、在一个示例性实施例中，对已采集的预设时间段内的第一时序数据进行预处理，得到第二时序数据，包括：对所述第一时序数据进行归一化处理操作，得到第四时序数据，以确定所述第四时序数据的时间窗口大小在预设范围内；去除所述第四时序数据中的冗余信息，得到第五时序数据；计算预设数值与所述第五时序数据对应的信号数量的商值，根据所述商值向上取整后的数值与所述预设数值的乘积确定为所述第二时序数据的信号数量；根据所述第四时序数据的时间窗口大小和所述第二时序数据的信号数量确定所述第二时序数据。

8、在一个示例性实施例中，根据所述重建误差和预设阈值的大小关系确定所述第一时序数据是否为异常数据，包括：在所述重建误差大于所述预设阈值的情况下，确定所述第一时序数据为异常数据；在所述重建误差小于或等于所述预设阈值的情况下，确定所述第一时序数据不是异常数据。

9、根据本申请实施例的另一个实施例，还提供了一种异常数据的检测装置，包括：预处理模块，用于对预设数据大小的第一时序数据进行预处理，得到第二时序数据，其中，所述第二时序数据通过所述第一时序数据对应的信号数量和时间窗口大小确定；获取模块，用于将所述第二时序数据依次通过n层金字塔网络结构的每一层金字塔层，并获取所述每一层金字塔层输出的n个数据特征，其中，所述n为大于1的正整数；重建模块，用于对所述n个数据特征进行重建，以获取所述n个数据特征的重建误差；确定模块，用于根据所述重建误差和预设阈值的大小关系确定所述第一时序数据是否为异常数据。

10、根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述异常数据的检测方法。

11、根据本申请实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的异常数据的检测方法。

12、在本申请实施例中，由于对预设数据大小的第一时序数据进行预处理，得到第二时序数据，其中，所述第二时序数据通过所述第一时序数据对应的信号数量和时间窗口大小确定；将所述第二时序数据依次通过n层金字塔网络结构的每一层金字塔层，并获取所述每一层金字塔层输出的n个数据特征；对所述n个数据特征进行重建，以获取所述n个数据特征的重建误差；根据所述重建误差和预设阈值的大小关系确定所述第一时序数据是否为异常数据；采用上述技术方案，解决了现有技术中运用人工手段检测时序数据的异常情况而导致处理速度慢等问题。

技术特征：

1.一种异常数据的检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，获取所述每一层金字塔层输出的n个数据特征的过程中，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，分别按照m个采样方式对第i-1层金字塔层的第三时序数据进行采样，得到m个采样结果的过程中，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，分别按照m个采样方式对第i-1层金字塔层的第三时序数据进行采样，得到m个采样结果的过程中，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，分别按照m个采样方式对第i-1层金字塔层的第三时序数据进行采样，得到m个采样结果的过程中，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，对已采集的预设时间段内的第一时序数据进行预处理，得到第二时序数据，包括：

7.根据权利要求1所述的方法，其特征在于，根据所述重建误差和预设阈值的大小关系确定所述第一时序数据是否为异常数据，包括：

8.一种异常数据的检测装置，其特征在于，包括：

9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1-7任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1-7任一项中所述的方法。

技术总结
本申请公开了一种异常数据的检测方法和装置、存储介质及电子装置，其中，上述方法包括：对预设数据大小的第一时序数据进行预处理，得到第二时序数据，其中，第二时序数据通过第一时序数据对应的信号数量和时间窗口大小确定；将第二时序数据依次通过N层金字塔网络结构的每一层金字塔层，并获取每一层金字塔层输出的N个数据特征，其中，N为大于1的正整数；对N个数据特征进行重建，以获取N个数据特征的重建误差；根据重建误差和预设阈值的大小关系确定第一时序数据是否为异常数据，通过上述方法，可以解决现有技术中运用人工手段检测时序数据的异常情况而导致处理速度慢等问题。

技术研发人员：钱厚才,董晓亮
受保护的技术使用者：中电信智能网络科技有限公司
技术研发日：
技术公布日：2024/1/15