一种通信设备数据清洗方法、系统及存储介质与流程

本发明涉及一种通信设备数据清洗方法、系统及存储介质，属于机器学习。

背景技术：

1、随着互联网技术的发展和网络应用的普及，通信网ip(internet protocol)化已经成为发展方向。在5g通信时代，5g核心网的关键技术sdn(software defined network，软件定义网络)、nfv(network functions virtualization，网络功能虚拟化)及mec(mobileedge computing，多接入边缘计算)均基于ip化技术而实现。基于5g技术，可支持各类新型业务蓬勃发展，运营商针对公共网络和专线业务网络，需要管理监控多厂家设备和不同型号设备，以保证网络服务的稳定性和用户对应用体验日趋增强的要求。同时，对于基于5g或其它ip化通信网络技术组建的企业网，用户也需要实时监控网络设备的运行，以保证企业网络的稳定和高效运行。

2、在通信网络中，要保证实时监控网络设备，对通信设备各种数据信息采集是基础，其中必须保证采集的数据准确和可靠性，如果基于错误的采集数据，网络的稳定和高效运行就无法保证，因此数据在运用之前需要对数据进行清洗，但是目前数据清洗算法主要基于数据特征模型进行一次性清洗，清洗准确性和可靠性较差。

技术实现思路

1、本发明提供了一种通信设备数据清洗方法、系统、存储介质及计算设备，解决了背景技术中披露的问题。

2、为了解决上述技术问题，本发明所采用的技术方案是：

3、一种通信设备数据清洗方法，包括：

4、获取预先训练且与通信设备类型匹配的标准数据特征模型；其中，标准数据特征模型包括通信设备的标准总数据的特征和标准总数据中分时段数据的特征；

5、根据采集的通信设备数据，计算采集总数据的特征和采集总数据中分时段数据的特征；其中，采集总数据为所有采集的通信设备数据；

6、若采集总数据的特征与标准总数据的特征不匹配，则丢弃采集的通信设备数据；

7、若采集总数据的特征与标准总数据的特征匹配、且采集总数据中分时段数据的特征与对应的标准总数据中分时段数据的特征不匹配，则丢弃不匹配分时段的采集的通信设备数据。

8、标准数据特征模型为：

9、pdt＝(pdt0,pdt1,...,pdtn)

10、其中，pdt与dt类型通信设备匹配的标准数据特征模型，pdt0为dt类型通信设备的标准总数据特征，pdti为dt类型通信设备第i个时段数据的特征，1≤i≤n，n为一天内设定的时段总数。

11、训练标准数据特征模型包括：

12、获取各种类型通信设备的标准数据；

13、采用标准数据，计算各种类型通信设备的标准总数据的特征和标准总数据中分时段数据的特征，构建各种类型通信设备的标准数据特征模型。

14、还包括，若采集总数据的特征与标准总数据的特征匹配、且采集总数据中所有分时段数据的特征与对应的标准总数据中分时段数据的特征匹配，采用采集总数据的特征和采集总数据中分时段数据的特征，对相应的标准数据特征模型进行更新。

15、标准总数据的特征、标准总数据中分时段数据的特征、采集总数据的特征和采集总数据中分时段数据的特征均包括数据均值、数据极差、数据标准差。

16、一种通信设备数据清洗系统，包括：

17、标准模型获取模块，获取预先训练且与通信设备类型匹配的标准数据特征模型；其中，标准数据特征模型包括通信设备的标准总数据的特征和标准总数据中分时段数据的特征；

18、实时计算模块，根据采集的通信设备数据，计算采集总数据的特征和采集总数据中分时段数据的特征；其中，采集总数据为所有采集的通信设备数据；

19、第一匹配模块，若采集总数据的特征与标准总数据的特征不匹配，则丢弃采集的通信设备数据；

20、第二匹配模块，若采集总数据的特征与标准总数据的特征匹配、且采集总数据中分时段数据的特征与对应的标准总数据中分时段数据的特征不匹配，则丢弃不匹配分时段的采集的通信设备数据。

21、标准模型获取模块中，标准数据特征模型为：

22、pdt＝(pdt0,pdt1,...,pdtn)

23、其中，pdt与dt类型通信设备匹配的标准数据特征模型，pdt0为dt类型通信设备的标准总数据特征，pdti为dt类型通信设备第i个时段数据的特征，1≤i≤n，n为一天内设定的时段总数。

24、还包括训练模块，训练模块训练标准数据特征模型的过程包括：

25、获取各种类型通信设备的标准数据；

26、采用标准数据，计算各种类型通信设备的标准总数据的特征和标准总数据中分时段数据的特征，构建各种类型通信设备的标准数据特征模型。

27、还包括更新模块；更新模块，若采集总数据的特征与标准总数据的特征匹配、且采集总数据中所有分时段数据的特征与对应的标准总数据中分时段数据的特征匹配，采用采集总数据的特征和采集总数据中分时段数据的特征，对相应的标准数据特征模型进行更新。

28、一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行通信设备数据清洗方法。

29、本发明所达到的有益效果：本发明基于时间分段和设备类型的双层数据特征模型，对数据进行双层匹配过滤，相较于传统的一次性清洗，准确性和可靠性较高。

技术特征：

1.一种通信设备数据清洗方法，其特征在于，包括：

2.根据权利要求1所述的通信设备数据清洗方法，其特征在于，标准数据特征模型为：

3.根据权利要求1所述的通信设备数据清洗方法，其特征在于，训练标准数据特征模型包括：

4.根据权利要求1所述的通信设备数据清洗方法，其特征在于，还包括，若采集总数据的特征与标准总数据的特征匹配、且采集总数据中所有分时段数据的特征与对应的标准总数据中分时段数据的特征匹配，采用采集总数据的特征和采集总数据中分时段数据的特征，对相应的标准数据特征模型进行更新。

5.根据权利要求1所述的通信设备数据清洗方法，其特征在于，标准总数据的特征、标准总数据中分时段数据的特征、采集总数据的特征和采集总数据中分时段数据的特征均包括数据均值、数据极差、数据标准差。

6.一种通信设备数据清洗系统，其特征在于，包括：

7.根据权利要求6所述的通信设备数据清洗系统，其特征在于，标准模型获取模块中，标准数据特征模型为：

8.根据权利要求6所述的通信设备数据清洗系统，其特征在于，还包括训练模块，训练模块训练标准数据特征模型的过程包括：

9.根据权利要求6所述的通信设备数据清洗系统，其特征在于，还包括更新模块；更新模块，若采集总数据的特征与标准总数据的特征匹配、且采集总数据中所有分时段数据的特征与对应的标准总数据中分时段数据的特征匹配，采用采集总数据的特征和采集总数据中分时段数据的特征，对相应的标准数据特征模型进行更新。

10.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至5所述的方法中的任一方法。

技术总结
本发明公开了一种通信设备数据清洗方法、系统及存储介质，本发明基于时间分段和设备类型的双层数据特征模型，对数据进行双层匹配过滤，相较于传统的一次性清洗，准确性和可靠性较高。

技术研发人员：龚亮亮,巢玉坚,郝悍勇,李洋,陆涛,赵高峰,朱雪阳,胡阳,张影,毕善钰,卞宝银,杨爽,张俊尧,刘峰,张明,罗先南,朱骥,蒯本链,宋凯,陈犇前,申圳,丁雍,童三宝,戚伟强,王以良,杨帆,陈婧楠,赵振民,陈亚文
受保护的技术使用者：国网电力科学研究院有限公司
技术研发日：
技术公布日：2024/1/13