一种基于机器学习的光模块损坏检测方法及系统与流程

1.本发明涉及机器学习技术领域，特别是涉及一种基于机器学习的光模块损坏检测方法及系统。


背景技术：

2.光模块是进行光电和电光转换的光电子器件。光模块的发送端把电信号转换为光信号，接收端把光信号转换为电信号。光模块在基站、光纤网卡、光纤路由器等方向有着广泛应用，是光纤通信系统中的核心产品。然而针对此种用途范围广，用量大的主流产品，在检测方式上则通过肉眼观察、接口对接等人工检测方式测试光模块工作是否正常。此种检测方式流程繁琐，耗费大量时间及人力并且准确率极低。


技术实现要素：

3.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于机器学习的光模块损坏检测方法及系统，用于解决现有技术中人工检测光模块流程繁琐、耗费时间多、准确率低的问题。
4.为实现上述目的及其他相关目的，本发明提供一种基于机器学习的光模块损坏检测方法，包括以下步骤：
5.获取正常光模块和非正常光模块的历史性能数据；
6.对所述正常光模块和非正常光模块的历史性能数据进行清洗和过滤；
7.选择目标特征，并通过信息增益算法计算每个目标特征对所述光模块的纯度影响，以及按照计算出的纯度影响进行排序，获取关键目标特征，用于模型的学习与训练；
8.获取历史性能数据中的正样本数据与负样本数据，并基于smote过采样方式模拟非正常光模块的性能数据，使正样本数据与负样本数据的数量比例达到目标值；其中，正常光模块的性能数据为正样本数据，非正常光模块的性能数据为负样本数据；
9.基于分类算法人工神经网络和随机森林算法对数量比例达到目标值的样本性能数据进行训练学习，生成光模块检测模型；所述样本性能数据由正样本数据和负样本数据组成；
10.利用所述光模块检测模型检测一个或多个光模块，确定被检测的一个或多个光模块是否出现损坏。
11.可选地，在生成所述模块检测模型过程中，还包括：对所述随机森林算法进行调参优化，改变所述随机森林算法的训练参数；
12.基于改变训练参数后的随机森林算法对数量比例达到目标值的样本性能数据进行训练学习；并在生成光模块检测模型后检测所述光模块检测模块的召回率；
13.若所述光模块检测模型的召回率、检测准确率都高于预设阈值，则输出所述光模块检测模型，作为最终的光模块检测模型。
14.可选地，所述基于smote过采样方式模拟非正常光模块的性能数据，使正样本数据
与负样本数据的数量比例达到目标值，包括：
15.基于smote算法根据光模块历史性能数据中的正样本和负样本比例确定采样比例，并根据所述采样比例确定采样倍率；
16.获取正样本或负样本中数量较少的样本类别，从该样本类别中选择一个样本，以及从与该样本相邻的多个样本中随机选择一个或多个样本，并将选择出的一个或多个样本增加至数量较少的样本类别中，使正样本数据与负样本数据的数量比例达到目标值。
17.可选地，若目标值为1∶1，则有：
18.x
new
＝x+rand(0，1)*|x
‑
x
n
|；
19.式中，x
new
为对数量较少的样本类别增加样本后的新样本；
20.x为数量较少的样本类别中的样本；
21.x
n
表示与样本x相邻的多个样本。
22.可选地，所述正常光模块的历史性能数据为所述正常光模块在当前时刻前6个月的性能数据；
23.所述非正常光模块的历史性能数据为所述非正常光模块在当前时刻前6个月的性能数据；
24.其中，历史性能数据中正样本数据与负样本数据的比例为3000：1。
25.可选地，所述清洗包括剔除电流值、电压值、温度值、功率值中一个或多个值小于零的数据；
26.所述过滤包括对所述正常光模块和非正常光模块小于预设时间的历史性能数据进行过滤。
27.可选地，所述目标关键特征包括以下至少之一：
28.日电功率最大值、日电功率平均值、日电功率最小值、日电压最大值、日电压平均值、日电压最小值、日电流最大值、日电流平均值、日电流最小值、日温度最大值、日温度平均值、日温度最小值。
29.本发明还提供一种基于机器学习的光模块损坏检测系统，包括有：
30.采集单元，用于获取正常光模块和非正常光模块的历史性能数据；
31.清洗及过滤单元，用于对所述正常光模块和非正常光模块的历史性能数据进行清洗和过滤；
32.目标特征单元，用于选择目标特征，并通过信息增益算法计算每个目标特征对所述光模块的纯度影响，以及按照计算出的纯度影响进行排序，获取关键目标特征，用于模型的学习与训练；
33.样本比例调节单元，拥有获取历史性能数据中的正样本数据与负样本数据，并基于smote过采样方式模拟非正常光模块的性能数据，使正样本数据与负样本数据的数量比例达到目标值；其中，正常光模块的性能数据为正样本数据，非正常光模块的性能数据为负样本数据；
34.模型生成单元，用于基于分类算法人工神经网络和随机森林算法对数量比例达到目标值的样本性能数据进行训练学习，生成光模块检测模型；所述样本性能数据由正样本数据和负样本数据组成；
35.检测单元，用于利用所述光模块检测模型检测一个或多个光模块，确定被检测的
一个或多个光模块是否出现损坏。
36.可选地，在生成所述模块检测模型过程中，还包括：对所述随机森林算法进行调参优化，改变所述随机森林算法的训练参数；
37.基于改变训练参数后的随机森林算法对数量比例达到目标值的样本性能数据进行训练学习；并在生成光模块检测模型后检测所述光模块检测模块的召回率；
38.若所述光模块检测模型的召回率、检测准确率都高于预设阈值，则输出所述光模块检测模型，作为最终的光模块检测模型。
39.可选地，所述基于smote过采样方式模拟非正常光模块的性能数据，使正样本数据与负样本数据的数量比例达到目标值，包括：
40.基于smote算法根据光模块历史性能数据中的正样本和负样本比例确定采样比例，并根据所述采样比例确定采样倍率；
41.获取正样本或负样本中数量较少的样本类别，从该样本类别中选择一个样本，以及从与该样本相邻的多个样本中随机选择一个或多个样本，并将选择出的一个或多个样本增加至数量较少的样本类别中，使正样本数据与负样本数据的数量比例达到目标值；
42.若目标值为1∶1，则有：
43.x
new
＝x+rand(0，1)*|x
‑
x
n
|；
44.式中，x
new
为对数量较少的样本类别增加样本后的新样本；
45.x为数量较少的样本类别中的样本；
46.x
n
表示与样本x相邻的多个样本。
47.如上所述，本发明提供一种基于机器学习的光模块损坏检测方法及系统，具有以下有益效果：本发明基于光模块的历史性能数据检测结果生成一个光模块检测模型，利用该光模块检测模型在预测坏光模块性能数据上有一定的作用，可作为辅助手段帮助排查坏光模块。同时，为了保证光模块检测模型的泛化能力，还可以在生成光模块检测模型后，利用大量真实坏光模块数据以及更多特征的进行挖掘探索。本发明通过对离线的正常及损坏光模块历史性能数据分析，不仅可以对实时光模块性能数据进行检测，还可以通过机器学习算法实时监测光模块性能情况，并预测光模块是否存在损坏趋势。本发明基于机器学习的光模块检测来代替人工检测光模块，大大提高了检测准确性并降低了时间及人力的耗费。本发明可通过对光模块运行时性能数据进行监测，预测其是否存在损坏趋势，并提前给出告警。
附图说明
48.图1为一实施例提供的基于机器学习的光模块损坏检测方法的流程示意图；
49.图2为一实施例提供的基于机器学习的光模块损坏检测系统的硬件结构示意图。
具体实施方式
50.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施
例中的特征可以相互组合。
51.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
52.请参阅图1，本发明提供一种基于机器学习的光模块损坏检测方法，包括以下步骤：
53.s100，获取正常光模块和非正常光模块的历史性能数据；在本技术实施例中，除正常光模块以外，其他光模块统称为非正常光模块。
54.s200，对所述正常光模块和非正常光模块的历史性能数据进行清洗和过滤；
55.s300，选择目标特征，并通过信息增益算法计算每个目标特征对所述光模块的纯度影响，以及按照计算出的纯度影响进行排序，获取关键目标特征，用于模型的学习与训练；
56.s400，获取历史性能数据中的正样本数据与负样本数据，并基于smote过采样方式模拟非正常光模块的性能数据，使正样本数据与负样本数据的数量比例达到目标值；其中，正常光模块的性能数据为正样本数据，非正常光模块的性能数据为负样本数据；
57.s500，基于分类算法人工神经网络和随机森林算法对数量比例达到目标值的样本性能数据进行训练学习，生成光模块检测模型；所述样本性能数据由正样本数据和负样本数据组成；
58.s600，利用所述光模块检测模型检测一个或多个光模块，确定被检测的一个或多个光模块是否出现损坏。
59.本方法基于光模块的历史性能数据检测结果生成一个光模块检测模型，利用该光模块检测模型在预测坏光模块性能数据上有一定的作用，可作为辅助手段帮助排查坏光模块。同时，为了保证光模块检测模型的泛化能力，还可以在生成光模块检测模型后，利用大量真实坏光模块数据以及更多特征的进行挖掘探索。本方法通过对离线的正常及损坏光模块历史性能数据分析，不仅可以对实时光模块性能数据进行检测，还可以通过机器学习算法实时监测光模块性能情况，并预测光模块是否存在损坏趋势。本方法基于机器学习的光模块检测来代替人工检测光模块，大大提高了检测准确性并降低了时间及人力的耗费。本方法可通过对光模块运行时性能数据进行监测，预测其是否存在损坏趋势，并提前给出告警。
60.根据上述记载，在一示例性实施例中，所述清洗包括剔除电流值、电压值、温度值、功率值中一个或多个值小于零的数据。所述过滤包括对所述正常光模块和非正常光模块小于预设时间的历史性能数据进行过滤，例如过滤掉光模块历史性能数据小于7天的光模块。
61.根据上述记载，在生成所述模块检测模型过程中，还包括：对所述随机森林算法进行调参优化，改变所述随机森林算法的训练参数；基于改变训练参数后的随机森林算法对数量比例达到目标值的样本性能数据进行训练学习；并在生成光模块检测模型后检测所述光模块检测模块的召回率；若所述光模块检测模型的召回率、检测准确率都高于预设阈值，则输出所述光模块检测模型，作为最终的光模块检测模型。作为示例，例如本技术实施例可以将光模块检测模型的召回率设置为80％，光模块检测模型的检测准确率设置为80％。当
光模块检测模型的召回率高于80％，光模块检测模型的检测准确率高于80％时，说明利用训练学习生成的光模块检测模型来预测或检测光模块是否发生损坏的准确率可信度高。
62.根据上述记载，在一示例性实施例中，所述基于smote过采样方式模拟非正常光模块的性能数据，使正样本数据与负样本数据的数量比例达到目标值，包括：基于smote算法根据光模块历史性能数据中的正样本和负样本比例确定采样比例，并根据所述采样比例确定采样倍率；并获取正样本或负样本中数量较少的样本类别，从该样本类别中选择一个样本，以及从与该样本相邻的多个样本中随机选择一个或多个样本，并将选择出的一个或多个样本增加至数量较少的样本类别中，使正样本数据与负样本数据的数量比例达到目标值。其中，若目标值为1∶1，则有：
63.x
new
＝x+rand(0，1)*|x
‑
x
n
|；
64.式中，x
new
为对数量较少的样本类别增加样本后的新样本；
65.x为数量较少的样本类别中的样本；
66.x
n
表示与样本x相邻的多个样本。
67.在一些示例性实施例中，所述正常光模块的历史性能数据为所述正常光模块在当前时刻前6个月的性能数据；所述非正常光模块的历史性能数据为所述非正常光模块在当前时刻前6个月的性能数据；其中，历史性能数据中正样本数据与负样本数据的比例为3000：1。
68.在一示例性实施例中，所述目标关键特征包括以下至少之一：日电功率最大值、日电功率平均值、日电功率最小值、日电压最大值、日电压平均值、日电压最小值、日电流最大值、日电流平均值、日电流最小值、日温度最大值、日温度平均值、日温度最小值。作为示例，本技术实施例通过信息增益算法对所有特征相关性进行排序，最终选择的目标关键特征为日电功率最大值，日电功率平均值，日电功率最小值，日电压最大值，日电压平均值，日电压最小值，日电流最大值，日电流平均值，日电流最小值，日温度最大值，日温度平均值，日温度最小值中一个或多个维度数据，并选取后10天的维度数据作为训练及测试数据。本技术实施例中，选取的总维度为120维。
69.本技术一具体实施例提供了一种基于机器学习算法的有监督光模块损坏检测方法，包括以下步骤：
70.步骤1：取良好光模块以及损坏光模块历史性能数据源；其中，历史数据为当前时刻前6个月的光模块性能数据，其中正负样本比例为3000：1。
71.步骤2：光模块性能数据清洗，剔除电流、电压、温度、功率最小值为0的数据，针对性能数据小于7天光模块数据进行过滤等；
72.步骤3：特征选择，通过信息增益算法计算每个特征对于影响好坏光模块的纯度进行排序，最终得到关键特征。例如通过信息增益算法对所有特征相关性进行排序，最终选择的目标关键特征为日电功率最大值，日电功率平均值，日电功率最小值，日电压最大值，日电压平均值，日电压最小值，日电流最大值，日电流平均值，日电流最小值，日温度最大值，日温度平均值，日温度最小值中一个或多个维度数据，并选取后10天的维度数据作为训练及测试数据。本技术实施例中，选取的总维度为120维。
73.步骤4：正负样本极度失衡，基于smote过采样方式模拟坏光模块性能数据，使之正负样本数据数量达到1:1。例如，基于smote算法根据光模块历史性能数据中的正样本和负
样本比例确定采样比例，并根据所述采样比例确定采样倍率；并获取正样本或负样本中数量较少的样本类别，从该样本类别中选择一个样本，以及从与该样本相邻的多个样本中随机选择一个或多个样本，并将选择出的一个或多个样本增加至数量较少的样本类别中，使正样本数据与负样本数据的数量比例达到目标值。其中，若目标值为1∶1，则有：
74.x
new
＝x+rand(0，1)*|x
‑
x
n
|；
75.式中，x
new
为对数量较少的样本类别增加样本后的新样本；x为数量较少的样本类别中的样本；x
n
表示与样本x相邻的多个样本。
76.步骤5：对数据进行有监督学习，基于分类算法人工神经网络以及随机森林算法对样本性能数据进行训练学习，生成光模块检测模型；
77.步骤6：对光模块检测模型进行评估，当光模块检测模型的召回率、精确率都达到预设效果时输出光模块检测模型。例如将处理好的数据输入随机森林算法中进行调参优化，保存训练好的模型参数，并利用测试机进行预测。当光模块检测模型在召回率、准确率上都高于80％时输出光模块检测模型。
78.综上所述，本发明提供一种基于机器学习的光模块损坏检测方法，基于光模块的历史性能数据检测结果生成一个光模块检测模型，利用该光模块检测模型在预测坏光模块性能数据上有一定的作用，可作为辅助手段帮助排查坏光模块。同时，为了保证光模块检测模型的泛化能力，还可以在生成光模块检测模型后，利用大量真实坏光模块数据以及更多特征的进行挖掘探索。本方法通过对离线的正常及损坏光模块历史性能数据分析，不仅可以对实时光模块性能数据进行检测，还可以通过机器学习算法实时监测光模块性能情况，并预测光模块是否存在损坏趋势。本方法基于机器学习的光模块检测来代替人工检测光模块，大大提高了检测准确性并降低了时间及人力的耗费。本方法可通过对光模块运行时性能数据进行监测，预测其是否存在损坏趋势，并提前给出告警。
79.如图2所示，本发明还提供一种基于机器学习的光模块损坏检测系统，包括有：
80.采集单元d10，用于获取正常光模块和非正常光模块的历史性能数据；
81.清洗及过滤单元d20，用于对所述正常光模块和非正常光模块的历史性能数据进行清洗和过滤；
82.目标特征单元d30，用于选择目标特征，并通过信息增益算法计算每个目标特征对所述光模块的纯度影响，以及按照计算出的纯度影响进行排序，获取关键目标特征，用于模型的学习与训练；
83.样本比例调节单元d40，拥有获取历史性能数据中的正样本数据与负样本数据，并基于smote过采样方式模拟非正常光模块的性能数据，使正样本数据与负样本数据的数量比例达到目标值；其中，正常光模块的性能数据为正样本数据，非正常光模块的性能数据为负样本数据；
84.模型生成单元d50，用于基于分类算法人工神经网络和随机森林算法对数量比例达到目标值的样本性能数据进行训练学习，生成光模块检测模型；所述样本性能数据由正样本数据和负样本数据组成；
85.检测单元d60，用于利用所述光模块检测模型检测一个或多个光模块，确定被检测的一个或多个光模块是否出现损坏。
86.本系统基于光模块的历史性能数据检测结果生成一个光模块检测模型，利用该光
模块检测模型在预测坏光模块性能数据上有一定的作用，可作为辅助手段帮助排查坏光模块。同时，为了保证光模块检测模型的泛化能力，还可以在生成光模块检测模型后，利用大量真实坏光模块数据以及更多特征的进行挖掘探索。本系统通过对离线的正常及损坏光模块历史性能数据分析，不仅可以对实时光模块性能数据进行检测，还可以通过机器学习算法实时监测光模块性能情况，并预测光模块是否存在损坏趋势。本系统基于机器学习的光模块检测来代替人工检测光模块，大大提高了检测准确性并降低了时间及人力的耗费。本系统可通过对光模块运行时性能数据进行监测，预测其是否存在损坏趋势，并提前给出告警。
87.根据上述记载，在一示例性实施例中，所述清洗包括剔除电流值、电压值、温度值、功率值中一个或多个值小于零的数据。所述过滤包括对所述正常光模块和非正常光模块小于预设时间的历史性能数据进行过滤，例如过滤掉光模块历史性能数据小于7天的光模块。
88.根据上述记载，在生成所述模块检测模型过程中，还包括：对所述随机森林算法进行调参优化，改变所述随机森林算法的训练参数；基于改变训练参数后的随机森林算法对数量比例达到目标值的样本性能数据进行训练学习；并在生成光模块检测模型后检测所述光模块检测模块的召回率；若所述光模块检测模型的召回率、检测准确率都高于预设阈值，则输出所述光模块检测模型，作为最终的光模块检测模型。作为示例，例如本技术实施例可以将光模块检测模型的召回率设置为80％，光模块检测模型的检测准确率设置为80％。当光模块检测模型的召回率高于80％，光模块检测模型的检测准确率高于80％时，说明利用训练学习生成的光模块检测模型来预测或检测光模块是否发生损坏的准确率可信度高。
89.根据上述记载，在一示例性实施例中，所述基于smote过采样方式模拟非正常光模块的性能数据，使正样本数据与负样本数据的数量比例达到目标值，包括：基于smote算法根据光模块历史性能数据中的正样本和负样本比例确定采样比例，并根据所述采样比例确定采样倍率；并获取正样本或负样本中数量较少的样本类别，从该样本类别中选择一个样本，以及从与该样本相邻的多个样本中随机选择一个或多个样本，并将选择出的一个或多个样本增加至数量较少的样本类别中，使正样本数据与负样本数据的数量比例达到目标值。其中，若目标值为1∶1，则有：
90.x
new
＝x+rand(0，1)*|x
‑
x
n
|；
91.式中，x
new
为对数量较少的样本类别增加样本后的新样本；x为数量较少的样本类别中的样本；x
n
表示与样本x相邻的多个样本。
92.在一些示例性实施例中，所述正常光模块的历史性能数据为所述正常光模块在当前时刻前6个月的性能数据；所述非正常光模块的历史性能数据为所述非正常光模块在当前时刻前6个月的性能数据；其中，历史性能数据中正样本数据与负样本数据的比例为3000：1。
93.在一示例性实施例中，所述目标关键特征包括以下至少之一：日电功率最大值、日电功率平均值、日电功率最小值、日电压最大值、日电压平均值、日电压最小值、日电流最大值、日电流平均值、日电流最小值、日温度最大值、日温度平均值、日温度最小值。作为示例，本技术实施例通过信息增益算法对所有特征相关性进行排序，最终选择的目标关键特征为日电功率最大值，日电功率平均值，日电功率最小值，日电压最大值，日电压平均值，日电压最小值，日电流最大值，日电流平均值，日电流最小值，日温度最大值，日温度平均值，日温
度最小值中一个或多个维度数据，并选取后10天的维度数据作为训练及测试数据。本技术实施例中，选取的总维度为120维。
94.本技术一具体实施例还提供了一种基于机器学习算法的有监督光模块损坏检测系统，具体实施过程参见上述描述，本技术实施例不再进行赘述。
95.综上所述，本发明提供一种基于机器学习的光模块损坏检测系统，基于光模块的历史性能数据检测结果生成一个光模块检测模型，利用该光模块检测模型在预测坏光模块性能数据上有一定的作用，可作为辅助手段帮助排查坏光模块。同时，为了保证光模块检测模型的泛化能力，还可以在生成光模块检测模型后，利用大量真实坏光模块数据以及更多特征的进行挖掘探索。本系统通过对离线的正常及损坏光模块历史性能数据分析，不仅可以对实时光模块性能数据进行检测，还可以通过机器学习算法实时监测光模块性能情况，并预测光模块是否存在损坏趋势。本系统基于机器学习的光模块检测来代替人工检测光模块，大大提高了检测准确性并降低了时间及人力的耗费。本系统可通过对光模块运行时性能数据进行监测，预测其是否存在损坏趋势，并提前给出告警。
96.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。