一种光网络故障检测方法及系统
本发明涉及通信技术领域，尤其涉及一种光网络故障检测方法及系统。
背景技术：
现代通信大多数以光网路为基石，光网络一旦发生故障，就会造成不可估量的损失，所以光网络中的故障检测是很重要的。
光网络的硬件故障主要分为两类，显性故障和隐性故障。显性故障是指那些由于单个特征明显超出正常范围所导致的故障，显性故障通过简单的机器学习方法甚至单阈值判别方法即可得到很高的判别准确率以及f1值。隐性故障是指那些设备已经明显发生故障，但所有的特征值却又都在正常范围之内的故障，隐性故障通过简单的机器学习方法很难得到很好的检测效果。此外，在光网络中，故障是很少发生的，这就造成了数据集的不平衡，即正常数据很多，而故障数据很少。不均衡数据对于模型的训练有着极大影响，它会使模型更偏向于将数据判为正常类，以此来换取较小的损失值，导致最终的检测效果不佳。
因而，现在亟需一种光网络故障检测方法及系统来解决上述问题。
技术实现要素：
针对现有技术存在的问题，本发明提供一种光网络故障检测方法及系统。
本发明提供一种光网络故障检测方法，包括：
获取待检测的光网络性能数据；
将所述待检测的光网络性能数据输入到训练好的光网络故障检测模型，获取所述待检测的光网络性能数据的隐空间重构误差，以根据所述隐空间重构误差和预设故障阈值，得到光网络故障检测结果，其中，所述训练好的光网络故障检测模型是由样本光网络性能数据，对改进的自编码器神经网络进行训练得到的，所述改进的自编码器神经网络包括第一编码器、第二编码器和解码器。
根据本发明提供的一种光网络故障检测方法，所述训练好的光网络故障检测模型通过以下步骤训练得到：
根据样本光网络性能数据，构建原始空间样本集，所述原始空间样本集包括样本训练集和样本验证集，所述样本训练集中的样本光网络性能数据为非故障数据，所述样本验证集中的样本光网络性能数据包括非故障数据和故障数据；
将所述样本训练集输入到所述改进的自编码器神经网络中进行训练，得到训练好的光网络故障检测模型。
根据本发明提供的一种光网络故障检测方法，所述将所述样本训练集输入到所述改进的自编码器神经网络中进行训练，得到训练好的光网络故障检测模型，包括：
将所述样本训练集输入到所述第一编码器，获取样本隐空间训练集；
将所述样本隐空间训练集输入到所述解码器，获取重构后的样本训练集；
将所述重构后的样本训练集输入到所述第二编码器，获取样本隐空间重构训练集；
根据所述样本训练集、所述重构后的样本训练集、所述样本隐空间训练集和所述样本隐空间重构训练集，获取所述改进的自编码器神经网络的损失函数值，若判断获知损失函数值满足收敛条件，得到训练好的光网络故障检测模型。
根据本发明提供的一种光网络故障检测方法，在所述将所述样本训练集输入到所述改进的自编码器神经网络中进行训练，得到训练好的光网络故障检测模型之后，所述方法还包括：
将所述样本验证集的数据输入到训练好的光网络故障检测模型，获取样本隐空间和样本隐空间重构，所述样本隐空间是由所述第一编码器对所述样本验证集进行编码得到的，所述样本隐空间重构是由所述第二编码器对重构后的样本验证集进行编码得到的，所述重构后的样本验证集是由所述解码器对所述样本隐空间进行解码得到的；
根据所述样本隐空间和所述样本隐空间重构，获取样本隐空间重构误差，并根据所述样本隐空间重构误差，构建预设故障阈值。
根据本发明提供的一种光网络故障检测方法，在所述获取待检测的光网络性能数据之前，所述方法还包括：
对所述待检测的光网络性能数据进行数据预处理，所述数据预处理包括重复数据删除、缺失数据填充和数据整合。
本发明还提供一种光网络故障检测系统，包括：
数据采集模块，用于获取待检测的光网络性能数据；
故障检测模块，用于将所述待检测的光网络性能数据输入到训练好的光网络故障检测模型，获取所述待检测的光网络性能数据的隐空间重构误差，以根据所述隐空间重构误差和预设故障阈值，得到光网络故障检测结果，其中，所述训练好的光网络故障检测模型是由样本光网络性能数据，对改进的自编码器神经网络进行训练得到的，所述改进的自编码器神经网络包括第一编码器、第二编码器和解码器。
根据本发明提供的一种光网络故障检测系统，所述系统还包括：
样本构建模块，用于根据样本光网络性能数据，构建原始空间样本集，所述原始空间样本集包括样本训练集和样本验证集，所述样本训练集中的样本光网络性能数据为非故障数据，所述样本验证集中的样本光网络性能数据包括非故障数据和故障数据；
训练模块，用于将所述样本训练集输入到所述改进的自编码器神经网络中进行训练，得到训练好的光网络故障检测模型。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述光网络故障检测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述光网络故障检测方法的步骤。
本发明提供的光网络故障检测方法及系统，通过从光网络故障检测模型获取隐空间重构误差，然后根据隐空间重构误差和预设故障阈值得到光网络故障检测结果，提高了模型的抗干扰性，并基于改进的自编码器神经网络，便于更好地学习训练数据的数据模式，减小重构误差，提升异常检测的效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的光网络故障检测方法的流程示意图；
图2为本发明提供的改进的自编码器神经网络的结构示意图；
图3为本发明提供的非故障数据和故障数据的隐空间重构误差的效果示意图；
图4为本发明提供的光网络故障检测系统的结构示意图；
图5为本发明提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的光网络故障检测方法的流程示意图，如图1所示，本发明提供了一种光网络故障检测方法，包括：
步骤101，获取待检测的光网络性能数据；
在本发明中，对光网络设备进行监测，从而采集到光网络性能数据，采集的光网络性能数据包括设备的各种特征，例如输入光功率特征、激光器偏置电流特征、激光器温度偏移值特征等。
步骤102，将所述待检测的光网络性能数据输入到训练好的光网络故障检测模型，获取所述待检测的光网络性能数据的隐空间重构误差，以根据所述隐空间重构误差和预设故障阈值，得到光网络故障检测结果，其中，所述训练好的光网络故障检测模型是由样本光网络性能数据，对改进的自编码器神经网络进行训练得到的，所述改进的自编码器神经网络包括第一编码器、第二编码器和解码器。
在本发明中，改进的自编码器神经网络包括两个编码器(即第一编码器与第二编码器)和一个解码器，通过对常规的自编码器神经网络进行改造，加入第二编码器，形成编码器-解码器-编码器的结构，可以更好地学习到训练数据的数据模式，减小重构误差。通过将待检测的光网络性能数据输入到由改进的自编码器神经网络训练得到的光网络故障检测模型中，获取待检测的光网络性能数据的隐空间重构误差，然后根据隐空间重构误差与预设故障阈值的大小，判断隐空间重构误差小于预设故障阈值，则对应的数据为非故障数据，若判断隐空间重构误差大于预设故障阈值，则对应的数据为故障数据，从而实现故障检测，得到光网络故障检测的结果。
需说明的是，在本发明中，输入至光网络故障检测模型的光网络性能数据可视为原始空间表示，常规的方法是采用原始空间的重构误差作为故障检测依据，由于原始空间表示容易受到噪声的干扰，本发明使用更深层的隐空间重构误差作为故障检测依据，这样可以大大提高模型的抗干扰性。
本发明提供的光网络故障检测方法，通过从光网络故障检测模型获取隐空间重构误差，然后根据隐空间重构误差和预设故障阈值得到光网络故障检测结果，提高了模型的抗干扰性，并基于改进的自编码器神经网络，便于更好地学习训练数据的数据模式，减小重构误差，提升异常检测的效果。
在上述实施例的基础上，所述训练好的光网络故障检测模型通过以下步骤训练得到：
根据样本光网络性能数据，构建原始空间样本集，所述原始空间样本集包括样本训练集和样本验证集，所述样本训练集中的样本光网络性能数据为非故障数据，所述样本验证集中的样本光网络性能数据包括非故障数据和故障数据；
将所述样本训练集输入到所述改进的自编码器神经网络中进行训练，得到训练好的光网络故障检测模型。
在本发明中，将光网络性能数据可分为训练集、验证集和测试集，光网络性能数据标注有非故障数据和故障数据的标签。选取样本光网络性能数据，构建由样本训练集和样本验证集组成的原始空间样本集。样本训练集中的样本光网络性能数据只包含非故障数据，样本验证集中包含一部分非故障数据和少量故障数据，测试集中包含剩余的非故障数据和故障数据。
采用样本训练集的数据对基于改进的自编码器神经网络的光网络故障检测模型进行训练，由于模型训练时只使用非故障数据，所以模型训练结束后，模型对非故障数据可以实现很好的重构，故障数据的重构误差要明显高于非故障数据的重构误差，依据重构误差的大小，便可实现故障检测，从而得到训练好的光网络故障检测模型。
在本发明中，通过对光网络性能数据标注非故障数据和故障数据的类别标签，样本训练集采用非故障数据对光网络故障检测模型进行训练，样本验证集采用非故障数据和少量故障数据对光网络故障检测模型进行验证，便于实现故障检测，以及验证光网络故障检测模型的故障检测准确性。
在上述实施例的基础上，所述将所述样本训练集输入到所述改进的自编码器神经网络中进行训练，得到训练好的光网络故障检测模型，包括：
将所述样本训练集输入到所述第一编码器，获取样本隐空间训练集；
将所述样本隐空间训练集输入到所述解码器，获取重构后的样本训练集；
将所述重构后的样本训练集输入到所述第二编码器，获取样本隐空间重构训练集；
根据所述样本训练集、所述重构后的样本训练集、所述样本隐空间训练集和所述样本隐空间重构训练集，获取所述改进的自编码器神经网络的损失函数值，若判断获知损失函数值满足收敛条件，得到训练好的光网络故障检测模型。
在本发明中，图2为本发明提供的改进的自编码器神经网络的结构示意图，可参考图2所示，改进的自编码器神经网络包括第一编码器(encoder1)、解码器(decoder)和第二编码器(encoder2)，将原始空间数据x(originalspace)输入改进的自编码器神经网络，经过第一编码器得到隐空间表示z(latentspace)，再经过解码器得到x的原始空间重构
构建损失函数表达式为：
其中，loss为损失函数值，x为原始空间，
进一步地，将样本训练集中的数据输入至改进的自编码器神经网络，先经过第一编码器进行编码后得到样本隐空间训练集，然后样本隐空间训练集经过解码器进行解码后得到重构后的样本训练集，最后重构后的样本训练集经过第二编码器进行编码后得到样本隐空间重构训练集。在本发明中，样本训练集对应原始空间x，重构后的样本训练集对应原始空间重构
在上述实施例的基础上，在所述将所述样本训练集输入到所述改进的自编码器神经网络中进行训练，得到训练好的光网络故障检测模型之后，所述方法还包括：
将所述样本验证集的数据输入到训练好的光网络故障检测模型，获取样本隐空间和样本隐空间重构，所述样本隐空间是由所述第一编码器对所述样本验证集进行编码得到的，所述样本隐空间重构是由所述第二编码器对重构后的样本验证集进行编码得到的，所述重构后的样本验证集是由所述解码器对所述样本隐空间进行解码得到的；
根据所述样本隐空间和所述样本隐空间重构，获取样本隐空间重构误差，并根据所述样本隐空间重构误差，构建预设故障阈值。
由于模型训练时只使用非故障数据，所以训练结束后，模型对非故障数据的重构性能较好，而对故障数据却不能进行很好地重构。在本发明中，使用隐空间重构误差作为故障检测依据，重构误差的公式为：
其中，lcon为隐空间重构误差，z为隐空间，
在本发明中，样本验证集的数据包括非故障数据和故障数据，通过样本验证集得到的样本隐空间包括非故障数据的样本隐空间和故障数据的样本隐空间，通过样本验证集得到的样本隐空间重构包括非故障数据的样本隐空间重构和故障数据的样本隐空间重构。
具体地，非故障数据的样本隐空间是由第一编码器对样本验证集中的非故障数据进行编码得到的，非故障数据的样本隐空间重构是由第二编码器对重构后的样本验证集中的非故障数据进行编码得到的，重构后的样本验证集中的非故障数据是由解码器对非故障数据的样本隐空间进行解码得到的，根据上述重构误差的公式，代入非故障数据的样本隐空间和非故障数据的样本隐空间重构，计算得到非故障数据的样本隐空间重构误差。
具体地，故障数据的样本隐空间是由第一编码器对样本验证集中的故障数据进行编码得到的，故障数据的样本隐空间重构是由第二编码器对重构后的样本验证集中的故障数据进行编码得到的，重构后的样本验证集中的故障数据是由解码器对故障数据的样本隐空间进行解码得到的，根据上述重构误差的公式，代入故障数据的样本隐空间和故障数据的样本隐空间重构，计算得到故障数据的样本隐空间重构误差。
进一步地，根据非故障数据的样本隐空间重构误差和故障数据的样本隐空间重构误差，构建预设故障阈值。
在本发明中，使用隐空间重构误差作为故障检测依据，小于预设故障阈值的数据为非故障数据，大于预设故障阈值的数据为故障数据。预设故障阈值以光网络故障检测模型检测结果的准确率为选取标准，光网络故障检测模型筛选出非故障数据和故障数据时的最高准确率对应的阈值为预设故障阈值。例如，光网络故障检测模型筛选出非故障数据的隐空间重构误差范围为0.1～0.5，筛选出故障数据的隐空间重构误差范围为0.3～1，选取0.3～0.5范围之间最大限度将非故障数据和故障数据分开的值作为预设故障阈值，即在0.3～0.5的范围内能使光网络故障检测模型的检测准确率最高时对应的阈值作为预设故障阈值，从而根据该预设故障阈值筛选出非故障数据和故障数据。
在本发明中，通过验证集获取预设故障阈值，采用基于半监督学习的光网络故障检测模型，仅在验证阶段使用较少的故障数据即可达到不错的检测效果，适用于不平衡数据集下的数据分类；同时使用隐空间重构误差作为故障检测依据，与预设故障阈值做比较，对不平衡数据集进行非故障和故障类型的分类，大大提高了模型的抗干扰性。
在上述实施例的基础上，在所述获取待检测的光网络性能数据之前，所述方法还包括：
对所述待检测的光网络性能数据进行数据预处理，所述数据预处理包括重复数据删除、缺失数据填充和数据整合。
在本发明中，从光网络中采集到的光网络性能原始数据质量比较差，存在数据重复、数据缺失和数据分散等情况，因此，需进行数据预处理，将数据进行删除、填充和整合处理，得到易于光网络故障检测模型训练的数据。
在一实施例中，利用测试集中的数据对光网络故障检测模型进行评估。由于数据集为不平衡数据集，所以评估指标选用f1值。测试之前，剔除掉数据集中由于单个特征值超出正常范围所导致的故障(显性故障)，只留下正常数据和隐性故障，以此来检测此模型对隐性故障的检测效果。
图3为本发明提供的非故障数据和故障数据的隐空间重构误差的效果示意图，参考图3所示，其中，图3(a)显示了正常数据在隐空间和重构隐空间之间的重构误差距离，图3(b)显示了故障数据在隐空间和重构隐空间之间的重构误差距离。由图可见，图3(a)中非故障数据的隐空间和重构隐空间之间的距离较为接近，表示两者间的重构误差距离较小(closedistancemeanssmallreconstructionerror)，而图3(b)中故障数据的隐空间和重构隐空间之间的距离较远，表示两者之间的重构误差距离较大(largedistancemeansbigreconstructionerror)。因而，正常数据的隐空间重构误差要明显低于故障数据的隐空间重构误差。经过测试集中的数据对光网络故障检测模型进行评估，最终此方法的准确率为0.9680，f1值为0.9224，表明本发明提出的光网络故障检测方法实现了良好的故障检测准确率和评估指标。
图4为本发明提供的光网络故障检测系统的结构示意图，如图4所示，本发明提供了一种光网络故障检测系统，包括数据采集模块401和故障检测模块402，其中，数据采集模块401用于获取待检测的光网络性能数据；故障检测模块402用于将所述待检测的光网络性能数据输入到训练好的光网络故障检测模型，获取所述待检测的光网络性能数据的隐空间重构误差，以根据所述隐空间重构误差和预设故障阈值，得到光网络故障检测结果，其中，所述训练好的光网络故障检测模型是由样本光网络性能数据，对改进的自编码器神经网络进行训练得到的，所述改进的自编码器神经网络包括第一编码器、第二编码器和解码器。
本发明提供的光网络故障检测系统，通过从光网络故障检测模型获取隐空间重构误差，然后根据隐空间重构误差和预设故障阈值得到光网络故障检测结果，提高了模型的抗干扰性，并基于改进的自编码器神经网络，便于更好地学习训练数据的数据模式，减小重构误差，提升异常检测的效果。
在上述实施例的基础上，所述系统还包括：
样本构建模块，用于根据样本光网络性能数据，构建原始空间样本集，所述原始空间样本集包括样本训练集和样本验证集，所述样本训练集中的样本光网络性能数据为非故障数据，所述样本验证集中的样本光网络性能数据包括非故障数据和故障数据；
训练模块，用于将所述样本训练集输入到所述改进的自编码器神经网络中进行训练，得到训练好的光网络故障检测模型。
本发明提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
图5为本发明提供的一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)501、通信接口(communicationsinterface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行光网络故障检测方法，该方法包括：获取待检测的光网络性能数据；将所述待检测的光网络性能数据输入到训练好的光网络故障检测模型，获取所述待检测的光网络性能数据的隐空间重构误差，以根据所述隐空间重构误差和预设故障阈值，得到光网络故障检测结果，其中，所述训练好的光网络故障检测模型是由样本光网络性能数据，对改进的自编码器神经网络进行训练得到的，所述改进的自编码器神经网络包括第一编码器、第二编码器和解码器。
此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的光网络故障检测方法，该方法包括：获取待检测的光网络性能数据；将所述待检测的光网络性能数据输入到训练好的光网络故障检测模型，获取所述待检测的光网络性能数据的隐空间重构误差，以根据所述隐空间重构误差和预设故障阈值，得到光网络故障检测结果，其中，所述训练好的光网络故障检测模型是由样本光网络性能数据，对改进的自编码器神经网络进行训练得到的，所述改进的自编码器神经网络包括第一编码器、第二编码器和解码器。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的光网络故障检测方法，该方法包括：获取待检测的光网络性能数据；将所述待检测的光网络性能数据输入到训练好的光网络故障检测模型，获取所述待检测的光网络性能数据的隐空间重构误差，以根据所述隐空间重构误差和预设故障阈值，得到光网络故障检测结果，其中，所述训练好的光网络故障检测模型是由样本光网络性能数据，对改进的自编码器神经网络进行训练得到的，所述改进的自编码器神经网络包括第一编码器、第二编码器和解码器。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
- 还没有人留言评论。精彩留言会获得点赞！