一种基于异常检测的联合监测调制格式和光信噪比的系统的制作方法

本发明属于光通信领域，具体涉及了一种基于异常检测算法的级联深度学习光性能监测技术。

背景技术：

由于互联网和每个人对数据容量的需求不断提高，光通信在近十几年里获得了蓬勃发展。为了满足数据流量增长所带来的巨大带宽需求，光纤通信网络目前已经发生了巨大的变化。提供高光谱效率的调制格式已经成功地与数字相干接收机结合使用，利用可重新配置光学分接多路复用器roadms，提供灵活的调制格式和带宽的弹性网络架构，以促进动态、透明的光纤传输。roadms的出现使得光纤通信网络情况变得极其复杂，因为它允许信号的路径动态变化，从而使可重构光纤网络中的缺陷变得依赖于路径和动态，因此在本质上是随机的。因此，获得光纤网络中的物理状态和通过网络传播信号的健康状况的实时信息非常重要。

评价光纤传输系统的性能，无论是来自光纤放大器噪声、色散、光纤非线性等，都可以抽象地由光信噪比osnr表征。在相干传输系统中，通常osnr和误比特率有直接关系。osnr对于自动故障监测和表征信号质量同样至关重要。现有的osnr监测技术包括传统的统计矩分析、误差矢量evm、延迟线监测dli等方法，以及基于机器学习的频谱图、星座图、幅度直方图、眼图等方案。除了osnr的监测，在下一代弹性光网络eon中传输参数的动态变化对接收机中的dsp算法提出了新的要求，要求接收机必须能够准确知道接收信号的类型。类似地，接收机中的载波恢复模块必须适合所接收信号的调制格式。以上都表明，在eon中的数字接收机对调制格式识别mfi是必不可少的。接收信号的调制格式信息可以使接收机采用最适合这些格式类型的算法。现有的传统mfi技术包括k-means算法、信号累积量、贝叶斯期望最大化法和基于深度学习的信号统计特征调制格式识别等算法。

受益于计算机计算能力的蓬勃发展，基于大规模数据学习的机器学习在自然语言处理、数据挖掘、图像识别和语音识别等领域大展身手。同时，机器学习也开始在光通信领域得到了广泛的应用，加快了光网络的发展演化，极大的促进了智能光通信的发展。目前机器学习主要应用在光性能监测、光网络管理、光网络故障监控和光信号测量与分析等领域。

机器学习技术作为一种强大的工具得到越来越多的关注。与传统的技术相比较，机器学习具有自我学习和自我演化的能力，随着未来光网络结构越来越复杂，通过人工干预进行光性能监测的方式将会变得越来越困难，代价越来越高。反观机器学习，只要产生新的数据就可以通过自我学习的方式来学习新的知识，因此采用机器学习的方式适用性更强。

光信噪比和调制格式是相干光通信系统中的两个关键参数，因为它们与自适应传输以及自动故障诊断有着直接的联系。传统的光性能监测方案中，当不同的物理损伤不可分割时就不能正常工作。而深度学习可以实现不同参数的监控，克服了监控的瓶颈。目前已有的光性能监控方案包括基于神经网络的单任务学习，该方案虽然结构简单但是不能对多个参数同时监控；还有基于人工神经网络的多任务学习，该方案可以实现同时监测，但估计不同参数其估计尺度不同，因而需要调整各个任务的加权系数，导致一些参数的估计精度下降；基于级联的监测网络包括两级级联网络，第一级网络首先识别一个参数，然后使用该参数的信息在第二级网络辅助识别其它参数，实现了结构简单、多个参数共同监测的效果。但是如果第一级网络未能正确识别信息，就会导致误差传递到二级网络，从而使得二级网络监测精度骤降。

技术实现要素：

本发明所要解决的技术问题是，为了弥补级联网络光性能监测中误差传递的问题，提供实现一种新型监测光性能参数的方法的系统。

本发明为解决上述技术问题所采用的技术方案是，一种基于异常检测的联合监测调制格式和光信噪比的系统，包括两级级联网络，

第一级网络包括预处理模块、调制格式识别网络以及异常检测网络，第二级网络包括光信噪比预测网络；

预处理模块用于对输入的需监测的光纤信号的序列数据转化为幅度直方图，一方面将幅度直方图输出至调制格式识别网络，另一方面对幅度直方图做差分运算得到差分运算幅度直方图，对幅度直方图进行累计分布运算得到累积分布结果，并将差分运算幅度直方图输出至光信噪比预测网络，将累积分布结果输出至异常检测网络；

调制格式识别网络包括一个深度神经网络dnn、熵运算模块与输出控制模块，dnn用于根据幅度直方图输出识别出的调制格式的分类结果至输出控制模块和熵运算模块；调制格式的分类结果为各调制格式的预测概率；熵运算模块用于通过对输入的各调制格式的预测概率作熵运算，熵值反映调制格式的分类结果的不确定度，将熵值与预设门限进行比较，当熵值大于等于预设门限时，使能异常检测网络，当熵值小于预设门限时，直接向输出控制模块发出未出现异常的判断结果；

异常检测网络用于根据输入的累积分布结果来判断调制格式的分类结果是否出现异常，并向将调制格式的分类结果是否出现异常的判断结果至输出控制模块；

输出控制模块接收来自于熵运算模块或异常检测网络的调制格式的分类结果是否出现异常的判断结果以及来自于dnn的调制格式的分类结果，当接收到出现异常的判断结果则丢弃当前的调制格式的分类结果，当接收到未出现异常的判断结果则根据当前的调制格式的分类结果在光信噪比预测网络中选择使能与当前的调制格式的分类结果相适应的预测子网络，将当前的调制格式的分类结果输出至光信噪比预测网络；

光信噪比预测网络包括n个并行的预测子网络，n为调制格式的分类总数，每一种调制格式的调制格式预测对应一个专用的预测子网络；被输出控制模块使能的预测子网络根据接收到的差分运算幅度直方图完成光信噪比预测得到并输出需监测的光纤信号的光信噪比值以及当前的调制格式。

本发明针对级联网络结构的缺陷，通过使用异常监测算法对数据统计特征进行监控，能够监控出一级网络中识别有误的情况，进而对这些错误估计重新处理，保证进入二级网络的标签都是准确的标签。

本发明的有益效果在于：解决了传统光学性能监测模块中一种算法只能监测一个参数，系统的复杂度高，适应性低的问题，还解决了级联网络监测结构中误差传递的问题。提供一种通过异常检测来自动监控误差传递，提高级联结构检测精度。可用于网络中间节点、光谱仪、光性能检测器等可以将信号采样进而进行统计特性分析的模块，进而嵌入到设备中进行智能信号分析和光学性能检测。

附图说明

图1为实施例实现联合监测的流程图；

图2为实施例中系统的逻辑实现示意图。

具体实施方式

下面结合附图和实施案例，对本发明的具体实施方式做进一步的详细描述，以下实施案例用来说明本发明，但不用来限制本发明的保护范围。

如图1所示，本发明系统实现联合监测的步骤如下：

步骤1、获取需监测的光纤信号的序列数据；对于训练过程，此时需要获取训练神经网络的原始信号数据集；

原始信号数据集获取的具体方法可以通过搭建的偏振复用实验平台或者仿真平台来实现：发射端的激光器分别产生n种调制格式的光载波并注入iq调制器，从而产生n种调制格式的光信号。产生的光信号输入至单模光纤中，使用光衰减器和光放大器控制光功率并加载光噪声后输出至接收端。在接收端，信号光滤波器后，经过双偏振相干接收机检测到电信号并进行采样，最后利用数字示波器采集数据并离线dsp处理数字信号。

步骤2、对数据进行预处理：将光纤信号的序列数据转化为幅度直方图ahs；对幅度直方图ahs进行一步差分得到差分运算幅度直方图diff(ahs)，对幅度直方图ahs进行累积分布运算得到累积分布结果cdf。cdf应用于异常检测，而diff(ahs)应用在二级网络光信噪比osnr预测。对于训练过程，将原始信号数据集的相位旋转的圆形星座图转化为100个间隔的幅度直方图ahs，再得到对应的cdf和diff(ahs)作为样本数据。样本数据共包含100*16*n组以及对应的n类调制格式标签以及光信噪比值的标签，可以随机选择80％作为训练集，其余20％作为测试集；100为生成的幅度直方图ahs数量；16为设置的osnr范围内数据采集次数，比如从10-25db每间隔1个db做一次数据采集，则完成16次采集；n为调制格式类型总数。

步骤3、将ahs输入到一级网络中进行调制格式识别；对于训练过程，输入的ahs都有一一对应的代表调制格式的标签，一级网络中的dnn模块利用反向传播的方式来逐步调整权重，使得网络可以拟合整个数据集完成调制格式识别部分的训练；将dnn模块的输出作熵运算entropy来判断输出调制格式的不确定度。dnn输出的调制格式的分类结果代表了每一个调制格式的预测概率，将各调制格式的预测概率的值作熵运算即可得到调制格式的分类结果不确定度的值，当熵值大于等于门限的时候代表了各个调制格式的概率相近，此时有可能一级神经网络预测错误，此时就需要异常检测来辅助判断一级网络输出结果；当熵值小于门限，则不需要再进行异常检测，则通知输出控制模块将当前的调制格式的分类结果输出至光信噪比预测网络；

步骤4、异常检测用于判断一级网络中调制格式识别是否准确；异常检测可以是一个基于knn的异常检测算法或者其它可以检测离群点的算法，可以将步骤三中错误分类的结果正确的检测出来。根据cdf进行异常检测，来比较当前的cdf与k个最近邻居之间的距离，一旦距离大于预先设定的阈值，表示一级网络没有准确估计调制格式，调制格式的分类结果出现异常，丢弃当前估计的调制格式。可选的，同时向系统交互界面发出警告。如果没有异常，即正确识别调制格式，则进入步骤5完成osnr监测。对于训练过程，输入的cdf同样有一一对应的代表调制格式的标签。

步骤5、二级网络接收来自于一级网络的diff(ahs)和识别出的调制格式，根据调制格式选择正确的光信噪比预测子网络；所述osnr预测网络是一系列的dnn网络，每一个调制格式都分配一个专用dnn网络，因为只用估计单一的调制格式下的osnr，因此这些网络都很简单，并且可以正确的估计osnr值。对于训练过程，输入至每一个的dnn网络的diff(ahs)同样有一一对应的osnr值的标签。

上述步骤结束后即可以得到带监测的光纤信号的信号调制格式和osnr值。

实现上述方法的系统的逻辑实现如图2所示，包括两级级联网络，第一级网络包括预处理模块、调制格式识别网络以及异常检测网络anomalydetection，第二级网络包括光信噪比预测网络dnn2-1、dnn2-2、…、dnn2-n；

预处理模块用于对输入的需监测的光纤信号序列数据转化为幅度直方图ahs，一方面将幅度直方图ahs输出至调制格式识别网络，另一方面对幅度直方图做差分运算得到差分运算幅度直方图diff(ahs)，对幅度直方图进行累计分布运算得到累积分布结果cdf，并将差分运算幅度直方图输出至osnr预测网络，将累积分布结果输出至异常检测网络。

调制格式识别网络包括一个深度神经网络dnn1、熵运算模块entropy与一个输出控制模块selector，dnn1包括1个输入层，2个隐藏层，1个输出层，隐藏层激活函数为leaky_relu，输出层激活函数为softmax。dnn1的输入层接收幅度直方图，softmax的输出调制格式分类结果至selector和entropy。entropy将表示为调制格式分类结果的各调制格式下的预测概率做熵运算，通过熵值与门限的比较来判断是否需要异常检测，若不需要异常检测则向selector输出调制格式的分类结果正常的判断结果。selector接收到正常的判断结果，则将接收到的调制格式的分类结果输出至osnr预测网络中与当前的挑战值格式相适配的预测子网络中；若需要异常检测，则使能异常检测网络，利用cdf进行异常检测。

异常检测网络用于利用cdf检测离群点。实施例使用基于knn的异常检测算法，比较当前的cdf与k个最近邻居之间的距离，一旦距离大于预先设定的阈值，则向selector发出调制格式的分类结果异常的判断结果，并向系统交互界面发出异常检测系统告警warning。selector接收到异常的判断结果后，丢弃当前的调制格式的分类结果。一旦距离小于等于预先设定的阈值，则向selector发出调制格式的分类结果正常的判断结果。selector接收到正常的判断结果，则将接收到的调制格式的分类结果输出至osnr预测网络中与当前的调制格式相适配的预测子网络中。对于训练过程，输入的cdf同样有一一对应的代表调制格式的标签。

光信噪比预测网络包括n个并行的小规模的深度神经网络#1dnn2、#2dnn2、…、#ndnn2，n为调制格式的分类总数，包括：一个输入层，一个隐藏层，一个输出层，隐藏层激活函数为leaky_relu，输出层为线性激活函数。输出层输出信号为光信噪比值。每一种调制格式的调制格式预测对应一个专用的深度神经网络dnn。光信噪比预测网络接收当前的调制格式的分类结果后，选择与当前的调制格式的分类结果相适应的深度神经网络dnn进行光信噪比预测得到光信噪比值。