基于小样本学习网络的相敏光时域反射仪数据处理方法

1.本发明涉及相敏光学时域反射仪(ф-otdr)数据处理技术领域，尤其涉及一种基于小样本学习网络的相敏光时域反射仪数据处理方法。


背景技术：

2.相敏光学时域反射仪(ф-otdr)可以应用于周界安防、铁路轨道行车安全、地质灾害监测预警和水下物体监测(洋流、鱼群、船只、海底地质变动等)，以及其他大距离大范围振动、扰动事件监测预警。近年来，越来越多的研究集中在利用机器学习的方法处理ф-otdr数据，并进行扰动事件分类。
3.但现有的机器学习方案的缺点在于：网络模型的训练需要大量的数据，而在实际的应用中往往会存在部分类别的样本数量少的情况。例如，在铁路周界安防中，某一特定类异常扰动(例如在铁路行车安全中的扣件松动、砂浆离缝等)信号数据往往较少，且为了保证安全往往在出现较大故障前会被排除，同时，实际应用中又无法等采集足够多异常数据后，再训练网络实现扰动分类并预警。此外，在应用中还存在需新增仅含少量样本的事件类别的情况，传统机器学习方案通常需重新训练整个网络，并且由于其样本数量过少，网络的分类效果远远难以满足需求。


技术实现要素：

4.本发明的实施例提供了一种基于度量的小样本学习网络的相敏光时域反射仪数据处理方法，以实现有效地对ф-otdr中的扰动事件进行分类。
5.为了实现上述目的，本发明采取了如下技术方案。
6.一种基于度量的小样本学习网络的相敏光时域反射仪数据处理方法，包括：
7.对待分类的相敏光时域反射仪ф-otdr数据进行数据预处理，得到待分类的ф-otdr数据的图像；
8.获取现有的ф-otdr数据的所有类别数据和标签，将现有的ф-otdr数据分为训练集和测试集，训练集中包括部分类别的ф-otdr数据，测试集中包括所有类别的ф-otdr数据；
9.利用相似领域中的数据对特征提取网络进行预训练，得到预训练好的特征提取网络模型和参数；
10.利用预训练的特征提取网络构建基于度量的小样本学习网络，将所述待分类φ-otdr数据样本预处理后输入所述小样本学习网络，并通过度量所述数据样本分别与支撑集中的每个类别的φ-otdr数据样本之间的距离，确定所述数据样本对应的类别，并评估网络训练效果调整网络结构和参数，最终获取训练好的基于度量的小样本学习网络；
11.将所述待分类的ф-otdr数据的图像输入到所述训练好的基于度量的小样本学习网络中，所述训练好的基于度量的小样本学习网络输出所述预处理后的待分类的ф-otdr数据的类别信息。
12.优选地：利用相似领域的数据对特征提取网络进行预训练，得到预训练好的特征提取网络模型和参数，然后再使用本领域的数据对所构建的基于度量的小样本学习网络参数进行训练和微调，以提升准确率、缩短训练耗时。
13.优选地：所述的对待分类的ф-otdr数据进行数据预处理，得到待分类的ф-otdr数据的图像，包括：
14.对待分类的ф-otdr数据进行差分和降噪处理，将ф-otdr数据进行灰度映射处理得到灰度图像或者进行rgb映射得到彩色图像。
15.优选地：所述的获取现有的ф-otdr数据的所有类别数据和标签，将现有的ф-otdr数据分为训练集和测试集，训练集中包括部分类别的ф-otdr数据，测试集中包括所有类别的ф-otdr数据，包括：
16.采集了现有的一定数量的n个类别的ф-otdr事件样本，其中m个类别中的每类有2n个事件样本，另外的n-m类别中的每类有n个事件样本。有2n个事件样本的m个类别中每类抽出n个事件样本作为训练集，测试集由所有n个类别中的n个事件样本组成。
17.优选地：所述的利用相似领域的数据对特征提取网络进行预训练，得到预训练好的特征提取网络模型和参数，包括：
18.选取卷积神经网络cnn或长短时记忆网络lstm为特征提取网络，利用相似领域的数据对特征提取网络进行预训练，所述特征提取网络获取ф-otdr数据中的事件样本时频特征，当时频特征提取的准确度达到要求后，获取预训练好的特征提取网络。
19.优选地：所述的利用预训练的特征提取网络构建基于度量的小样本学习网络，将所述待分类φ-otdr数据样本预处理后输入所述小样本学习网络，并通过度量所述数据样本分别与支撑集中的每个类别的φ-otdr数据样本之间的距离，确定所述数据样本对应的类别，并评估网络训练效果调整网络结构和参数，最终获取训练好的基于度量的小样本学习网络，包括：
20.利用预训练好的特征提取网络构建基于度量的小样本学习网络，再使用本领域的数据对所构建的基于度量的小样本学习网络参数进行训练和微调，利用现有的所有类别中的设定数量的ф-otdr数据样本构建小样本学习网络的支撑集，将待分类样本作为小样本学习的测试样本，小样本学习网络为支撑集和测试样本分别构建相同的编码器，支撑集和一个测试样本构成一个测试任务；
21.所述特征提取网络在一个测试任务过程中利用cnn或lstm网络分别提取支撑集数据和测试样本的时域特征，分别计算出测试样本的时频特征与支撑集中每个类别的ф-otdr数据样本的时频特征之间的余弦距离或欧式距离，通过softmax层选取最小的距离对应的类别信息作为所述测试样本的分类结果；
22.当利用所述测试集验证所述基于度量的小样本学习网络对测试样本分类的准确度达到要求后，获取训练好的基于度量的小样本学习网络。
23.由上述本发明的实施例提供的技术方案可以看出，本发明方法通过在ф-otdr领域引入小样本学习的方法，可以实现在训练样本极少(小于一百个)的情况下得到不错的ф-otdr数据的分类准确率。利用小样本学习可以在新的异常扰动首次发生后，让该异常扰动作为一个新的类加入到测试集里参与测试，能够快速得到该异常扰动的分类结果。
24.本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变
得明显，或通过本发明的实践了解到。
附图说明
25.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1为本发明实施例提供的一种基于度量的小样本学习网络的相敏光时域反射仪数据处理方法的处理流程图；
27.图2为本发明实施例提供的一种小样本学习的数据集示意图；
28.图3为本发明实施例提供的一种基于度量的小样本学习网络示意图。
具体实施方式
29.下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
30.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当本发明称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。此外，此处cnn可以包括cnn的相关变体，例如：lenet、alexnet，vgg，resnet、densenet、inception、googlenet、attention cnn等，lstm可以包括lstm的相关变体，例如：bilstm，tree-lstm、graph lstm、gs-lstm等。此外，此处基于度量的网络可以采用余弦距离、欧式距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、标准化欧式距离等变体。
31.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
32.为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
33.本发明提出基于小样本学习的方法对网络进行训练，实现扰动事件的分类。具体的，本发明是利用小样本学习的中基于度量(metric based)网络实现扰动事件的分类，所谓基于度量的小样本学习网络，是通过度量batch集中的样本和support集中样本的距离，借助最近邻的思想完成分类的网络。本发明实施例提供的一种基于度量的小样本学习网络的相敏光时域反射仪数据处理方法的处理流程如图1所示，包括如下的处理步骤：
34.步骤s10：数据预处理工作：首先对待分类的ф-otdr数据进行差分和降噪，然后由
于计算机视觉领域的数据集是三通道彩图，ф-otdr数据是二维(时间维、空间维)浮点型数矩阵，故需要将ф-otdr数据映射为图像，可将ф-otdr数据使用三个滤波器分别进行处理，转换为三通道彩图，或者，将ф-otdr数据进行灰度映射处理得到灰度图(单通道)。上述待分类的ф-otdr数据可以为新出现的ф-otdr的扰动事件的监测结果数据。
35.步骤s20：获取现有的ф-otdr数据的所有类别信息，将现有的ф-otdr数据分为训练集和测试集，训练集中包括部分类别的ф-otdr数据，测试集中包括所有类别的ф-otdr数据。
36.步骤s30：预训练：可以使用卷积神经网络(convolutional neural network，cnn)或长短时记忆网络(long short-term memory，lstm)作为特征提取网络。为了解决在新扰动发生时不用整体重新训练网络的需求，同时提高准确率，利用相似领域的数据对特征提取网络进行预训练，达到指定精度后，得到预训练好的特征提取网络模型和参数。
37.步骤s40：利用预训练好的特征提取网络构建基于度量的小样本学习网络，利用现有的所有类别中的设定数量的ф-otdr数据样本构建小样本学习的support set(支撑集)，将待分类样本作为小样本学习的query set(测试样本)，将测试样本中的ф-otdr数据进行数据预处理后，输入到所述基于度量的小样本学习网络，所述基于度量的小样本学习网络通过度量所述测试样本分别与支撑集中每个类别的ф-otdr数据样本之间的距离，确定所述测试样本对应的类别信息，并评估网络训练效果调整网络结构和参数。当利用所述测试集验证所述匹配网络对测试样本分类的准确度达到要求后，获取训练好的基于度量的小样本学习网络。
38.步骤s50:将预处理后的待分类的ф-otdr数据输入到训练好的基于度量的小样本学习网络中，所述训练好的基于度量的小样本学习网络输出所述预处理后的待分类的ф-otdr数据的类别信息。
39.具体的，上述步骤s10包括：首先是差分(使扰动数据更加明显，排除掉采集信号的系统造成的噪声，从而提高识别准确率)和降噪(可采用压缩感知或小波降噪)。本发明中所采集的ф-otdr数据需要映射为图像，可将ф-otdr数据转换为三通道彩图，或者进行灰度映射处理得到0～255的灰度图，再将其放进网络。
40.具体的，上述步骤s20包括：图2为本发明实施例提供的一种小样本学习的数据集示意图。
41.在实际应用中，ф-otdr数据集的样本数量和类别都是按情况灵活设置的，作为本发明实施例的一个特例，本发明利用ф-otdr系统采集并构建了数据集，其包含六类(攀爬、机器挖掘、浇水、人工挖掘、背景、摇晃)，三类作为测试和训练共用类别，每类160个样本，另外三类作为测试样本，每类80个样本。本发明将三类扰动信号(攀爬、机器挖掘、浇水)每类80个作为训练集；使用新的三类(人工挖掘、背景、摇晃)还有训练集中三类的新样本，每类80个作为测试集。
42.对于相敏光学时域反射仪(ф-otdr)的实际应用过程，其不同于计算机领域的图片数据集，由于本发明需要检测的振动类型有限，能提供的总样本类别也就有限。并且由于其应用领域的特殊性，本发明不仅要关注新的类别，训练时的旧类别也应该加入最终的分类过程，因为在实际应用场景中训练集中的“旧”类的异常扰动依旧会发生，有持续监测的必要，这就需要对传统的基于度量的小样本学习网络进行调整。如果直接将训练集的样本
加入测试集，得出的结果会影响网络对新类别分类性能的评估，所以在测试阶段本发明选取和训练集同类别的新样本和新类别一起放入测试集进行分类。对于原基于度量的小样本网络模型，设共有n类数据，它随机抽取其中m类样本作为训练集，剩下的n-m类别作为测试集，即它并没有对训练集的类别进行分类的需求。本发明对此作出的调整是：设共有n类数据，其中m类每类有2n个样本，剩余n－m类(新增类别)每类有n个样本，有2n个样本的m类每类抽出n个样本作为训练集，测试集有所有类(n类，每类n个样本)。由于原基于度量的网络随机抽取样本作为训练集和测试集，会导致测试时抽取到训练集中的样本，所以本发明对网络作出修改，取消其生成训练集、测试集时的随机性，本发明所提出的网络可以同时检测原有类别和新增类别。
43.具体的，上述步骤s30包括：本发明将图2所示的基于度量的小样本学习网络的一个特例。此范例中，特征提取网络使用的是cnn网络，特征提取网络能从时域和空域两个维度上较好地提取扰动信号的特征，特征提取网络还可以选取cnn的变体，包括：lenet、alexnet，vgg，resnet、densenet、inception、googlenet、attention cnn等，以及长短时记忆网络(lstm)及其变体，包括：bilstm，tree-lstm、graph lstm、gs-lstm等。
44.本发明还增加了预训练和fine tuning(微调)环节，本发明使用已有的大量数据(例如：在铁路异常检测的应用中，本发明可以用其他铁路采集到的数据，甚至是其他领域采集到的数据)对一个基础网络进行预训练。该基础网络由cnn和全链接层(fc)组成，用于特征提取，本发明将训练完的网络及得到的参数用作图3中的cnn。增加这个环节的意义在于：基于度量的小样本学习网络是在特征域对相似度进行计算的，因此特征提取环节对准确率的影响至关重要，原先的网络训练由于目标域训练集和测试集的数据量太小，网络很难学习到如何更加有效地提取特征，而预训练环节可以在训练前，使用相似领域的数据先对网络提取特征的能力进行训练，保证本发明在进行正式训练时提取到的特征的有效性，从而提升了准确率，也解决了不用重新训练整个网络就可以对新事件进行划分的问题。fine tuning(微调)环节是将预训练完后模型cnn的前若干层的结构以及它们训练后的权重参数冻结并保存，在训练基于度量的小样本学习网络使用其结构并且读取训练后的权重参数，在将其放入网络时会出现维度不匹配的问题，需要对其作出适应性调整。微调时可以选择要冻结的层数，通过多次实验，选出提取特征的有效性最高的特征提取模型结构。
45.具体的，上述步骤s40包括：利用训练好的特征提取网络构建基于度量的小样本学习网络，再使用本领域的数据对所构建的基于度量的小样本学习网络参数进行训练和微调。基于度量的小样本学习网络包括特征提取网络cnn，距离度量模块和softmax层。
46.利用现有的所有类别中的设定数量的ф-otdr数据样本构建小样本学习网络的支撑集(support set)，将待分类样本作为小样本学习的测试样本(query set)，小样本学习网络为支撑集和测试样本分别构建相同的编码器。小样本学习网络一个测试任务过程中利用编码器分别提取支撑集数据和测试样本的时域特征，分别计算出测试样本的时域特征与支撑集中每个类别的ф-otdr数据样本的时域特征之间的距离，通过softmax层选取最小的距离对应的类别信息作为所述测试样本的分类结果。
47.距离度量：然后通过距离度量部分计算support set和query set的特征的距离，此处距离计算方法包括：基于余弦距离、欧式距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、标准化欧式距离等。以余弦距离为例，由于特征实际上是个矩阵，故求特征之间的余
弦距离也就是求两个特征矩阵的余弦距离，公式如下：
48.最后通过softmax层，将同类预测值相加，取最高的一类(相似度最大)，作为分类结果。网络结构如图3所示。
49.下面以一个简单的例子来阐述一下网络的训练过程，从上面的网络结构图中可以看出左边3个扰动信号(机器挖掘、人工挖掘、锻压厂噪音)和下方的1个扰动信号(机器挖掘)，其中3个扰动信号便是一个支撑集(support set)，1个扰动信号是测试样本(即query set)，一个support set和一个测试样本便是一个task。模型训练的过程中会将单个support set和一个测试样本作为输入同时进行特征提取，之后通过距离度量计算它们的相似度，再使用softmax层分类(取相似度最大值)得到最终的预测值(计算应得出测试样本与机器挖掘的相似度值最大，故输出属于机器挖掘这类)。在实际的应用场景中，传感器采集到的异常(扰动信号)即为一个query set，将其输入到网络中，网络可判断出该扰动信号属于support set中的哪一类。
50.在基于度量的小样本学习网络采用分类的平均准确率评估网络性能，本发明使用基于度量的网络对上文提到的ф-otdr数据集中扰动信号进行分类，训练集平均准确率约为90％-95％，测试集平均准确率约为70％-80％。虽然有的传统机器学习算法在ф-otdr的扰动分类方面准确率能达到95％以上，但基于度量的小样本学习网络与传统机器学习网络有明显区别，区别在于：后者实现分类时，每类需要的样本数大概为几千个甚至上万个才能达到高准确率，而本发明的小样本学习网络每类仅有几十个样本，本发明结合预训练快速获得适应于新旧场景的分类网络，利用所述测试集验证所述匹配网络对测试样本分类的准确度达到要求后，获取训练好的基于度量的小样本学习网络。
51.本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
52.通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的ф-otdr光电系统硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘、优盘、移动硬盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
53.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
54.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，
都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。