一种铁路接触网鸟巢的自动检测系统、方法及存储介质与流程

本发明涉及图像检测领域，尤其涉及一种铁路接触网鸟巢的自动检测系统、方法及存储介质，适用于铁路建设钟的铁路接触网鸟巢的检测。

背景技术：

在铁路建设的过程中，往往需要将铁路的接触网设备上的鸟巢进行排查，并将排查出来的鸟巢进行拆除或是转移等处理。

现有的检测方法主要是通过人工选择特征，使用传统机器学习方法进行识别，泛化性能较差，无法应对高铁路途中的复杂环境，且识别速度不够快。针对上述问题，本发明使用基于深度学习的目标检测系统对铁路接触网设备的鸟巢进行自动检测，无需人工提取特征，且检测速度较快。

技术实现要素：

本发明的目的是解决现有技术的不足，提供一种铁路接触网鸟巢的自动检测系统、方法及存储介质，能够获得无需人工提取特征就能够较快地对铁路接触网设备的鸟巢进行识别的效果。

为了实现上述目的，本发明采用以下的技术方案：

提出一种铁路接触网鸟巢的自动检测系统，所述系统包括：

摄像模块，所述摄像模块用于获取铁路的接触网设备图像；

处理模块，所述处理模块包括：

图像预处理单元，所述图像预处理单元用于对获取的接触网设备图像进行预处理操作得到第二图像；

特征提取单元，所述特征提取单元用于将第二图像进行特征提取自下而上地形成c1-c5层特征；

特征整合单元，所述特征整合单元用于将c1-c5层的各层特征进行卷积核运算，并通过fpn金字塔网络进行整合得到p2、p3、p4以及p5层的特征；

鸟巢判断单元，所述鸟巢判断单元用于通过分类与回归子网络结合p2、p3、p4以及p5层的特征对第二图像中是否存在鸟巢进行智能判断。

进一步，所述特征整合单元包括：

第一特征整合子单元，所述第一特征整合子单元用于将经过卷积核卷积后的c1-c5层的特征在fpn金字塔网络中以自上而下的路径以及横向连接的方式进行采样、特征融合的操作得到m2-m5层的特征；

第二特征整合子单元，所述第二特征整合子单元用于将m2-m5层的特征经过3*3卷积处理得到p2、p3、p4以及p5层的特征。

进一步，还包括pn层选择单元，所述pn层选择单元用于根据roi的尺寸来选择pn层。

还提出了一种铁路接触网鸟巢的自动检测方法，应用于上述的一种铁路接触网鸟巢的自动检测系统，包括以下：

获取铁路的接触网设备图像，并进行图像预处理操作得到第二图像；

将第二图像输入到resnet特征提取卷积神经网络进行特征提取，自下而上地形成c1-c5层特征；

对c1-c5层的各层特征进行卷积核运算，并通过fpn金字塔网络进行整合得到p2、p3、p4以及p5层的特征；

将得到的p2、p3、p4以及p5层的特征输入到分类与回归子网络，对第二图像中是否存在鸟巢进行智能判断。

进一步，上述的图像预处理操作具体包括以下：

对铁路的接触网设备图像进行图像增强处理得到第二图像，所述图像增强具体包括，

将输入图像进行水平方向的翻转，以0.5的概率进行随机翻转，对图像进行翻转后，对相应的groundtruthboxes和groundtruthlabels标签也应进行翻转；

将输入图像的最长边重新设置为640，并保证输入图像长宽比不变；

将输入图像通过padding＝0的方式，填充到640*640大小。

进一步，上述的通过fpn金字塔网络进行整合得到p2、p3、p4以及p5层的特征具体包括以下：

将经过卷积核卷积后的c1-c5层的特征在fpn金字塔网络中以自上而下的路径以及横向连接的方式进行采样、特征融合的操作得到m2-m5层的特征；

将m2-m5层的特征经过3*3卷积处理得到p2、p3、p4以及p5层的特征。

进一步，还包括根据roi的尺寸来选择pn层，其中n取2-4的范围，

其中，n0为基准值，设置为5，代表p5层的输出，w代表roi区域的长，h代表roi区域的宽。

进一步，上述对第二图像中是否存在鸟巢进行智能判断具体包括以下：

所述分类与回归子网络由分类分支以及回归分支构成，所述分类分支以及回归分支均为全卷积网络，且，所述分类分支的末端设置有sigmoid激活函数，所述sigmoid激活函数用于对候选框anchor进行分类，并通过anchor的分类结果判断所述第二图像中是否存在鸟巢。

进一步，还包括在进行上述对c1-c5层的各层特征进行卷积核运算，并通过fpn金字塔网络进行整合得到p2、p3、p4以及p5层的特征时，还会形成p6以及p7层的特征，所述p6层通过对p5层使用步长2的3*3卷积处理得到，所述p7层通过对p6层使用步长为2的3*3卷积处理得到。

还提出了一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述铁路接触网鸟巢的自动检测方法的步骤。

本发明的有益效果为：本发明使用基于深度学习的目标检测系统对铁路接触网设备的鸟巢进行自动检测，无需人工提取特征，且检测速度较快，十分具有实用性。

附图说明

图1所示为铁路接触网鸟巢的自动检测方法的流程图；

图2所示为铁路接触网鸟巢的自动检测方法的原理图；

图3所示为resnet和fpn的特征传递结构原理图；

图4所示为分类和回归子网络结构原理图。

具体实施方式

下面参照附图对本发明的优选实施例进行详细说明，在描述过程中省略了对于本发明来说是不必要的细节和功能，以防止对本发明的理解造成混淆。以下，以本发明应用于无线移动通信系统的场景为例，对本发明进行了详细描述。但本发明并不局限于此，本发明也可以应用于固定通信系统、有线通信系统，或者应用于无线移动通信系统、固定通信系统、有线通信系统等的任意混合结构。就移动通信系统而言，本发明并不局限于所涉及的各个移动通信终端的具体通信协议，可以包括(但不限于)2g、3g、4g、5g网络，wcdma、cdma2000、td-scdma系统等，不同的移动终端可以采用相同的通信协议，也可以采用不同的通信协议。本发明并不局限于移动终端的具体操作系统，可以包括(但不限于)ios、windowsmobile、symbian、安卓(android)等，不同的移动终端可以采用相同的操作系统，也可以采用不同的操作系统。

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。附图中各处使用的相同的附图标记指示相同或相似的部分。

结合图1、图2、图3以及图4，本发明提出一种铁路接触网鸟巢的自动检测系统，所述系统包括：

摄像模块，所述摄像模块用于获取铁路的接触网设备图像；

处理模块，所述处理模块包括：

图像预处理单元，所述图像预处理单元用于对获取的接触网设备图像进行预处理操作得到第二图像；

特征提取单元，所述特征提取单元用于将第二图像进行特征提取自下而上地形成c1-c5层特征；

特征整合单元，所述特征整合单元用于将c1-c5层的各层特征进行卷积核运算，并通过fpn金字塔网络进行整合得到p2、p3、p4以及p5层的特征；

鸟巢判断单元，所述鸟巢判断单元用于通过分类与回归子网络结合p2、p3、p4以及p5层的特征对第二图像中是否存在鸟巢进行智能判断。

作为本方案的优选实施方式，所述特征整合单元包括：

第一特征整合子单元，所述第一特征整合子单元用于将经过卷积核卷积后的c1-c5层的特征在fpn金字塔网络中以自上而下的路径以及横向连接的方式进行采样、特征融合的操作得到m2-m5层的特征；

第二特征整合子单元，所述第二特征整合子单元用于将m2-m5层的特征经过3*3卷积处理得到p2、p3、p4以及p5层的特征。

作为本方案的优选实施方式，还包括pn层选择单元，所述pn层选择单元用于根据roi的尺寸来选择pn层。

还提出了一种铁路接触网鸟巢的自动检测方法，应用于上述的一种铁路接触网鸟巢的自动检测系统，包括以下：

获取铁路的接触网设备图像，并进行图像预处理操作得到第二图像；

将第二图像输入到resnet特征提取卷积神经网络进行特征提取，自下而上地形成c1-c5层特征；

对c1-c5层的各层特征进行卷积核运算，并通过fpn金字塔网络进行整合得到p2、p3、p4以及p5层的特征；

将得到的p2、p3、p4以及p5层的特征输入到分类与回归子网络，对第二图像中是否存在鸟巢进行智能判断。

本方案中的resnet可以是resnet50、resnet101或者resnet152等一系列的resnet特征提取网络。

作为本方案的优选实施方式，上述的图像预处理操作具体包括以下：

对铁路的接触网设备图像进行图像增强处理得到第二图像，所述图像增强具体包括，

将输入图像进行水平方向的翻转，以0.5的概率进行随机翻转，对图像进行翻转后，对相应的groundtruthboxes和groundtruthlabels标签也应进行翻转；将输入图像进行水平翻转而不进行竖直翻转，这是因为，数据集中所拍摄的图像大多都是经过水平校准的，所以本实施方式对输入图像进行随机水平翻转处理。

将输入图像的最长边重新设置为640，并保证输入图像长宽比不变；

将输入图像通过padding＝0的方式，填充到640*640大小。

作为本方案的优选实施方式，上述的通过fpn金字塔网络进行整合得到p2、p3、p4以及p5层的特征具体包括以下：

将经过卷积核卷积后的c1-c5层的特征在fpn金字塔网络中以自上而下的路径以及横向连接的方式进行采样、特征融合的操作得到m2-m5层的特征；

将m2-m5层的特征经过3*3卷积处理得到p2、p3、p4以及p5层的特征。

通过增加p2层的特征，能够增强对较小目标的识别能力。

作为本方案的优选实施方式，还包括根据roi的尺寸来选择pn层，其中n取2-4的使用，

其中，n0为基准值，设置为5，代表p5层的输出，w代表roi区域的长，h代表roi区域的宽。

通过设定的roi的尺寸来选择pn层，使计算的结果更为精确。

作为本方案的优选实施方式，上述对第二图像中是否存在鸟巢进行智能判断具体包括以下：

所述分类与回归子网络由分类分支以及回归分支构成，所述分类分支以及回归分支均为全卷积网络，且，所述分类分支的末端设置有sigmoid激活函数，所述sigmoid激活函数用于对候选框anchor进行分类，并通过anchor的分类结果判断所述第二图像中是否存在鸟巢。

作为本方案的优选实施方式，还包括在进行上述对c1-c5层的各层特征进行卷积核运算，并通过fpn金字塔网络进行整合得到p2、p3、p4以及p5层的特征时，还会形成p6以及p7层的特征，所述p6层通过对p5层使用步长2的3*3卷积处理得到，所述p7层通过对p6层使用步长为2的3*3卷积处理得到。

本实施方式考虑到可能会存在一些较大目标，所以增设用于对较大目标进行处理的p6和p7层，使本方法能够检测的目标尺寸范围更广。

所述p2、p3、p4、p5、p6以及p7层的维度均为256。

还提出了一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述铁路接触网鸟巢的自动检测方法的步骤。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储的介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。