一种用于铁轨缺陷检测的无人机的制作方法

[0001]
本发明属于缺陷检测领域，具体涉及一种用于铁轨缺陷检测的无人机。


背景技术：

[0002]
当今，交通运输已经成为我们生活的一部分，特别是铁路运输。中国的铁路运输正处于飞速发展阶段，且列车的速度得到了极大提高，对铁路的安全性提出了很高的要求。因为天气、过重的运输负载等原因，铁轨会随着时间受到不同程度的损耗，包括几何结构缺陷、铁轨部件缺陷、铁轨表面缺陷，常见的铁轨表面缺陷包括疤痕、裂纹、波纹擦伤、褶皱、剥落、磨损、压陷等，如果不及时维护更换，会发展成内部缺陷，影响铁轨正常使用和威胁列车安全行使。
[0003]
在我国，长期以来轨道缺陷的检测一直依赖人工巡检和目测，效率低下；同时，检测结果受人为主观因素、天气光照等因素影响较大，会出现误检和一些微小缺陷的漏检，并且还不能实时检测。
[0004]
因此，如何实现对铁轨缺陷的高精度和高实时性检测，是本领域亟待解决的问题。


技术实现要素：

[0005]
为了实现对铁轨缺陷的高精度和高实时性检测，本发明实施例提供了一种用于铁轨缺陷检测的无人机。
[0006]
具体技术方案如下：
[0007]
一种用于铁轨缺陷检测的无人机，包括：
[0008]
动力系统，用以提供无人机飞行所需要的动力；
[0009]
飞行控制系统，与所述动力系统连接，用以控制无人机的姿态稳定、管理无人机执行任务、处理紧急状况；
[0010]
通信导航系统，与所述飞行控制系统连接，用于无人机工作过程中的信息传输；
[0011]
任务载荷系统，与所述飞行控制系统连接，且所述任务载荷系统中预装有铁轨缺陷检测方法的程序，根据所述方法确定铁轨缺陷的位置以及缺陷类别；
[0012]
发射回收系统，用以保证无人机顺利升空以达到安全的高度和速度飞行，并在执行完任务后从天空安全回落到地面。
[0013]
在本发明的一个实施例中，所述铁轨缺陷检测方法，包括：
[0014]
获取待检测的目标铁轨图像；
[0015]
将所述目标铁轨图像输入预先训练得到的改进型yolov3网络中，利用主干网络对所述目标铁轨图像进行特征提取，得到x个不同尺度的特征图；x为大于等于4的自然数；
[0016]
利用改进型fpn网络对所述x个不同尺度的特征图进行自顶向下、密集连接方式的特征融合，得到各尺度对应的预测结果；
[0017]
基于所有预测结果，得到所述目标铁轨图像的属性信息，所述属性信息包括所述目标铁轨图像中目标的位置和类别；
[0018]
其中，所述改进型yolov3网络包括顺次连接的主干网络、所述改进型fpn网络；所述改进型yolov3网络是在yolov3网络基础上，增加特征提取尺度、优化fpn网络的特征融合方式，以及进行剪枝及结合知识蒸馏引导网络恢复处理后形成的；所述改进型yolov3网络是根据样本图像，以及所述样本图像对应的目标的位置和类别训练得到的。
[0019]
在本发明的一个实施例中，所述改进型yolov3网络的主干网络，包括：
[0020]
串接的y个残差模块；y为大于等于4的自然数；y大于等于x；
[0021]
所述利用主干网络进行特征提取，得到x个不同尺度的特征图，包括：
[0022]
利用串接的y个残差模块对所述目标铁轨图像进行特征提取，得到沿输入逆向的x个残差模块输出的、尺度依次增大的x个特征图。
[0023]
在本发明的一个实施例中，所述利用改进型fpn网络对所述x个不同尺度的特征图进行自顶向下、密集连接方式的特征融合，包括：
[0024]
针对预测支路y
i
，从所述x个特征图中，获取对应尺度的特征图并进行卷积处理；
[0025]
将卷积处理后的特征图，与预测支路y
i-1
～y1分别经上采样处理后的特征图进行级联融合；
[0026]
其中，所述改进型fpn网络包括尺度依次增大的x个预测支路y1～y
x
；所述预测支路y1～y
x
的尺度与所述x个特征图的尺度一一对应；预测支路y
i-j
的上采样倍数为2
j
；i＝2、3，
…
，x；j为小于i的自然数。
[0027]
在本发明的一个实施例中，所述进行剪枝及结合知识蒸馏引导网络恢复处理，包括：
[0028]
对yolov3网络基础上增加特征提取尺度、优化fpn网络的特征融合方式后得到的网络中，主干网络的残差模块进行层剪枝，得到yolov3-1网络；
[0029]
对所述yolov3-1网络进行稀疏化训练，得到bn层缩放系数稀疏分布的yolov3-2网络；
[0030]
将所述yolov3-2网络进行通道剪枝，得到yolov3-3网络；
[0031]
将所述yolov3-3网络进行知识蒸馏，得到所述改进型yolov3网络。
[0032]
在本发明的一个实施例中，对所述改进型yolov3网络进行训练之前还包括：
[0033]
确定针对样本图像中锚盒尺寸的待聚类数量；
[0034]
获取已标注目标框尺寸的若干样本图像；
[0035]
基于已标注目标框尺寸的若干样本图像，利用k-means聚类方法，获得样本图像中锚盒尺寸的聚类结果；
[0036]
将所述聚类结果写入所述改进型yolov3网络的配置文件中。
[0037]
在本发明的一个实施例中，所述改进型yolov3网络还包括分类网络和非极大值抑制模块。
[0038]
在本发明的一个实施例中，所述基于所有预测结果，得到所述目标铁轨图像的属性信息，包括：
[0039]
对所有预测结果经由所述分类网络进行分类处理，再经由所述非极大值抑制模块进行预测框去重处理，得到所述目标铁轨图像的属性信息。
[0040]
在本发明的一个实施例中，所述分类网络包括softmax分类器。
[0041]
在本发明的一个实施例中，稀疏训练的损失函数为：
[0042][0043]
其中，表示网络原始的损失函数，(x,y)表示训练过程的输入数据和目标数据，w表示可训练的权重，为比例系数添加的正则项，g(γ)是对比例系数进行稀疏训练的惩罚函数，λ为权重。由于要使得比例系数γ具有稀疏性，惩罚函数选择l1范数。
[0044]
本发明提供一种用于铁轨缺陷检测的无人机，该无人机采用铁轨缺陷检测方法，通过改进型yolov3网络将特征图由浅到深进行传递，提取至少四个尺度的特征图，通过增加细粒度的特征提取尺度，让网络能够检测到不同尺度的缺陷，尤其是微小缺陷，同时实现对缺陷的精确分类。
[0045]
本发明的无人机通过改变fpn网络的特征融合方式，对主干网络提取的特征图采用自顶向下、密集连接的方式进行特征融合，将深层特征直接进行不同倍数的上采样，以此来使得传递的所有特征图具有相同的尺寸，将这些特征图和浅层的特征图通过串联的方式融合起来，可以利用到更多的原始信息，在浅层网络中也有高维语义信息的参与，有助于提高检测的精度；同时通过直接接收更浅层网络的特征，可以得到更加具体的特征，将有效的减少特征的损失，可以减少需要运算的参数量，提高检测速度，实现实时检测。
[0046]
本发明的无人机通过对预训练的网络进行层剪枝、稀疏化训练、通道剪枝，以及知识蒸馏处理，并在各个处理过程选取优化的处理参数，可以精简网络体积，摒除大部分的冗余计算，能够在维持检测精度的情况下大幅度提升检测速度。
[0047]
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
[0048]
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
[0049]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0050]
图1为本发明实施例提供的一种用于铁轨缺陷检测的无人机的结构示意图；
[0051]
图2为本发明实施例提供的一种铁轨缺陷检测方法的流程示意图；
[0052]
图3为现有技术中的yolov3网络的结构示意图；
[0053]
图4为本发明实施例所提供的改进型yolov3网络的结构示意图；
[0054]
图5-1为本发明实施例选择的参数组合5的权重偏移图；图5-2为本发明实施例选择的参数组合5的权重交叠图。
具体实施方式
[0055]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
[0056]
为了实现对铁轨缺陷的高精度和高实时性检测，本发明实施例提供了一种用于铁
轨缺陷检测的无人机。
[0057]
请参见图1，图1为本发明实施例提供的一种用于铁轨缺陷检测的无人机的结构示意图。如图1所示，本发明实施例提供的一种用于铁轨缺陷检测的无人机，包括：
[0058]
动力系统101，用以提供无人机飞行所需要的动力，使无人机能够安全进行各项飞行活动。
[0059]
所述动力系统101包括：电池、电机、电子调速器、螺旋桨，能够实现悬停，变速等功能。
[0060]
飞行控制系统102，与所述动力系统连接，用以控制无人机的姿态稳定、管理无人机执行任务、处理紧急状况。
[0061]
所述飞行控制系统102可以说是无人机的“大脑”，它对无人机的飞行性能起到决定性的作用。
[0062]
通信导航系统103，与所述飞行控制系统连接，用于无人机工作过程中的信息传输。
[0063]
所述通信导航系统103的功能主要包括：用以保证遥控指令能够准确传输，以及无人机能够及时、可靠、准确地接收、发送信息，以保证信息反馈的可靠性、精确度、实时性及有效性。
[0064]
任务载荷系统104，与所述飞行控制系统连接，且所述任务载荷系统中预装有铁轨缺陷检测方法的程序，根据所述方法确定铁轨缺陷的位置以及缺陷类别；
[0065]
发射回收系统105，用以保证无人机顺利升空以达到安全的高度和速度飞行，并在执行完任务后从天空安全回落到地面。
[0066]
以下主要针对任务载荷系统104中预装的铁轨缺陷检测方法进行说明，其余模块的具体结构可以参见相关现有技术，在此不再赘述。
[0067]
请参见图2，图2为本发明实施例提供的一种铁轨缺陷检测方法的流程示意图。如图2所示，本发明实施例所提供的一种铁轨缺陷检测方法，可以包括如下步骤：
[0068]
s1，获取待检测的目标铁轨图像；
[0069]
所述目标铁轨图像为图像采集设备针对待检测铁轨拍摄的图像。
[0070]
所述图像采集设备部署在无人机的任务载荷系统中，用以执行对铁轨缺陷的检测任务。
[0071]
所述图像采集设备可以包括摄像头、摄像机、照相机、手机等等；可选的实施方式中，图像采集设备可以为高分辨率摄像头。
[0072]
本发明实施例中，目标铁轨图像的尺寸为416
×
416
×
3。因此，在该步骤，一种实施方式中，可以直接从图像采集端获得416
×
416
×
3尺寸的目标铁轨图像；另一种实施方式中，可以获得图像采集端发送的任意尺寸的图像，再将获得的图像经过一定的尺寸缩放处理，得到416
×
416
×
3尺寸的目标铁轨图像。
[0073]
并且，在上述两种实施方式中，还可以对获取到的图像可以进行裁剪、拼接、平滑、滤波、边缘填充等图像增强操作，以增强图像中感兴趣的特征，扩展数据集的泛化能力。
[0074]
s2，将目标铁轨图像输入预先训练得到的改进型yolov3网络中，利用主干网络对目标铁轨图像进行特征提取，得到x个不同尺度的特征图；x为大于等于4的自然数；
[0075]
为了便于理解本发明实施例所提出的改进型yolov3网络的网络结构，首先，对现
有技术中的yolov3网络的网络结构进行介绍，请参见图3，图3为现有技术中的yolov3网络的结构示意图。在图3中，虚线框内的部分为yolov3网络。其中点划线框内的部分为yolov3网络的主干(backbone)网络，即darknet-53网络；yolov3网络的主干网络由cbl模块和5个resn模块串接构成。cbl模块为卷积网络模块，包括串行连接的conv层(convolutional layer，卷积层，简称conv层)、bn(batch normalization，批量归一化)层和激活函数leaky relu对应的leaky relu层，cbl即表示conv+bn+leaky relu。resn模块为残差模块，n代表自然数，如图2所示，具体地，沿输入方向依次有res1、res2、res8、res8、res4；resn模块包括串行连接的zero padding(零填充)层、cbl模块和残差单元组，残差单元组用res unit*n表示，含义是包括n个残差单元res unit，每个残差单元包括采用残差网络(residual network，简称为resnets)连接形式连接的多个cbl模块，特征融合方式采用并行方式，即add方式。
[0076]
主干网络之外的其余部分为fpn(feature pyramid networks，特征金字塔网络)网络，fpn网络又分为三个预测支路y1～y3，预测支路y1～y3的尺度分别与沿输入逆向的3个残差模块res4、res8、res8分别输出的特征图的尺度一一对应。各预测支路的预测结果分别以y1、y2、y3表示，y1、y2、y3的尺度依次增大。
[0077]
fpn网络的各个预测支路中均包括卷积网络模块组，具体包括5个卷积网络模块，即图3中的cbl*5。另外，us(up sampling，上采样)模块为上采样模块；concat表示特征融合采用级联方式，concat为concatenate的简称。
[0078]
yolov3网络中各个主要模块的具体构成请参见图3中虚线框下的示意图。
[0079]
本发明实施例中，改进型yolov3网络包括主干网络、改进型fpn网络；改进型yolov3网络是在yolov3网络基础上，增加特征提取尺度、优化fpn网络的特征融合方式，以及进行剪枝及结合知识蒸馏引导网络恢复处理后形成的；改进型yolov3网络是根据样本图像，以及样本图像对应的目标的位置和类别训练得到的。关于网络训练过程在后文中予以介绍。
[0080]
为了便于理解本发明方案，以下先对改进型yolov3网络的结构进行介绍。
[0081]
示例性的，请参见图4，本发明实施例中，主干网络至少提取4个尺度的特征图以进行后续预测支路的特征融合，因此，残差模块的数量y大于等于4，以便将自身输出的特征图对应融合进各个预测支路。可见，改进型yolov3网络相比于yolov3网络，明显在主干网络增加了至少一个更细粒度的特征提取尺度。请参见图3，相比于yolov3网络增加了提取沿输入逆向的第四个残差模块输出的特征图进行后续的特征融合。因此，主干网络沿输入逆向的四个密集连接模块分别输出对应的特征图，这四个特征图的尺度依次增大。具体的，各个特征图的尺度分别为13
×
13
×
72、26
×
26
×
72、52
×
52
×
72、104
×
104
×
72。
[0082]
当然，在可选的实施方式中，也可以设置五个特征提取尺度，即再增加提取沿输入逆向的第五个密集连接模块输出的特征图进行后续的特征融合，等等。
[0083]
具体的，针对s2步骤，得到x个不同尺度的特征图，包括：
[0084]
得到沿输入逆向的x个密集连接模块输出的、尺度依次增大的x个特征图。
[0085]
参见图3，即得到沿输入逆向的第一个残差模块至第四个密集连接模块分别输出的特征图，这四个特征图尺寸依次增大。
[0086]
本发明实施例的改进型yolov3网络将特征图由浅到深进行传递，提取至少四个尺
度的特征图，通过增加细粒度的特征提取尺度，让网络能够检测到不同尺度的缺陷，尤其是微小缺陷，同时实现对缺陷的精确分类。
[0087]
s3，利用改进型fpn网络对x个不同尺度的特征图进行自顶向下、密集连接方式的特征融合，得到各尺度对应的预测结果；
[0088]
以下结合图3的改进型fpn网络的结构，对其自顶向下、密集连接方式的特征融合方式进行介绍。
[0089]
改进型fpn网络包括尺度依次增大的x个预测支路y1～y
x
；预测支路y1～y
x
的尺度与x个特征图的尺度一一对应；示例性的，图3的改进型fpn网络有4个预测支路y1～y4，其尺度分别与前述的4个特征图的尺度一一对应。
[0090]
针对s3步骤，利用改进型fpn网络对x个不同尺度的特征图进行自顶向下、密集连接方式的特征融合，包括：
[0091]
针对预测支路y
i
，从x个特征图中，获取对应尺度的特征图并进行卷积处理；
[0092]
将卷积处理后的特征图，与预测支路y
i-1
～y1分别经上采样处理后的特征图进行级联融合；
[0093]
其中，预测支路y
i-j
的上采样倍数为2
j
；i＝2、3，
…
，x；j为小于i的自然数。
[0094]
参见图4，以i＝3也就是预测支路y3为例说明，其进行级联融合处理的特征图来源于三方面：第一方面，是从4个特征图中，获取对应尺度的特征图并进行卷积处理，也就是沿输入逆向的第三个密集连接模块输出的特征图经cbl模块后的特征图，该特征图也可以理解为经过1倍上采样，尺寸是52
×
52
×
72；第二方面来源于预测支路y2(即y
i-1
＝y2)，即沿输入逆向的第二个密集连接模块输出的特征图(尺寸是26
×
26
×
72)经过预测支路y2的cbl模块再经21＝2倍上采样处理后的特征图(尺寸是52
×
52
×
72)；第三方面来源于预测支路y1(即y
i-2
＝y1)，即沿输入逆向的第一个密集连接模块输出的特征图(尺寸是13
×
13
×
72)经预测支路y1的cbl模块后再经22＝4倍上采样处理后的特征图(尺寸是52
×
52
×
72)；那么，本领域技术人员可以理解的是，上述过程将其主干网络输出的3个不同尺度的特征图经过不同倍数的上采样处理后，可以使得待级联融合的3个特征图的尺寸一致，均为52
×
52
×
72。这样，预测支路y3可以在级联融合之后，继续进行卷积等处理，得到预测结果y3，y3尺寸为52
×
52
×
72。
[0095]
关于预测支路y2和y4的特征融合过程，请参见预测支路y3，在此不再赘述。而针对预测支路y1，其获取沿输入逆向的第一个密集连接模块输出的特征图后自行进行后续的预测过程，并不接受其余预测支路的特征图与之融合。
[0096]
原先的yolov3网络的fpn网络的特征融合方式中，使用的是先将深层和较浅层网络特征相加，再一起进行上采样的方法，这种方法在将特征相加后，要通过卷积层提取特征图，这样的操作会破坏一些原始的特征信息。而在本实施方式中，特征融合结合横向方式与自顶向下密集连接方式，在这种方式中，原有的自顶向下的方式变成了尺度较小的预测支路的特征图直接向每一个尺度较大的预测支路传递自身的特征，将特征融合方式变为了密集的融合方法，即深层特征直接进行不同倍数的上采样，以此来使得传递的所有特征图具有相同的尺寸。将这些特征图和浅层的特征图通过串联的方式融合起来，对融合的结果再次提取特征来消除里面的噪声，保留主要信息，然后进行预测，这样可以利用到更多的原始信息，在浅层网络中也有高维语义信息的参与。因此，这样可以发挥密集连接网络保留更多
特征图原始语义特征的优势，只不过对于自顶向下的方法来讲，保留的原始语义是更加高维的语义信息，这样可以对于物体的分类有帮助。通过直接接收更浅层网络的特征，可以得到更加具体的特征，这样将有效地减少特征的损失，并且可以减少需要运算的参数量，加速预测过程。
[0097]
以上，主要针对特征融合方式进行介绍，各预测支路在特征融合之后主要是利用一些卷积操作进行预测，关于如何获取各自的预测结果请参见相关的现有技术，在此不进行说明。
[0098]
本发明实施例的改进型yolov3网络中，4个预测支路共输出四个尺度的特征图，分别为13
×
13
×
72、26
×
26
×
72、52
×
52
×
72、104
×
104
×
72，最小的13
×
13
×
72的特征图上由于其感受野最大，适合较大的目标检测；中等的26
×
26
×
72特征图上由于其具有中等感受野，适合检测中等大小的目标；较大的52
×
52
×
72特征图上由于其具有较小的感受野，适合检测较小的目标；最大的104
×
104
×
72特征图上由于其具有更小的感受野，故适合检测再小的目标。可见，本发明实施例对图像的划分更加精细，预测结果对尺寸较小的物体更有针对性。
[0099]
以下对网络训练过程予以介绍。网络训练是在服务器中完成的，网络训练可以包括网络预训练、网络剪枝和网络微调三个过程。具体可以包括以下步骤：
[0100]
(一)，搭建网络结构；可以在yolov3网络基础上进行改进，增加特征提取尺度、优化fpn网络的特征融合方式，得到如图3的网络结构，作为搭建好的网络；其中m＝4。
[0101]
(二)，获得若干样本图像，以及样本图像对应目标的位置和类别。在该过程中，各样本图像对应目标的位置和类别是已知的，确定各样本图像对应目标的位置和类别的方式可以是：通过人工识别，或者通过其他图像识别工具识别等等。之后，需要对样本图像进行标记，可以采用人工标记方式，当然也可以利用其余人工智能方法进行非人工标记，这都是合理的。其中，各样本图像对应目标的位置是以包含目标的目标框的形式标记的，这个目标框是真实准确的，各个目标框标记有坐标信息，以此来体现目标在图像中的位置。
[0102]
(三)，确定样本图像中的锚盒尺寸；可以包括以下步骤：
[0103]
a)确定针对样本图像中锚盒尺寸的待聚类数量；
[0104]
在目标检测领域，锚盒(anchor box)就是从训练集中真实框(ground truth)中统计或聚类得到的几个不同尺寸的框；锚盒其实就是对预测的对象范围进行约束，并加入了尺寸先验经验，从而实现多尺度学习的目的。在本发明实施例中，由于希望加入更细粒度的特征提取尺度，需要利用聚类方式对样本图像中已经标注好的各个目标框(也就是真实框)的尺寸进行聚类，以得到适合本发明实施例场景的合适的锚盒尺寸。
[0105]
其中，确定针对样本图像中锚盒尺寸的待聚类数量，包括：
[0106]
确定每个尺度对应的锚盒尺寸的种类数；将每个尺度对应的锚盒尺寸的种类数与x的乘积，作为样本图像中锚盒尺寸的待聚类数量。
[0107]
具体的，在本发明实施中，选择每个尺度对应的锚盒尺寸的种类数为3；有4个尺度，那么，得到的样本图像中锚盒尺寸的待聚类数量＝3
×
4＝12。
[0108]
b)获取已标注目标框尺寸的若干样本图像；
[0109]
该步骤实际是获取样本图像中各个目标框的尺寸。
[0110]
c)基于已标注目标框尺寸的若干样本图像，利用k-means聚类方法，获得样本图像
中锚盒尺寸的聚类结果；
[0111]
具体的，可以将各个目标框的尺寸利用k-means聚类方法进行聚类，获得锚盒尺寸的聚类结果；关于聚类过程在此不再赘述。
[0112]
其中，对于不同锚盒距离的定义即为其宽高的欧式距离：
[0113][0114]
其中，d
1,2
代表两个锚盒的欧氏距离，w1，w2代表锚盒的宽，h1，h2代表锚盒的高。
[0115]
针对待聚类数量为12时，可以得到每个预测支路的锚盒尺寸。
[0116]
d)将聚类结果写入改进型yolov3网络的配置文件中。
[0117]
本领域技术人员可以理解的是，将聚类结果按照不同预测支路对应的锚盒尺寸，写入改进型yolov3网络的各预测支路的配置文件中，之后可以进行网络预训练。
[0118]
(四)，利用各样本图像，以及各样本图像对应目标的位置和类别，预训练搭建好的网络，包括以下步骤：
[0119]
1)将每一样本图像对应目标的位置和类别作为该样本图像对应的真值，将各样本图像和对应的真值，通过搭建好的网络进行训练，获得各样本图像的训练结果。
[0120]
2)将每一样本图像的训练结果与该样本图像对应的真值进行比较，得到该样本图像对应的输出结果。
[0121]
3)根据各个样本图像对应的输出结果，计算网络的损失值。
[0122]
4)根据损失值，调整网络的参数，并重新进行1)-3)步骤，直至网络的损失值达到了一定的收敛条件，也就是损失值达到最小，这时，意味着每一样本图像的训练结果与该样本图像对应的真值一致，从而完成网络的预训练，得到一个准确率较高的复杂网络。
[0123]
(五)，网络剪枝和网络微调；该过程也就是进行剪枝及结合知识蒸馏引导网络恢复处理。
[0124]
进行剪枝及结合知识蒸馏引导网络恢复处理，包括：
[0125]
①
在yolov3网络基础上增加特征提取尺度、优化fpn网络的特征融合方式后得到的网络中，对主干网络的残差模块进行层剪枝，得到yolov3-1网络；
[0126]
通常在对yolov3网络的简化处理过程中会直接进行通道剪枝，但是发明人在实验中发现，仅通过通道剪枝仍难达到速度快速提升的效果。因此在通道剪枝前加入了层剪枝的处理过程。
[0127]
具体的，该步骤可以对前述改进型yolov3网络中的主干网络的残差模块进行层剪枝，得到yolov3-1网络。
[0128]
②
对yolov3-1网络进行稀疏化训练，得到bn层缩放系数稀疏分布的yolov3-2网络；
[0129]
示例性的，将yolov3-1网络进行稀疏化训练，得到了bn层缩放系数稀疏分布的yolov3-2网络；可以包括：
[0130]
将yolov3-1网络进行稀疏化训练，训练过程中，为缩放因子γ添加稀疏正则化，稀疏化训练的损失函数为：
[0131]
[0132]
其中，表示网络原始的损失函数，(x,y)表示训练过程的输入数据和目标数据，w表示可训练的权重，为比例系数添加的正则项，g(γ)是对比例系数进行稀疏训练的惩罚函数，λ为权重。由于要使得比例系数γ具有稀疏性，惩罚函数选择l1范数。同时，由于不知道后一项所占比重，引入λ参数进行调整。
[0133]
由于λ的取值与稀疏训练的收敛速度相关，本发明实施例的应用场景为铁轨检测场景，其待检测的目标的种类数量可以设定为13种，远远小于原yolov3数据集中的80个种类，所以λ的取值可以选取较大的λ值，稀疏训练的收敛速度也不会很慢，同时也可以通过提高模型学习率的方法来进一步加快收敛；但是考虑到参数选取过大又会对网络模型的精度造成一定的损失，在不断调整学习率和λ参数后，最后确定将学习率为0.25
×
，λ为0.1
×
的组合作为稀疏化训练的优选参数组合。本发明实施例优选的学习率与权重组合对于系数训练过后的权重的分布更有利，且网络模型的精度也较高。
[0134]
③
将yolov3-2网络进行通道剪枝，得到yolov3-3网络；
[0135]
在稀疏化训练之后，得到了一个bn层缩放系数稀疏分布的网络模型，这就便于确定哪些通道的重要性更小。由此，可以剪去这些不太重要的通道，剪枝的方法是删除传入和传出连接以及相应的权重。
[0136]
对网络进行通道剪枝操作，修剪一个通道基本上对应于删除该通道的所有传入和传出连接，可以直接获得一个轻量化的网络，而不需要使用任何特殊的稀疏计算包。通道剪枝过程中，缩放因子充当频道选择的代理；由于它们与网络权重共同优化，因此网络可以自动识别无关紧要的通道，这些通道可以安全地移除而不会极大地影响泛化性能。
[0137]
具体的，该步骤可以包括以下步骤：
[0138]
在所有层的所有通道中设定一个通道剪枝比例，然后将yolov3-2网络中所有的bn层缩放系数按照升序排列，按通道剪枝比例剪掉排在前面的bn层缩放系数对应的通道。
[0139]
优选的实施方式中，通道剪枝比例可以为60％。
[0140]
通过通道剪枝，可以删去冗余的通道，减少计算量，加快检测的速度。
[0141]
但是在通道剪枝后，可能会由于参数减少而带来一些精度的下降，从不同的剪枝比例对网络精度的影响进行分析，如果网络剪枝比例过大，网络体积压缩更多，但也会造成网络精度的剧烈下降，会给网络准确率造成一定的损失，由此需要进行一个网络压缩比例与压缩后网络精度的权衡，因此引入知识蒸馏策略对网络进行微调，以使网络准确率回升。
[0142]
④
将yolov3-3网络进行知识蒸馏，得到改进型yolov3网络。
[0143]
经过剪枝，获得了一个更为紧凑的yolov3-3网络模型，然后需要进行微调使得精度恢复。这里引入了知识蒸馏的策略。
[0144]
具体的，对yolov3-3网络引入知识蒸馏，将前述复杂网络作为教师网络，yolov3-3网络作为学生网络，由教师网络引导学生网络进行精度恢复和调整，得到改进型yolov3网络。
[0145]
作为一种优选的实施方式，可以前述复杂网络的softmax层之前的输出结果除以温度系数，来使得教师网络最终输出的预测值软化，而后学生网络利用软化后的预测值作为标签来辅助训练yolov3-3网络，最终实现yolov3-3网络的精度与和教师网络相当；其中，温度系数是预先设定的值，不随网络训练发生变化。
[0146]
引入温度参数t的原因是，一个完成训练、精度很高的网络对于输入数据的分类结果，和真实的标签是基本一致的。以三分类为例，真实已知的训练类别标签是[1,0,0]，预测结果可能会是[0.95,0.02,0.03]，和真实的标签值是非常逼近的。因此，对于学生网络来讲，使用教师网络的分类结果辅助训练和直接利用数据进行训练，差别不大。温度参数t可以用来控制预测标签的软化程度，即可以增加教师网络分类结果的偏差。
[0147]
将添加了知识蒸馏策略的微调过程和一般的微调过程进行对比，经过知识蒸馏调整恢复的网络精度更高。
[0148]
通过对预训练的网络进行层剪枝、稀疏化训练、通道剪枝，以及知识蒸馏处理，并在各个处理过程选取优化的处理参数，得到精简的网络，该网络体积大幅缩小，摒除了大部分的冗余计算，经过该步骤后得到的网络即为后续对目标铁轨图像进行检测的改进型yolov3网络，基于该网络的检测速度可以得到大幅度的提升，而且能够维持检测的精度。可以满足对检测实时性高的要求，由于网络体积小，对资源需求小，完全可以部署在图像采集端的图像采集设备中。
[0149]
s4，基于所有预测结果，得到目标铁轨图像的属性信息，属性信息包括目标铁轨图像中目标的位置和类别；
[0150]
改进型yolov3网络还包括分类网络和非极大值抑制模块；分类网络和非极大值抑制模块串接在fpn网络之后。
[0151]
基于所有预测结果，得到目标铁轨图像的属性信息，包括：
[0152]
对所有预测结果经由分类网络进行分类处理，再经由非极大值抑制模块进行预测框去重处理，得到目标铁轨图像的属性信息；
[0153]
其中，分类网络包括softmax分类器。目的是实现多个缺陷类别互斥的分类。可选的，分类网络也可以沿用yolov3网络的logistic回归进行分类，以实现多个独立的二分类。
[0154]
非极大值抑制模块用于进行nms(non_max_suppression，非极大值抑制)处理。用于在重复框选同一目标的多个预测框中，排除置信度相对较小的预测框。
[0155]
关于分类网络和非极大值抑制模块的内容，可以参见现有技术相关说明，在此不再赘述。
[0156]
需要说明的是，图3为了简化，其中并未示出分类模块和非极大值抑制模块。
[0157]
针对每一目标，检测结果的形式为一向量，包含预测框的位置、预测框内缺陷的置信度、预测框内目标的类别。预测框的位置用来表征目标在目标铁轨图像中的位置；具体的，每个预测框的位置用bx,by,bw,bh四个值表示，bx,by用于表示预测框的中心点位置，bw,bh为用于表示预测框的宽和高。
[0158]
本发明实施例中的目标表征铁轨上的缺陷，目标的类别为目标所属缺陷的种类，比如疤痕、裂纹、波纹擦伤、褶皱、剥落、磨损、压陷等等。
[0159]
原有的yolov3网络中含有较多的卷积层，原因在于其针对的目标的类别较多，有80种。而在本发明实施例中，目标主要为铁轨上的缺陷，目标的类别数较少，那么，大量的卷积层是没有必要的，这样会浪费网络资源，降低处理速度。
[0160]
另外，可选的，改进型yolov3网络还可以是针对fpn网络中每个预测支路的卷积网络模块组中的k的数值进行调整后得到的，即将k从原有yolov3网络中的5减少为4或3，也就是将原有的cbl*5改为cbl*4或者cbl*3；这样也可以减少fpn网络中卷积层的数量，在不影
响网络精度的情况下，针对本发明实施例的目标铁轨图像，整体实现网络层数精简，提升网络处理速度。
[0161]
本发明实施例所提供的方案中，一方面，采用多个特征提取尺度，为小目标增加细粒度的特征提取尺度，能够提升目标铁轨图像中小目标的检测精度，因此能够实现对铁轨缺陷的精确检测、分类，并且能解决对小缺陷的漏检问题。另一方面，改变fpn网络的特征融合方式，对主干网络提取的特征图采用自顶向下、密集连接的方式进行特征融合，将深层特征直接进行不同倍数的上采样，以此来使得传递的所有特征图具有相同的尺寸，将这些特征图和浅层的特征图通过串联的方式融合起来，可以利用到更多的原始信息，在浅层网络中也有高维语义信息的参与，有助于提高检测的精度；同时通过直接接收更浅层网络的特征，可以得到更加具体的特征，将有效的减少特征的损失，可以减少需要运算的参数量，提高检测速度，实现实时检测。又一方面，通过对预训练的网络进行层剪枝、稀疏化训练、通道剪枝，以及知识蒸馏处理，并在各个处理过程选取优化的处理参数，可以精简网络体积，摒除大部分的冗余计算，能够在维持检测精度的情况下大幅度提升检测速度。
[0162]
以下结合发明人的实验过程，对本发明实施例的网络改进及对铁轨图像检测性能进行说明，以便于深入了解其性能。
[0163]
本发明针对于稀疏化训练，学习率和μ可以此消彼长的进行调整，以保证收敛速度和精度。本方案尝试不同学习率和μ的取值，如表2所示。通过比较γ权重分布情况图，最终选取参数组合5。参数组合5的γ权重分布图请参见图5-1和5-2。图5-1为参数组合5的权重偏移图；图5-2为参数组合5的权重交叠图。
[0164]
表2不同的学习率和λ组合
[0165]
组合学习率λ11
×1×
21
×
0.1
×
30.1
×1×
41
×
0.025
×
50.25
×
0.1
×
[0166]
事实上，本文最初的实验设计，并不包含对网络层的剪枝过程，原计划直接进行通道剪枝。但是，根据通道剪枝的结果分析，发现有超过半数的密集连接层的权重都很接近于0，因此按照通道剪枝的规则，整层的通道都将被剪去。这就表明，在前面设计的4个残差模块中，存在有冗余的单元，因此在通道剪枝前，可以进行层剪枝来大幅降低冗余，而后再做相对更细粒度的通道剪枝。由于超过半数的密集连接单元都是冗余的单元，层剪枝的做法是，将残差模块经过层剪枝后得到yolov3-1网络。
[0167]
之后，对yolov3-1网络进行稀疏化训练，得到bn层缩放系数稀疏分布的yolov3-2网络；
[0168]
将yolov3-2网络进行通道剪枝，得到yolov3-3网络；
[0169]
通道剪枝比例可以为60％，这是由于待检测的目标铁轨图像中数量较少的目标种类在网络压缩过程中受到影响比较大，这就会直接影响map，因此，要从数据集和网络压缩比例方面来考虑。对数据集的处理，本发明的实施例选择合并数量较少的目标的种类来使得不同种类的数量达到均衡，或者是直接采用种类分布更加均衡的数据集，这与本发明实
施例的应用场景相吻合。另外就是控制压缩比例，保证数量较少的种类的预测精度不会下降太多。
[0170]
除了从精度来分析压缩的影响外，还要考虑检测时间和模型压缩比例的关系，通过对不同剪枝比例处理的网络模型不同平台上(在tesla v100服务器和jetson tx2边缘设备)的上进行道路图像检测的时间进行仿真，根据仿真结果可以发现，不同网络压缩比例对于检测的时间影响很微弱，而对于nms(非极大值抑制)所需时间影响较大，在压缩比例达到60％之前，检测速度随着网络压缩而加快，但是压缩比例超过60％后，检测速度反而出现了减慢。由此，最终选定通道剪枝比例为60％。
[0171]
将yolov3-3网络进行知识蒸馏，得到改进型yolov3网络。
[0172]
同时，对本发明的改进型yolov3网络和基于原始yolov3网络的检测性能进行仿真，结果如表2所示。
[0173]
表2改进型yolov3网络模型和原始yolov3的检测性能对比
[0174]
网络map模型大小检测时间(tesla v100)yolov30.73236m42.8ms改进型yolov30.852222m36.3ms
[0175]
从表2可以看出，在对原始yolov3网络通过增加细粒度的特征提取尺度，并且采用密集连接的fpn代替原横向连接的fpn后形成的改进型yolov3网络，其检测精度提升16.7％，模型体积也相对变小，检测速度提升了15％。
[0176]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0177]
对于电子设备以及计算机可读存储介质实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0178]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0179]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0180]
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。