一种飞机零件识别与计数方法及检测系统与流程

1.本发明涉及一种检测技术，特别涉及一种飞机零件识别与计数方法及检测系统。


背景技术：

2.现有的大型民用飞机通常由数以万计的零件组装而成，飞机零件具有品种多、批量小、尺寸各异及曲线和曲面外形复杂等特点。目前，针对飞机零件的识别与计数任务大多采取人工比对的方式进行，由于飞机零件种类繁多，一些零件之间的区分度很小，人工分类计数方式不仅可靠性较差、识别准确性难以保证，而且工作效率低、强度高。
3.受传统视觉算法的性能所限，大规模的飞机零件识别与计数是一个至今无法得到有效解决的问题。由于计算机硬件的快速发展，硬件水平有所提升，近几年相关领域的研究重点就是将人工神经网络应用到工业化的生产领域中。深度学习模型性能优越，可以实现大规模的零件识别与计数，但它在飞机零件识别与计数应用也存在着瓶颈：各个飞机零件目标重叠与遮挡，尺寸各异以及光照强度存在差异等复杂条件因素干扰的情况下，传统上的目标检测与计数算法准确率不高、结果误差大，识别速度达不到预期水平。


技术实现要素：

4.针对飞机零件智能识别计数问题，提出了一种飞机零件识别与计数方法及检测系统，基于特征金字塔的目标检测网络训练飞机零件识别模型，通过训练好的飞机零件识别模型识别传送带上的零件，输出传送带上零件的类别名。
5.本发明的技术方案为：一种飞机零件识别与计数方法，视觉检测系统采集传送带上零件图像，零件图像送入训练后零件识别模型获得零件分类标签图像，零件分类标签图像输入由多分支深度卷积网络构成的飞机零件计数模型获得零件密度图，对零件密度图进行积分得到零件估计个数。
6.一种飞机零件识别与计数方法中零件识别模型训练方法，包括如下步骤：1)数据采集及增强：视觉检测系统采集传送带上零件图像，零件图像再通过平移、翻转、旋转，以及随机调整亮度、对比度对零件数据进行增强，获得零件图像数据集；
7.2)零件数据标注：采用labelimg标注软件对零件图像数据进行标注，框选出零件并标记各零件的名称，保存并输出标注文件，标注文件构成训练数据集，并将训练数据集划分为训练集和测试集，用于模型训练和测试验证；
8.3)构建零件识别网络：以darknet-53网络框架作为骨干网络，采用许多残差的跳层连接，darknet-53采用三种不同的特征尺度，对处于模型三个不同位置的目标，生成三种不同尺度的特征图，进行检测，采用滤波器对目标进行识别，空间金字塔池化作为网络颈部的附加模块，检测不同尺寸大小的目标，提取不同尺寸的空间特征信息；路径聚合网络作为网络颈部的特征融合模块，加速获取到细粒度的局部信息；
9.4)设置损失函数，将步骤2)训练集送入步骤3)零件识别网络进行训练，零件识别网络输出图中零件的类别名；
10.5)训练后零件识别网络使用测试集进行效果验证。
11.进一步，所述损失函数包含三个部分：预测框的中心坐标和宽高计算的损失l
box
、目标分类置信度造成的损失l
obj
、目标分类结果造成的损失l
cls
；所述l
box
由预测框相对于标注框中心坐标的偏移以及与标注框的宽度和高度差异造成的；所述l
obj
无论预测框中是否存在物体均计算分类置信度的损失，包括检测框中有物体和没有物体两部分的损失，这两部分的权重通过设定的参数λ确定；所述l
cls
目标分类结果损失计算的是目标的分类类别与其真实类别之间的差异，该部分使用交叉熵函数计算损失。
12.一种用于飞机零件识别与计数方法中的多分支深度卷积网络，由大尺度卷积核、中等尺度卷积核和小尺度卷积核三个卷积网络分支组成，三个卷积网络分支分别对输入图像中不同尺寸规格零件进行特征提取，三个卷积分支提取的原始图像特征堆叠得到合并特征图，再经过一个1
×
1的卷积映射到密度图。
13.优选的，所述多分支深度卷积网络进行零件计算训练时使用欧式距离来衡量预测结果密度图和标记值的差异，如下式所示：
[0014][0015]
n为输入图像数量；xi为输入图像；θ为模型中可学习的参数，用于调节整个网络训练过程；f(xi,θ)为模型最终得到的密度图；fi为标记值。
[0016]
一种飞机零件检测系统，包括运动控制模块、图像采集处理模块和机械控制模块，所述运动控制模块包括运送零件的传送带；所述图像采集处理模块包括ccd摄像机和计算机；所述机械控制模块为可上下滑动的滑架；ccd摄像机固定在滑架上，随着滑架上下移动，ccd摄像机拍摄不同分辨率的停放在传送带上的零件图像，ccd摄像机采集的不同分辨率的零件图像送计算机，计算机通过训练好的模型识别图片中零件的类别以及个数。
[0017]
本发明的有益效果在于：本发明一种飞机零件识别与计数方法及检测系统，可以大幅度提高飞机零件识别与计数效率，避免人为识别与计数或者传统识别计数方法造成的误差；同时不需要其他的成本投入，只需使用摄像头提取飞机零件平铺图像，通过软件算法对图片进行处理即可。
附图说明
[0018]
图1为本发明飞机零件检测系统结构示意图；
[0019]
图2为本发明基于特征金字塔的飞机零件识别技术流程图；
[0020]
图3为本发明基于多分支深度神经网络的飞机零件计数技术流程图。
具体实施方式
[0021]
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0022]
下面结合附图与具体实施方式对本发明提出的基于特征金字塔与多分支深度神经网络的飞机零件识别、计数、及检测作进一步详细说明。
[0023]
如图1所示飞机零件检测系统结构示意图，系统包括运动控制模块、图像采集处理
模块和机械控制模块，所述运动控制模块包括传送带，传送带负责运送零件；所述图像采集处理模块包括ccd摄像机和计算机，ccd摄像机负责采集传送带上运送零件的图像，计算机对采集的图像进行处理，得到图中零件的类别；所述机械控制模块为滑架，滑架可上下滑动，ccd摄像机固定在滑架上，随着滑架上下移动，拍摄不同分辨率的零件图像。系统启动时，传送带启动，开始运送零件，当零件运送到ccd摄像机下方指定位置时，传送带停止；ccd摄像机以及滑架开始采集不同分辨率的零件图像，计算机通过训练好的模型识别图片中零件的类别以及个数；之后传送带启动，继续运送零件，直到下一组零件到达指定位置，开始下一次识别与计数。
[0024]
一种基于特征金字塔与多分支深度神经网络的飞机零件识别与计数方法，包括飞机零件识别模型的训练；飞机零件计数模型的训练。
[0025]
飞机零件识别模型训练的具体过程如图2所示，主要包括如下步骤:
[0026]
本发明基于特征金字塔的目标检测网络训练飞机零件识别模型，通过训练好的模型检测图片中的零件，输出图中零件的类别名。
[0027]
零件数据的采集以及增强：首先利用ccd摄像机、传送带等搭建视觉检测平台，采集10000张零件的图片，之后对数据进行增强，增加输入图像的可变性，使训练出的识别模型具有更高的鲁棒性。
[0028]
零件数据的增强方式为：通过平移、翻转、旋转，以及随机调整亮度、对比度对零件数据进行增强。
[0029]
零件数据标注：采用labelimg标注软件对零件图像数据进行标注，框选出零件并标记各零件的名称，保存并输出标注文件，标注文件构成训练数据集，将训练数据集划分为训练集和测试集，其比例为8:2。
[0030]
零件识别模型的训练：针对生产线上的零件识别问题，搭建基于深度学习特征金字塔的零件识别网络，以darknet-53网络框架作为骨干网络，由53个卷积层构成的，采用了1
×
1和3
×
3的卷积核。darknet-53采用许多残差的跳层连接，因而能够降低梯度对模型产生的负面影响,darknet-53采用三种不同的特征尺度，可以对处于模型三个不同位置的目标，生成三种不同尺度的特征图，从而进行检测。模型在实现降采样操作时，采用步长为2的3
×
3卷积核，这样能够维持模型信息传递时的连贯性。darknet-53在处理目标过拟合问题时，采用大量的滤波器对目标进行识别，极大地减少了运算时的参数，使运算操作更简洁。空间金字塔池化作为网络颈部的附加模块，来检测不同尺寸大小的目标，提取不同尺寸的空间特征信息，可以提升模型对于空间布局和物体变性的鲁棒性；路径聚合网络作为网络颈部的特征融合模块，使得低层信息更容易传播到高层，路径聚合网络引入了一个捷径路径，其仅需10层就能抵达顶层使得顶层也能获取到细粒度的局部信息。损失函数包含三个部分：预测框的中心坐标和宽高计算的损失l
box
、目标分类置信度造成的损失l
obj
、目标分类结果造成的损失l
cls
。预测框中心坐标和宽高造成的损失表示如下：
[0031]
[0032]
其中，k
×
k为输入图片被划分后形成的的所有网格单元，被手动设置为13
×
13，26
×
26，52
×
52；m为每个网格包含的检测框数，是判断第i个网格单元中第j个检测框是否有检测的物体,如果有目标，其值为1，否则为0；xi,yi为真实框的位置，wi,hi为真实框的尺寸，ci为真实框的置信度；为检测框的位置，为检测框的尺寸；λ
coord
手动设置为0.5。
[0033]
上式表示此部分的损失是由预测框相对于标注框中心坐标的偏移以及与标注框的宽度和高度差异造成的。
[0034]
目标分类置信度造成的损失如下所示：
[0035][0036]
λ
noobj
被手动设置为0.5，为检测框的置信度，是判断第i个网格单元中第j个检测框是否有检测的物体,如果有目标，其值为0，否则为1。
[0037]
上式中无论预测框中是否存在物体都会计算分类置信度的损失，包括检测框中有物体和没有物体两部分的损失，这两部分的权重通过参数λ确定，参数λ是手动确定的，被设置为0.5。
[0038]
目标分类结果造成的损失如下所示：
[0039][0040]
其中pi(ci)为真实框的类别概率；为检测框的类别概率，class为类别数量。
[0041]
上式中目标分类结果损失计算的是目标的分类类别与其真实类别之间的差异，该部分使用交叉熵函数计算损失。综上可以将特征金字塔网络的的损失函数表示为：l＝l
box
+l
obj
+l
cls
[0042]
最后通过训练得到效果好的零件识别模型。
[0043]
本发明针对生产线上的零件识别问题，设置初始化参数，训练周期＝100000，批次大小＝16，学习率＝0.00261，动量＝0.949，最后输出训练好的网络模型。
[0044]
将零件识别模型得到的图像送入多分支深度卷积网络,识别不同大小的零件图像。此时需要预先加载imagenet预训练模型，防止因随机初始化导致的训练结果较差的问题。多分支深度卷积结构如图3所示。图3中示出了卷积层、池化层、输入零件图像、融合特征图像、生成的密度图之间的关系。多分支深度卷积网络由三个分支组成，第一行为大尺度卷积核，第二行为中等尺度卷积核，第三行列为小尺度卷积核，第一行、第二行和第三行所使用的卷积核分别为(9
×
9)，(7
×
7)，(7
×
7)，(7
×
7)；(7
×
7)，(5
×
5)，(5
×
5)，(5
×
5)以及(5
×
5)，(3
×
3)，(3
×
3)，(3
×
3)；由于零件图像大小不一，设计统一尺度的卷积核不利于识别
到较小或超大的零件图像，因此采用三个分支分别识别不同大小的零件图像。最后将卷积网络提取出的原始图像的特征(即卷积网络的输出)堆叠得到合并特征图，再经过一个(1
×
1)的卷积映射到密度图。此时使用欧式距离来衡量预测结果密度图和标记值的差异，如下式所示：
[0045][0046]
n为输入图像数量；xi为输入图像；θ为模型中可学习的参数，用于调节整个网络训练过程；f(xi,θ)为模型最终得到的密度图；fi为标记值。
[0047]
将模型得到的特征进行堆叠，再经过一个(1
×
1)的卷积层处理得到对应的密度图映射，对密度图进行积分即可得到估计个数。
[0048]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。