一种多尺度的轮胎X光病疵检测方法与流程

本发明属于计算机视觉和工业检测技术领域，具体说是一种多尺度的轮胎x光病疵检测方法。

背景技术：

随着经济和社会的快速发展，轮胎工业在生活中扮演了越来越重要的角色，从2004年开始，我国的轮胎产量一直居世界第一位。轮胎的种类多样，一般分为斜交和子午线轮胎，子午线轮胎又分为半钢和全钢子午线轮胎，全钢子午线轮胎具有复杂的内部结构，对生产过程要求极其苛刻。生产过程中一旦出现操作不当、成型、压延和硫化大小不合理，又或者说设备老化，都会影响轮胎的最后质量。而轮胎的质量对汽车的安全起着至关重要的作用，所以对轮胎质量的把控十分关键。

检测轮胎质量的重要监测环节就是对轮胎拍摄x光图像，然后根据x光图像判别当前轮胎是否有某种病疵，最开始是由人工判别，现在已经提出使用深度神经网络模型进行自动判别，通过基于神经网络模型的轮胎x光病疵检测方法，可以检测到病疵的位置和类型。

但并不是所有的深度神经网络模型都对轮胎x光病疵的检测有很好的效果，fasterr-cnn(基于区域候选网络的实时目标检测)网络可以同时定位病疵并且分类出病疵类型，但是fasterr-cnn是在得到的最后一层特征图上进行特征提取，从而进行目标识别的。但是这样做存在的弊端在于，顶层特征中忽略了小物体的一些信息，因此只根据顶层特征进行目标识别，不能完整地反映小目标物体的信息。如果可以结合多层级的特征，就可以大大提高目标检测的准确性。所以需要一种融合多层特征的、多尺度的轮胎x光病疵检测方法。

技术实现要素：

鉴于上述，本发明提供了一种多尺度的轮胎x光病疵检测方法，可以大大提高病疵检测的准确性。

提供了一种多尺度的轮胎x光病疵检测方法，包括步骤如下：

s1、数据标注：将收集到的轮胎x光检测图片用labelimg工具进行标注，标注出病疵位置、病疵类型，所述病疵位置标注时用方框标出，所述病疵类型可分为多种，标注文件的类型为xml文件；

s2、图像预处理：将所述轮胎x光检测图片进行锐化处理得到预处理后的大图片；

s3、图像裁剪：将大小是20000×1900的所述预处理后的大图片分为11张1900×1900的小图，将相应的坐标位置进行变换，改写记录所述病疵类型以及坐标的xml文件；

s4、搭建fpn(特征金字塔网络)融合fasterr-cnn网络模型：；

s5、初始化模型：设置参数，所述参数包括输入图片后统一的大小、模型在searchselective(选择性搜索)阶段方框的大小与个数、模型训练的周期数；

s6、将图像数据集分为训练集、验证集和测试集：划分原则是所述训练集占70％，所述验证集和所述测试集各占15％；

s7、重复上述步骤s5、s6，可以训练得到多个模型，对所述多个模型进行测试分析，基于所述测试集进行测试，得到测试结果。

进一步的，步骤s4中fasterr-cnn网络原模型主要包括四部分：

1)convlayers(卷积层)提取特征图，使用一组基础的conv+relu+pooling(卷积+修正线性单元+池化)层提取输入图像的featuremaps(特征图)，该featuremaps会用于后续的rpn层和全连接层；

2)rpn(regionproposalnetworks，区域选择网络)，用于生成regionproposals(候选区域)，首先生成一堆anchorbox(锚盒)，对其进行裁剪过滤后通过softmax(归一化指数函数)判断anchors(锚)属于前景(foreground)或者后景(background)；同时，另一分支boundingboxregression(边框回归)修正anchorbox，形成较精确的proposal(侯选框)；

3)roipooling(侯选区域池化)层，利用rpn生成的所述proposals(侯选框)和vgg16(目视图像生成器16)最后一层得到的featuremap，得到固定大小的proposalfeaturemap(侯选框特征图)，进入到后面可利用全连接操作来进行目标识别和定位；

4)classifier(分类器)，将所述roipooling层形成固定大小的所述featuremap进行全连接操作，利用softmax进行具体类别的分类，同时，利用l1loss(l1损失函数)完成boundingboxregression(边框回归)回归操作获得物体的精确位置。

进一步的，步骤s4中fpn(特征金字塔网络)具体操作方法为：

1)自底向上路径，由多个卷积模块组成，每个所述卷积模块包含多个卷积层，自底向上的过程中，空间维度逐模块减半，每个所述卷积模块的输出将在自顶向下的路径中使用；

2)自顶向下路径，fpn使用一个1x1的卷积过滤器将最上面的卷积模块的频道深度降至256维，得到图像m5，接着应用一个3x3的卷积得到图像p5，所述图像p5用于目标预测的第一个特征映射；沿着自顶向下的路径往下，fpn对之前的层应用最近邻上采样，同时，fpn对自底向上通路中的相应特征映射应用1x1卷积，接着应用分素相加，应用3x3卷积得到目标检测的特征映射。

进一步的，步骤s6中包括：基于所述训练集进行模型的训练，基于验证集进行参数的调整，所述训练进行多次迭代，并采用k交叉验证方法进行参数配置的调整，所述训练到一定的周期，需要检查当前的所述参数配置是否是正确的，具体步骤如下：

1)在所述模型的训练过程中，获取所述模型在所述训练集和所述验证集上面的损失函数的函数值；

2)所述训练到一定的周期之后，暂时停止所述训练，并将当前的模型保存下来，方便以后继续所述训练；

3)画出所述训练集和所述验证集的损失函数值，横轴为周期数，纵轴为所述损失函数值，观察所述训练集和所述验证集上的所述损失函数值是否是一个正确的下降趋势；

4)如果步骤3)中是呈正确下降趋势，则不必调节参数，这时导入在步骤2)中保存的所述模型继续训练直至达到模型收敛；否则进入步骤5)；

5)如果损失函数的函数值没有呈正确的下降趋势，就找到原因，并调节所述参数，所述参数确定好之后回到步骤s5中。

本发明的有益效果在于：

(1)本发明采用多尺度的轮胎x光病疵检测方法，通过提取图像多层的特征，进行多尺度的融合，可以提高检测轮胎x光病疵的准确度；

(2)采用fpn融合fasterr-cnn的网络模型，fasterr-cnn提供了目标检测和识别的框架，但它是在得到的最后一层特征图上进行特征提取，从而进行目标识别的。但是这样做存在的弊端在于，顶层特征中忽略了小物体的一些信息，因此只根据顶层特征进行目标识别，不能完整地反映小目标物体的信息。如果可以结合多层级的特征，就可以大大提高多尺度检测的准确性，fpn实现了这一点，所以fpn融合fasterr-cnn的网络模型非常适用于x光病疵检测；

(3)轮胎作为汽车上的重要零部件，其生产质量关系到人的生命安全，轮胎x光病疵判别作为轮胎质量检测的最后一道关口，国内目前普遍采用质检人员进行质量监督，这种方式具有效率低，成本高，可靠性低以及对质检人员眼睛有损害等缺点。本发明通过多尺度的轮胎x光病疵检测方法自动检测判别轮胎病疵，从而对轮胎质量进行准确监督，非常具有实用意义。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本发明的一种多尺度的轮胎x光病疵检测流程示意图。

图2是本发明的fpn融合fasterr-cnn模型结构图。

图3是本发明的fpn数据流结构图。

图4是本发明的fpn具体操作流程示意图。

具体实施方式

以下将配合附图及实施例来详细说明本申请的实施方式，借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

本实例旨在按本方法实施得到一个多尺度的轮胎x光病疵检测系统。该实现过程包括收集轮胎x光检测图片、对图片进行标注、预处理图片、fpn融合fasterr-cnn模型搭建与训练、模型装载等步骤，具体实现过程如下：

(1)数据标注，用labelimg工具标注x光图像，标注出病疵的位置、类型，标注文件类型为xml文件，标注病疵时，位置用方框标出，类型的标注形式是a、b、c、d......，k，具体类型见表1：

表1病疵类型说明

(2)图像预处理。将原始图像进行锐化处理，原始图片有不清晰的地方，使用工具对这些部分进行锐化处理，使图片纹路更加清楚、病疵部分更加突出；

(3)图像裁剪。将大小是20000×1900的原始图片分为11张1900×1900的小图，将相应的坐标位置进行变换，改写记录病疵类型以及坐标的xml文件；

(4)搭建fpn融合fasterr-cnn网络模型，fasterr-cnn网络原模型主要包括四部分：

1)convlayers(卷积层)提取特征图：作为一种cnn网络目标检测方法，fasterr-cnn首先使用一组基础的conv+relu+pooling(卷积+修正线性单元+池化)层提取输入图像的featuremaps(特征图)，该featuremaps会用于后续的rpn层和全连接层；

2)rpn(regionproposalnetworks，区域选择网络):rpn网络主要用于生成regionproposals(候选区域)，首先生成一堆anchorbox(锚盒)，对其进行裁剪过滤后通过softmax(归一化指数函数)判断anchors(锚)属于前景(foreground)或者后景(background)，即是物体or不是物体，所以这是一个二分类；同时，另一分支boundingboxregression(边框回归)修正anchorbox，形成较精确的proposal(侯选框)(注：这里的较精确是相对于后面全连接层的再一次boxregression而言)；

3)roipooling(侯选区域池化)层：该层利用rpn生成的proposals(侯选框)和vgg16(目视图像生成器16)最后一层得到的featuremap，得到固定大小的proposalfeaturemap(侯选框特征图)，进入到后面可利用全连接操作来进行目标识别和定位；

4)classifier(分类器)：会将roipooling层形成固定大小的featuremap进行全连接操作，利用softmax进行具体类别的分类，同时，利用l1loss(l1损失函数)完成boundingboxregression(边框回归)回归操作获得物体的精确位置。

将上述fpn融合fasterr-cnn网络模型中的convlayers部分替换为基于resnet(深度残差网络)的fpn网络，替换后的模型结构如附图2所示。

fpn由自底向上和自顶向下两个路径组成。自底向上的路径是通常的提取特征的卷积网络(此处用resnet网络)。自底向上，空间分辨率递减，检测更多高层结构，网络层的语义值相应增加。自顶向下的路径，基于语义较丰富的层构建分辨率较高的层。尽管重建的层语义足够丰富，但经过这些下采样和上采样过程，目标的位置不再准确了。因此fpn在重建层和相应的特征映射间增加了横向连接，以帮助检测器更好地预测位置。这些横向连接同时起到了跳跃连接(skipconnection)的作用(类似残差网络的做法)。fpn数据流结构如附图3所示。

fpn网络具体操作如附图4所示，包括：1)自底向上路径，由很多卷积模块组成，每个模块包含许多卷积层。自底向上的过程中，空间维度逐模块减半(步长翻倍)。每个卷积模块的输出将在自顶向下的路径中使用。2)自顶向下路径，附图4中，fpn使用一个1x1的卷积过滤器将c5(最上面的卷积模块)的频道深度降至256维，得到m5。接着应用一个3x3的卷积得到p5，p5正是用于目标预测的第一个特征映射。沿着自顶向下的路径往下，fpn对之前的层应用最近邻上采样(x2)。同时，fpn对自底向上通路中的相应特征映射应用1x1卷积。接着应用分素相加。最后同样应用3x3卷积得到目标检测的特征映射。这一过滤器减轻了上采样的混叠效应。这一过程在p2后停止，因为c1的空间维度太高了。如果不停，依法炮制得到p1的话，会大大拖慢进程。

(5)初始化模型，设置好参数，包括输入图片后统一的大小(在本实施方式中，图片的长边可以是任意尺寸，但是短的一边为600pix)、模型在searchselective(选择性搜索)阶段方框的大小与个数、模型训练的周期数；

(6)将图像数据集分为训练集、验证集和测试集。划分原则是训练集70％，验证集和测试集各占15％。训练集中病疵的分布保持每种病疵原始的分布，测试集和验证集中也符合原始的病疵类型和等级的分布。基于训练集进行模型的训练，基于验证集进行参数的调整，训练进行多次迭代，并采用k交叉验证方法进行模型参数的调整。训练到一定的周期，需要检查当前的参数配置是否是正确的，具体步骤如下：

1)在模型的训练过程中，获取模型在训练集和验证集上面的损失函数的函数值。

2)训练到一定的周期之后，暂时停止训练，并将当前的模型保存下来，方便以后继续训练。

3)画出训练集和验证集损失函数的函数值，横轴为周期数，纵轴为损失函数的函数值；损失函数值可能没有下降，有可能下降的比较慢，有可能开始下降后来反而上升，需要观察训练集和验证集上的损失函数值是否是一个正确的下降趋势。

4)如果步骤3)中是呈正确下降趋势，则不必调节参数，这时导入在步骤2)中保存的模型继续训练直至达到模型收敛；否则进入步骤5)。

5)如果损失函数的函数值没有呈健康的下降趋势，就找到可能的原因，并调节参数，参数确定好之后回到上述步骤(5)。

(7)重复上述步骤(5)、(6)，可以训练得到多个模型，对多个模型进行测试分析，基于测试集进行测试，对测试结果不能用map(meanaverageprecision，平均准确度)作为评价指标，因为在轮胎x光检测这个实际问题上，我们并不需要病疵位置特别准确，重点是不能漏掉病疵。

评价结果的重心放在两方面，第一个方面是正常图片与病疵图片判断的准确性，首先要能够分类出哪些是病疵图片；第二个问题是在图片为病疵图片的情况下，该轮胎x光图片属于哪一种具体的病疵类型。因此我们采用的衡量指标主要是正常图片的查全率与查准率，以及病疵图片的具体病疵类型和等级判别的查准率和查全率。

对比所有的模型的查全率、查准率，选在在查全率和查准率都较高(查全率和查准率都大于85％)的模型作为最后的模型，这样的模型是泛化能力比较好的模型；如果没有这样的模型，则说明模型不可用，需要回到步骤(5)初始化模型，并且重新训练模型。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。