一种两阶段的轮胎X光病疵检测方法与流程

本发明属于计算机视觉和工业检测技术领域，涉及一种两阶段的轮胎x光病疵检测方法，是一种基于目标检测算法的疵检测方法，使计算机可以代替人工检测轮胎x光图像中的病疵。

背景技术：

轮胎拍摄x光属于轮胎制造过程的最后一个质量监控阶段，现在各大生产商一般都是采取三班轮换制来控制这个阶段的质量。具体的流程是，轮胎送到x光机通道，x光机给轮胎拍摄x光图像，质量监测人员在显示器前就看到x光图像，然后质检人员就会根据x光判断是否有病疵，如果有病疵则当前这条轮胎会送入到专门的通道进行处理，否则轮胎进入下一个流程。目前国内轮胎生产商的质检方式主要存在以下问题：

首先，效率比较低下，一个轮胎的x光图像一般都比较大，熟练的质检人员要完全判别一个轮胎是否有病疵都需要消耗数十秒的时间；其次，判别准确度不高，误判、漏判多，长期看显示屏屏幕人容易疲劳，在这种情况下，有可能出现将有病疵的图像判别为无病疵，造成漏判或者病疵类别判断错误，造成误判。误判和漏判这两种情况中最关键的是要解决漏判问题，这也是工业界最关心的一个问题，病疵类别判断错了，由于没有卖给商家，所以不会造成安全问题，但是漏判了，一旦到了商家手里就可能有安全隐患；最后，长期进行人工判别，对质检人员健康损伤较大。长期对着显示屏会对眼睛造成伤害，导致质检人员出现头晕目眩的情况。根据近三年的统计，人员检测x光图片的漏判率大约为2.3％，所谓的漏判率即将有病疵的图片判别为无病疵。

目标检测(objectdetection)是计算机视觉领域的基本任务之一，其在学术界的研究历史已有二十年。近些年随着深度学习的崛起，目标检测算法一般都是基于深度学习来完成的。目前目标检测主要分为两个阵营：二阶段目标检测算法和一阶段目标检测算法。二阶段目标检测算法需要先生成候选框，然后在候选框的基础之上进行细分类别和位置。二阶段目标检测算法的代表为fasterr-cnn。但fasterr-cnn有以下问题：

首先是fasterr-cnn容易把有病疵图片的图片判断为正常图片，这样虽然导致了fasterr-cnn在是否是病疵图片的查准率比较高，但是存在着过多的误判，查全率太低，而且对于工业应用来讲，有病疵的图片判断为无病疵比无病疵判别为有病疵的影响要大很多。

其次，查准率和查全率还需要提高很多。

技术实现要素：

针对现有质检方式存在的上述问题。本发明提供了一种两阶段的轮胎x光病疵检测方法。第一阶段先提出一些可能存在目标物体的区域，使用区域候选网络获得候选区域和区域的类别概率值，随后第二阶段将得到的候选区域和类别概率接入到分类器中，筛选并得到病疵及病疵所在位置。

一种两阶段的轮胎x光病疵检测方法，目标是输入轮胎x光图片，输出当前x光图像是否有瑕疵，是何种瑕疵，和病疵在图像中的位置，包括如下步骤：

(1)图像预处理。将用于训练和检测的轮胎x光图片转化为可输入模型的格式和大小；

(2)构建并初始化模型。本模型分为以下两阶段：

在第一阶段中，原始图像经过卷积神经网络之后得到一系列的特征图，然后特征图输入到区域候选网络(rpn)，区域候选网络提取特征图中可能含有物体的区域，即候选区域，并得到此候选区域的类别概率值；

在第二阶段中，将这些大小不一的候选区域送到感兴趣区域池化层(roipooling)统一尺寸，然后将其送入分类层进行分类，同时将在区域候选网络中得到的区域类别概率接入到分类器的展平层中，通过分类网络和回归网络得到病疵及病疵所在位置。

(3)基于训练集训练模型。

(4)将待检测轮胎x光图像输入模型中，得到是否有病疵和病疵所在位置。

本发明的有益技术效果在于：该两阶段的轮胎x光病疵检测方法可避免因为人的因素造成的轮胎检测效率低下，在主要解决漏判的情况下一定程度地解决误判问题，从而大大提高轮胎的安全性，并且能减轻质检人员的压力。

附图说明

图1为两阶段的轮胎x光病疵检测方法流程图；

图2为感兴趣区域池化层示意图；

图3为分类层部分网络结构图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施例子对本发明进行详细说明。

本实例旨在按本发明实现对轮胎x光图像的病疵检测。该方法流程包括图像预处理、模型训练、将待测图片输入模型等步骤，如图1所示，具体实现过程如下：

(1)图像预处理。本例共标注了40390张病疵图片，每张病疵图片标出所有病疵的位置以及病疵的类型。原始图片大小是2000*1900的大小，在标注病疵的时候是直接在原始图上标注的。由于算法计算力的限制，将其分为11张1900*1900的小图，小图之间会有一定的重叠(下一张与上一张图片大约重叠82个像素)，因此需要将相应的坐标位置进行从变换，改写记录病疵类型以及坐标的xml文件。由于图片的病疵非常稀疏，切图几乎不会造成病疵的遗漏。

将图片处理成voc文件格式，voc文件主要包含三个文件夹：第一个文件夹是annotations，这个文件夹里面存放的是描述图片中病疵类型和位置的xml文件；第二个文件夹是jpgimages，该文件夹主要存放的是所有的图片文件；第三个文件夹是imagesets，该文件夹下存放的是四个txt文件，分别是train.txt、val.txt、trainval.txt、test.txt，这四个文本文件分别记录训练图片，验证图片，训练验证图片和测试图片。

(2)构建并初始化模型。

在第一阶段中，首先输入1900*1900的图像，这个尺寸将会被压缩成600*600的输入大小。输入图片经过conv-relu-pooling结构的多层卷积神经网络，提取出特征图，供后续的区域候选网络和分类网络使用。卷积层采用vgg16模型，先将p×q的原始图片缩放到m×n的大小，然后经过13个conv-relu层以及四个最大值池化层。所有卷积层的核都是3×3的，填充值(padding)为1，步长(stride)也为1，这是为了保证每次卷积之后的输出特征图的尺寸和输入尺寸一致。池化层的核为2×2，填充值为0，步长为2，这是为了每次池化之后特征图尺寸减半。m×n的图片，经过卷积层之后，变成了(m/16)×(n/16)的特征图。然后，这些特征图会被送入区域候选网络。区域候选网络实际分为两个平行网络，一条通过归一化指数函数分类器(softmax)分类锚(anchors)获得前景和背景即有无病疵，另一条用于计算对于锚的边框回归偏移量，以获得精确的候选区域。最后综合含有病疵的锚和边框回归偏移量获取候选区域，同时剔除太小和超出边界的候选区域。在这一阶段中，输出的数据为候选区域以及区域的前景背景分类概率。

接下来将上一阶段中输出的候选区域以及区域的分类概率输入到第二阶段中。经过区域候选网络的特征图的大小是不一样的，但是由于最后的分类网络使用全连接层的原因，要求输入大小是固定的，因此区域候选网络输出的候选区域需要经过感兴趣区域池化层规范到统一的尺寸大小。该层的具体操作如图3所示，左图四个黑色区域中，每一个区域选择一个最大的数值，这样形成了右图的最后结果。具体操作为：根据输入的候选区域，将感兴趣的区域映射到特征图对应位置，然后将映射后的区域划分为相同大小的区段，最后对每个区段进行最大值池化的操作。最后将统一大小的候选区域以及分类概率输入至分类层中。首先将分类概率接入到展平层中，然后使用分类网络判断候选区域具体的病疵类别或者有无病疵，使用回归网络再次对边框进行回归得到更加精确的形状和位置。最后分类层将输出具体的病疵类别和病疵的位置。

(3)训练模型。此处将区域候选网络中使用的交叉熵损失函数改为焦点损失函数。因为轮胎x光图像中，每张图像的病疵数量都是很少的，绝大多数为背景，导致了训练区域候选网络的阶段，负样本(即背景)的数量远远大于正样本(即病疵)的数量。焦点损失函数的目的时减少背景样本的权重，从而使得模型在训练时更关注于病疵样本。焦点损失函数的定义为：fl(pt)＝-(1-pt)^γlog(pt)

其中pt是预测类别为t的概率，γ为平衡因子，本例取2。

由于轮胎检测的重点是不能漏掉病疵，因此不能使用map(meanaverageprecision)作为评价指标。评价指标的设定应考虑两方面，第一个方面是正常图片与病疵图片判断的准确性，这也是轮胎生产商最关注的一个问题；第二个问题是在图片为病疵图片的情况下，该轮胎x光图片属于哪一种具体的病疵类型。因此本例采用的衡量指标主要是判断是否是正常图片的查全率与查准率，以及病疵图片的具体病疵类型判别的查准率和查全率。这里使用的评价指标为iou(intersectionoverunion)，简单来讲就是模型预测的窗口与原来标记窗口的重叠率。理想情况下是预测的方框与真实标记完全一样，此时iou为1，iou示意图如图3所示。

根据轮胎生产商的需求，衡量一个算法的优劣主要有两个评价指标，一个是查准率一个是查全率。其中p代表查准率(precision)，r代表查全率(recall)，假设一个二分类问题，分别是正例和负例(正例即表示有病疵，负例为无病疵)。实际为正例，模型预测也为正例的称之为tp(truepositive)；实际为正例，模型预测为负例的称之为fn(falsenegative)；实际为负例，模型预测也为负例的称之为tn(truenegative)；实际为负例，模型预测为正例的称之为fp(falsenegative)。当以检测的边框为主体时，iou>＝0.3时模型预测是对的，即tp；当iou<0.3时认为模型预测错了，即fp。当以实际边框为主体时，当iou<0.3时认为模型未检测出该边框，即fn。p与r公式如下：

n(tp)为检测到的tp的数目，其余同理。

(4)将待检测的轮胎x光模型输入模型中，可得是否有病疵和病疵所在位置。

最后应说明的是，以上实例仅用以说明而非限制本发明的技术方案，尽管参照上述实例对本发明进行了详细说明，本领域的技术人员应当理解，依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或者局部替换，其均应涵盖在本发明的权利要求范围当中。