基于改进CascadeR-CNN的布匹瑕疵检测方法与流程

本发明涉及基于图像处理的检测技术，具体涉及基于改进cascade r-cnn的布匹瑕疵检测方法。

背景技术：

1、布匹在生产过程中因操作不当或受到外部环境污染会产生各种瑕疵，传统布匹瑕疵的检测主要依赖人工目检，不仅效率低，而且质量不受控。近些年来，深度卷积神经网络(cnn)在图像分类、检测和分割等任务上大放异彩，许多学者围绕其应用进行了大量研究。目标检测领域的深度卷积神经网络模型可以分为两大类：二阶段网络与一阶段网络。二阶段网络比较典型的有faster r-cnn。一阶段网络比较典型的有yolo系列与ssd系列。上述现有的先进检测模型在检测精度和效率指标上也有待提高，特别是用于对布匹瑕疵进行检测时，针对小尺寸瑕疵或形态各异的瑕疵点，现有的模型其检测效果并不佳，因此，设计一种高效的自动化织物瑕疵检测方法来帮助检测是非常有必要的。

技术实现思路

1、本发明公开基于改进cascade r-cnn的布匹瑕疵检测方法，以cascade r-cnn作为基础检测模型，分别从特征提取网络、特征金字塔网络和rpn结构进行改进，使之更适合用于布匹瑕疵的检测，提高小尺寸瑕疵或形态各异的瑕疵点的检测效果。

2、为了实现上述目的，本发明所采用的技术方案为：

3、基于改进cascade r-cnn的布匹瑕疵检测方法，包括如下内容：

4、步骤1：构建改进cascade r-cnn模型；

5、改进cascade r-cnn模型包括依次连接的主干网络、特征融合层及检验分支层，采用resnext-50作为特征提取主干网络，采用改进融合策略的平衡特征金字塔作为特征融合层，检验分支层中每个级联的检测部分各自设置不同的iou阈值，并且自级联首端至尾端其iou阈值逐渐增大；

6、步骤2：对构建的改进cascade r-cnn模型进行训练，包括如下内容：

7、步骤2.1：将训练集图片输入改进cascade r-cnn模型，得到特征图ci；

8、步骤2.2：将特征图ci输入平衡特征金字塔进行重新调整、整合、提炼和加强处理，得到与原特征图相对应的加强特征图pi，本步骤2.2具体执行方法如下：

9、步骤2.2.1：从步骤2.1中得到特征图c2、c3、c4、c5，采用残差融合亚像素卷积方法对c5和c4进行上采样到c4和c3大小，同时将c4和c3进行1x1的卷积操作，并将该卷积结果与亚像素卷积后的结果进行特征融合，从而得到f4和f3,c2则通过1×1的卷积改变通道数与f3、f4一致后得到f2，再以上/下采样的方式进行特征融合，最终得到r2、r3、r4；

10、步骤2.2.2：获得平衡的语义特征的特征图i；

11、步骤2.2.3：对平衡的语义特征的特征图进行提炼操作，整合全局信息；

12、步骤2.2.4：对提炼得到的特征图片重新调整大小到与c2、c3、c4、c5相同，并进行两者相加，输出得到预测特征p2、p3、p4、p5；

13、步骤2.3：使用rpn网络生成候选框，并将候选框投影到加强特征图pi上，以获得相应特征层上的局部特征图的坐标信息b0；

14、步骤2.4：确定每个box定位到相应的pi后，再在pi上进行多尺度目标roi align操作，得到通道数×7×7维的特征向量；

15、步骤2.5：将2.4得到的特征向量输入第一检测头h1中，进行分类和回归得到预测类别c1和预测坐标b1；

16、步骤2.6：根据b1坐标，在pi上进行局部特征提取，将所提取的局部特征输入第二检测头h2，得到预测类别c2和预测坐标b2；

17、步骤2.7：根据b2坐标，在pi上进行局部特征提取，将所提取的局部特征输入第三检测头h3，得到预测类别c3和预测坐标b3，将c3和b3作为最终结果对瑕疵分类及定位；

18、步骤2.8：经过多轮循环迭代完成改进cascade r-cnn模型的训练；

19、步骤3：利用训练完成后的改进cascade r-cnn模型对布匹瑕疵进行检测。

20、进一步，所述步骤2中h1的iou设定为0.5，h2的iou设定为0.6，h3的iou设定为0.7。

21、进一步，所述步骤2.2.2具体方法如下：

22、首先，在c5中应用3×3卷积提取本地信息，同时，转换子像素上采样的通道大小，然后，采用子像素卷积来执行双重尺度上采样；

23、其次，将输入特征通过3×3的最大值池化缩小到w×h，并经过1×1卷积层以扩展通道大小，然后遵循4×上采样子像素卷积；

24、再次，在c5对全局上下文信息执行全局平均池化，之后，将1×1×8c的全局特征挤压为1×1×c并广播到4w×4h的尺寸，第一个和第三路径分别提取本地和全局上下文信息，最后，三个生成的特征映射通过元素方式求和聚合到i中。

25、进一步，所述步骤2.2.3具体方法如下：

26、首先，对输入的平衡的语义特征的特征图进行线性映射，得到通道数为原输入一半的三条支路特征θ、φ、g；合并上述三个特征除通道数外的维度，然后对θ和φ进行矩阵点乘操作，计算出特征中的自相关性；

27、然后，对自相关特征进行softmax处理，得到0～1的权重，该权重为自注意力系数；

28、最后，将自注意力系数对应乘回特征矩阵g中，然后再上扩展通道数,并与原输入平衡的语义特征的特征图做残差运算，最终获得输出。

29、进一步，所述步骤2.3具体方法如下：

30、步骤2.3.1：对pi上的每个3×3的滑动窗口计算出滑动窗口中心点，并计算出k个候选框；

31、步骤2.3.2：通过softmax函数判断锚框属于前景还是背景，再利用bounding box回归修正锚框获得精确的候选区域；

32、步骤2.3.3：对每个尺度的候选区域，依照置信度由大到小排序，提取固定数量的候选区域：对于训练阶段，若每个尺度的候选区域数量大于2千，则提取前2千个，否则就提取所有的候选区域；对于测试阶段，每个尺度的候选区域只取前1千个；然后对所有尺度下选出来的候选区域做非极大值抑制操作，并再次进行排序，最终选取分数最高的前300个候选区域作为最终的结果；

33、步骤2.3.4：计算每个特征图相对于网络输入的下采样倍率，通过levelmapper函数将不同大小的box定位到对应的pi，得到预测坐标b0。

34、进一步，所述步骤2.3.1中的候选框具体计算方法如下：

35、平衡特征金字塔输出4个不同大小的特征图p2、p3、p4、p5，为p5的特征图设置面积为256×256的预选框，p2预选框面积为32×32，p3预选框面积为64×64，p4预选框面积为128×128；对所有的特征图都设置以下9个长宽比的锚框，9个长宽比分别为0.02、0.05、0.1、0.5、1.0、2.0、10.0、20.0、50.0；

36、设置完锚框的(h，w)坐标后，需要设置锚框的中心点坐标(x，y)，对相应pi的锚点设置不同的中心点。

37、进一步，所述步骤2.5具体方法如下：

38、步骤2.5.1：将特征向量的通道数*7*7维转换为1024维的特征向量，将1024维的特征向量分别转换为类别得分和预测坐标信息；

39、步骤2.5.2：类别得分通过softmax函数获得类别概率，通过类别概率确定预测的类别；确定类别后，在预测坐标信息中得到对应类别的4个值，即dx、dy、dw、dh，上述4个值即为第二次bounding box回归需要的4个偏移值；

40、步骤2.5.3：返回最终预测的坐标b1及分类的概率c1。

41、本发明所公开的布匹瑕疵检测方法具有如下技术优势：

42、1)将resnext-50作为特征提取网络，比传统vgg16网络或resnet-50网络，可以学习到更加丰富的特征表达，采用组卷积将每个卷积核按照一定的规则分成几个组，每个组只从输入张量的一部分通道中提取信息，可以降低模型的计算复杂度，同时更好地利用通道之间的相关性，从而提高模型的泛化性和鲁棒性。

43、2)在resnext-50主干网络末端加入改进融合策略的平衡特征金字塔，特征提取网络中的浅层网络能够提取到尺寸更大且细节更多的特征图，深层网络能够提取到尺寸更小、包含信息更抽象、使用相同深度集成的平衡语义特征来增强多级特征，有效地利用了c5的信道信息，避免重复特征融合造成更严重的混叠效应，并且不会造成计算负担。

44、3)锚框机制是区域建议网络rpn的核心，本发明对不同的特征层设置不同锚框的大小，给出的比例设置更适合检验布匹瑕疵，合适的锚框可以更多地检测出待测目标；

45、4)本发明采用roialign技术并没有使用量化操作，不会引入量化误差，使用双线性插值算法有助于提高模型对尺寸较小和外形多变的疵点的检测效果，最终实现检测效果的提升。