一种令纸缺陷分割分类的检测方法与流程

本发明涉及图像处理及令纸缺陷检测技术领域，特别地涉及一种令纸缺陷分割分类的检测方法。

背景技术：

所述令纸(reampaper)在造纸工业中是指一定数量单位完全相同的纸页，一般以500张完全相同的纸页为一令纸，即成令的纸张。例如在办公用纸上，普通的a4打印纸一包纸一般为500页装。令纸在造纸企业自动化生产流水线上都需要经过质检筛选，将有缺陷的令纸产品剔除出生产流水线队列并让合格的正常令纸进入下一步包装工序。

大型造纸企业的机械化和自动信息化生产水平在日益提高，但是，令纸生产过程中由于来料、刀具、流水线各环节以及生产环境等一系列因素的影响会出现各种各样的缺陷，如：脏污、折皱、凸出、参差不齐、死纹、毛边等。这些缺陷的存在降低了纸品出厂的品质，对此造纸企业一般采用人工检查的方式来进行品质管理。但人工检查的方式抽检率低、准确性不高、实时性差、效率低、劳动强度大、受人工经验和主观因素的影响大，且工作重复、现场嘈杂、人员容易疲劳，无法对良品率做出有效统计，给信息化生产管理工作也带来很大的不便，检查的效果并不理想。

为了解决这个问题，部分造纸企业引入了令纸视觉检测系统，拍摄流水线上令纸的实时图像并进行一系列的图像处理操作(如：边缘检测、投影、阈值分割、纹理比对等)，从而找出有缺陷的令纸。但由于缺陷类别众多且表现各异，算法很难适应各种例外，以致较难达到实用的效果。

除了上述传统的令纸视觉处理方式，基于神经网络的深度学习分类方法也在推广使用，如目标检测分类方法等。目标检测分类方法有yolo系列、ssd(singleshotmultiboxdetector)算法、fasterr-cnn等，其中yolo和ssd在预测特定区域内是否有待检物体的同时进行物体的分类判断，而fasterr-cnn是对待检物体的可能位置进行检测，再截取相应位置的图片特征信息进行分类处理。由于令纸缺陷检测过程中缺陷的大小尺度跨度较大，大的缺陷可以占满整个令纸图像，小的缺陷仅仅是10几个像素大小，同时缺陷比例多种多样，难以用少量不同大小和比例的候选框来涵盖全部的情况。

针对上述问题，本发明提出一种令纸缺陷分割分类的检测方法，即先分割出令纸图像完整缺陷位置，再截取图像特征进行分类的令纸缺陷检测方法。

技术实现要素：

本发明提出的一种令纸缺陷分割分类的检测方法，为了解决令纸缺陷大小尺度跨度较大，难以用少量不同大小和比例的候选框来涵盖全部的情况的问题，本发明技术方案通过先分割出令纸图像完整缺陷位置，再截取图像特征进行分类，从而完成对令纸缺陷的快速准确检测。

为实现上述目的，本发明提供的一种令纸缺陷分割分类的检测方法，具体包括以下的实施步骤：

步骤s1、训练分割、分类网络模块：

1)分割网络模块训练：对令纸缺陷区域进行像素级标注，获得一定数量的标注数据集，对每个像素进行二分类，采用交叉熵作为基本loss函数，再适当调整函数侧重点，采用loss函数作为目标进行训练，训练分割网络学习得到令纸缺陷的表示特征，从而使网络能从输入的令纸图像中分割出令纸缺陷区域；

2)分类网络模块训练：分类网络包含4个子模块，分别对接分割网络中4级不同的网络层，分类网络模块的输入为h*w*c的特征张量，特征张量来自于对应网络层的roi特征，输出为令纸缺陷类别，结合令纸缺陷类别标签并采用多分类交叉熵和随机梯度下降的方法来完成分类网络子模块的训练。

步骤s2、将令纸图像输入到分割网络模块，采用encoder-decoder神经网络结构，通过encoder获取抽象的令纸缺陷特征，再在decoder过程中对缺陷特征逐步进行上采样，并同时融合encoder过程中对应网络层的特征信息，从而获得全局和局部相结合的特征，以便更有效地对令纸缺陷区域进行分割，获得像素级的令纸缺陷分割图；

步骤s3、进入roi计算模块：采用膨胀方法处理令纸缺陷二分类分割图，合并距离较近的缺陷点，再使用findcontours()方法从二分类分割图中找出令纸缺陷的外包裹曲线，再采用boundingrect()方法获取相应的能框出完整的令纸缺陷区域的外接矩形，最终得到缺陷外接矩形和其对应的合适的网络层编号；

步骤s4、进入roi信息提取模块：根据缺陷外接矩形在选定的网络层上提取对应特征，将不同尺寸的特征区域映射到h*w*c大小的特征张量，h为特征平面的高，w为特征平面的宽，c为特征通道数；

步骤s5、分类网络模块对令纸缺陷进行分类判定，设定分类类别数为k+1，包含k种缺陷类别和1种正常令纸类别，本模块中4个子模块分别对应不同的网络层，输入为h*w*c的特征张量，经过两层卷积处理后转换成1*1*(k+1)的特征张量，再通过softmax输出令纸缺陷类别，获得令纸缺陷的检测结果。

附图说明

图1是本发明令纸缺陷检测流程图；

图2是本发明令纸缺陷检测网络架构图；

图3是本发明网格插值计算示意图。

具体实施方式

为了使本发明的目的及技术方案更加清晰，以下结合附图，对本发明技术方案作进一步清楚、完整地描述。应当理解，此处所描述的具体技术实施例仅仅用以解释本发明的技术方案，本领域技术人员在没有作出创造性劳动前提下所获得的其他实施例，应属于本发明的保护范围。

参照图1所示是本发明令纸缺陷检测流程图，本发明提供的一种令纸缺陷分割分类的检测方法，具体包括以下的实施步骤：

步骤s1、训练分割、分类网络模块：

1)分割网络模块训练：对令纸缺陷区域进行像素级标注，获得一定数量的标注数据集，对每个像素进行二分类，采用交叉熵作为基本loss函数，再适当调整函数侧重点，采用loss函数作为目标进行训练，训练分割网络学习得到令纸缺陷的表示特征，从而使网络能从输入的令纸图像中分割出令纸缺陷区域；

2)分类网络模块训练：分类网络包含4个子模块，分别对接分割网络中4级不同的网络层，分类网络模块的输入为h*w*c的特征张量，特征张量来自于对应网络层的roi特征，输出为令纸缺陷类别，结合令纸缺陷类别标签并采用多分类交叉熵和随机梯度下降的方法来完成分类网络子模块的训练。

优选的，在步骤s1中，分割网络模块训练中所述的基本loss函数，公式为：

其中，n为一张图中的像素总数，i为像素点的序号，yi为该点的标签，0表示为正常像素，1表示为缺陷像素，pi表示将该点预测为缺陷像素的概率，α为类别平衡系数，用于修正缺陷像素和正常像素之间的不均衡问题，γ为抑制系数，用于抑制易分类像素对损失函数的贡献，从而提高难分类像素的分割效果，wi为该像素点的权重系数，用于调整小缺陷区域的训练权重从而提高对小缺陷的分割效果；

另外，w权重系数的计算方式为逐个图像计算，通过findcontours()方法求出标注图上单一缺陷的包裹曲线，再用contourarea()方法求出包裹区域面积a，将该包裹区域内的所有像素的权重统一按以下公式来设定：

w＝(at÷a)÷β

其中，at为输入令纸图像的总面积，a为令纸缺陷包裹区域面积，β为比例调节系数。

优选的，在步骤s1中，分类网络模块训练中所述的包含4个子模块，这些子模块相互独立，可以分别训练，也可以统一训练，训练过程中，按照分割网络中roi区域计算的方法获得分割网络的网络层编号确定对应的分类网络，模块的输入是“roi信息提取模块”给出的h*w*c的特征张量，输出为缺陷类别，设定分类类别数为k+1，包含k种缺陷类别和1种正常令纸类别，则loss函数公式为：

其中，k为令纸缺陷类别的种类数，c是类别的编号，c＝0表示正常类别，yc是指示变量，为0或1，即是说如果类别是c，则yc＝1，否则等于0；pc为该roi区域属于类别c的概率，该概率由多分类softmax函数计算得来。采用上述loss函数，结合输入的roi特征和令纸缺陷类别标签采用随机梯度下降的方法将完成各个分类网络的训练。

步骤s2、将令纸图像输入到分割网络模块，采用encoder-decoder神经网络结构，通过encoder获取抽象的令纸缺陷特征，再在decoder过程中对缺陷特征逐步进行上采样，并同时融合encoder过程中对应网络层的特征信息，从而获得全局和局部相结合的特征，以便更有效地对令纸缺陷区域进行分割，获得像素级的令纸缺陷分割图。

参照图2所示是本发明令纸缺陷检测网络架构图，网络分割模块输入为令纸图像，输出获得令纸缺陷分割图，包含9个layer，l1即表示为layerl，以此类推。

步骤s3、进入roi计算模块：采用膨胀方法处理令纸缺陷二分类分割图，合并距离较近的缺陷点，再使用findcontours()方法从二分类分割图中找出令纸缺陷的外包裹曲线，再采用boundingrect()方法获取相应的能框出完整的令纸缺陷区域的外接矩形，最终得到缺陷外接矩形和其对应的合适的网络层编号。

具体的，由于令纸缺陷尺度跨度较大，直接采用外接矩形从某一网络层上截取特征来分类可能会出现不匹配的情况。考虑到分割网络的decoder部分中不同阶段的网络层特征具有不同的抽象层次和细节水平，decoder前面阶段的网络层特征抽象层次高，适合提取大尺寸的缺陷特征，后面阶段的网络层特征细节水平高，适合提取小尺寸的缺陷特征，因此根据外接矩形的长边大小来选择不同的网络层进行缺陷特征截取。

进一步的，将网络中4个用于提取特征的网络层进行编号并建立一个对应的长度阈值表，其中的长度阈值表示当外接矩形长边小于该阈值时选择该编号的网络层来提取特征，decoder前面阶段的网络层对应长度阈值大，decoder后面阶段的网络层对应长度阈值小。由于一个网络层只保留了一个长度阈值上限，因此根据外接矩形长边大小来判断的时候需要先从decoder后面阶段的网络层进行判断，如果不满足阈值条件，再判断前面一个阶段的网络层阈值是否满足，直到找到符合阈值条件的网络层。

为便于后续处理需要避免出现太小或过于细长的矩形，为网络中4个用于提取特征的网络层分别设定矩形边最小值lmin，外接矩形边如果小于选定网络层的lmin则修改为lmin，令纸缺陷二分类分割图经过上述处理可以得到缺陷外接矩形和对应网络层编号。

步骤s4、进入roi信息提取模块：根据缺陷外接矩形在选定的网络层上提取对应特征，将不同尺寸的特征区域映射到h*w*c大小的特征张量，h为特征平面的高，w为特征平面的宽，c为特征通道数。

具体的，步骤s4中所述的roi信息提取模块，包括4个子模块，分别对应不同的网络层，每个子模块的映射方法均采用maskrcnn检测算法中的roialign，先将待提取的矩形映射到网络层上的一个区域，保留小数，再将该区域均匀划分成h*w大小的网格，参照图3所示，每一个网格再细分为2*2的均匀区间，对于每个区间采用双线性插值的方法来计算区间中心点的值，2*2个区间将计算出4个特征值，取4个中的最大值为该网格的特征值，从而获得roi特征信息。

步骤s5、分类网络模块对令纸缺陷进行分类判定，设定分类类别数为k+1，包含k种缺陷类别和1种正常令纸类别，本模块中4个子模块分别对应不同的网络层，输入为h*w*c的特征张量，经过两层卷积处理后转换成1*1*(k+1)的特征张量，再通过softmax输出令纸缺陷类别，获得令纸缺陷的检测结果。

本领域技术人员在知悉本发明技术方案说明书及实施例后，容易想到本公开的其他实施方案。应当理解本公开并不局限与上述描述及公开的实施例，在不脱离本公开的范围内进行的各种修改和改变，应包含在本公开要求保护的范围内。