一种基于图像重建的缺陷检测网络及检测方法与流程

一种基于图像重建的缺陷检测网络及检测方法
【技术领域】
1.本发明涉及人工智能和缺陷检测识别领域，尤其涉及一种基于图像重建的缺陷检测网络及检测方法。


背景技术：

2.在印刷品、布匹、薄膜的生产过程中，由于机械、基材、人工操作等因素，对产品会造成大量的缺陷，包括破损、褶皱、卷曲、擦伤、蹭脏、异物、错印、漏印、串色。为保证出厂产品的合格率，这些带有缺陷的产品，需要在生产过程中实现自动剔除。在实现自动剔废的过程中，高效、准确的缺陷检测算法是核心技术之一。目前的缺陷检测算法大致可以分为两种：传统检测方法和基于深度学习的目标检测或语义分割方法。
3.传统的缺陷检测方法的特点在于：针对不同的缺陷设计不同的检测算法或者设置不同的检测参数。缺点在于，人工在针对某一种缺陷设计算法时，参照的缺陷样本数量相对于实际的缺陷产品数量来说是极少的，这样就引入了样本偏置，设计的算法通常稳定性较差。其次，针对某几类缺陷，可能均采用同一种检测算法，但是需要设置不同的检测参数，这样就增加了系统配置的维护量。同时，需要人工经过长期的实地跟踪和调试，极大的增加了软件的操作难度。
4.深度学习是一种基于大数据的智能算法，通过长期、全面的数据收集，可以很好的解决样本偏置的问题，训练出来的模型具有较好稳定性和鲁棒性。在缺陷检测领域，主要通过目标检测和语义分割的方式实现缺陷的检出，这类方法属于监督式方法。首先需要收集大量的缺陷样本，然后进行样本标注；其次进行模型训练；最后将训练好的模型进行现场部署。但是在生产过程中，通常某些缺陷样本很难收集，极端情况下，每个月或者每年才能收集一两张，当这种缺陷出现时，基于监督式方法训练的模型就存在漏检的风险。其次，在正式训练模型之前，需要对收集的缺陷样本进行人工标注，而针对不同的品种，为了保证较高的缺陷识别率，往往需要重新进行缺陷样的收集和标注，这样不仅增大了人工的标注工作量，也极大的延长了项目的开发周期。
5.因此，针对现有检测算法稳定性低，对小样本缺陷存在漏检风险，需要大量人工标注等缺点，有必要提供一种基于图像重建的缺陷检测网络及检测方法，实现对缺陷的精准检测，达到较好的检测水平，并能减轻人工标注的工作量，缩短项目的开发周期，降低项目的运营成本。


技术实现要素：

6.本发明公开了一种基于图像重建的缺陷检测网络及检测方法，其可以有效解决背景技术中涉及的技术问题。
7.为实现上述目的，本发明的技术方案为：
8.一种基于图像重建的缺陷检测网络，用于产品的缺陷检测，包括图像重建部分和缺陷提取部分，所述图像重建部分包括图像编码器、图像内容编码字典、图像噪声编码字典
及图像噪声解码器；
9.所述图像编码器对产品图像x进行处理，得到图像内容编码权值wc以及图像噪声编码权值wn；
10.所述图像内容编码字典与wc进行计算得到与所述产品图像x尺寸相同的平滑图像ys；
11.所述图像噪声编码字典与wn进行计算得到关于图像噪声的特征编码vn；
12.所述图像噪声解码器对vn进行处理得到与所述产品图像x相同尺寸的噪声图像yn；
13.所述平滑图像ys与所述噪声图像yn相加得到重建图像y；
14.所述缺陷提取部分对所述重建图像y和所述产品图像x进行差分处理用于缺陷的检出。
15.作为本发明的一种优选改进：所述图像编码器的处理过程描述为：wc，wn＝fe(x；θe)
16.其中wc的维度为n*1，wn的维度为m*1，fe表示图像编码器网络模型，θe为图像编码器模型参数。
17.作为本发明的一种优选改进：所述平滑图像的计算过程描述为：
[0018][0019]
其中，ys的维度为h*w*c，θ
dict_c
表示图像内容编码字典模型参数，维度为n*h*w*c。
[0020]
作为本发明的一种优选改进：所述关于图像噪声的特征编码vn的计算过程描述为：
[0021][0022]
其中，vn的维度为1*l，θ
dict_n
表示图像噪声编码字典模型参数，维度为m*l。
[0023]
作为本发明的一种优选改进：所述图像噪声解码器的处理过程描述为：
[0024]yn
＝fd(vn；θd)
[0025]
其中yn的维度为h*w*c，fd表示图像噪声解码器网络模型，θd为图像噪声解码器模型参数。
[0026]
作为本发明的一种优选改进：所述缺陷提取部分包括图像差分和阈值分割；
[0027]
所述图像差分描述为：d＝|x-y|，其中d为差分图像，维度为h*w*c；
[0028]
所述阈值分割包括将差分图像d的各通道相加得到单通道图像d1，以及对d1进行阈值分割得到缺陷残点图像d2；
[0029][0030]
其中d(k)表示差分图像d的第k个通道图像；
[0031][0032]
其中(u，v)表示图像中的像素位置索引，t为预设阈值，有缺陷的位置像素值为1，没有缺陷的位置像素值为0。
[0033]
作为本发明的一种优选改进：所述缺陷提取部分还包括连通域分析，对缺陷残点图像d2进行连通域分析，求解出每个连通域的外接矩形框，并输出每个缺陷的位置信息。
[0034]
一种基于图像重建的缺陷检测网络的检测方法，具体包括以下步骤：
[0035]
s1：对产品图像x进行数据收集；
[0036]
s2：将收集的产品图像x输入缺陷检测网络中进行模型训练，对图像重建部分的模型参数进行优化；
[0037]
s3：将s2中优化后的缺陷检测网络部署在图像处理工作站中，进行对产品图像x的缺陷检测；
[0038]
s4：分析缺陷检测结果，对缺陷提取部分的参数进行优化；
[0039]
s5：优化完毕，通过优化后的缺陷检测网络对产品进行缺陷检测。
[0040]
作为本发明的一种优选改进：s2描述为：
[0041]
y＝f(x；θ)
[0042]
其中f表示建立的网络模型，θ表示模型参数，模型参数θ包括了图像编码器模型参数θe，图像内容编码字典模型参数θ
dict_c
，图像噪声编码字典模型参数θ
dict_n
，以及噪声解码器模型参数θd，同理，网络模型f表示包括图像编码器、图像内容编码字典、图像噪声编码字典以及图像噪声解码器的组合模型；
[0043]
训练的过程看作是求解最优化问题的迭代过程，用以下公式表示：
[0044][0045]
通过上述过程学习最优参数θ*。
[0046]
一种基于图像重建的缺陷检测方法，用于产品的缺陷检测，包括以下步骤：
[0047]
对产品图像x进行处理，得到图像内容编码权值wc以及图像噪声编码权值wn；
[0048]
对图像内容编码权值wc进行计算得到与所述产品图像x尺寸相同的平滑图像ys；
[0049]
对图像噪声编码权值wn进行计算得到关于图像噪声的特征编码vn；
[0050]
对特征编码vn进行处理得到与所述产品图像x相同尺寸的噪声图像yn；
[0051]
将所述平滑图像ys与所述噪声图像yn相加得到重建图像y；
[0052]
对所述重建图像y和所述产品图像x进行差分处理，进行缺陷的检出。
[0053]
本发明的有益效果如下：
[0054]
本发明利用深度学习对带缺陷的图像进行重建，然后通过重建图像与原图像的差分来实现缺陷的检出，相对于传统方法来说，不仅省去了复杂的调参工作，统一了每种缺陷的检测算法，而且通过大数据训练而来的模型解决了样本偏置的问题，使检测结果在外部环境改变的情况下依然能保持较高的检测精度和检测结果的一致性；相对于监督式的深度学习方法来说，不仅节约了人工缺陷标注的工作量，而且针对异常缺陷、罕见缺陷实现了较高的检出率，杜绝了异常、罕见缺陷的漏废现象，极大的提高了生产质量水平，实现了节能
增效的目的。
【附图说明】
[0055]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
[0056]
图1为本发明图像重建部分的网络模型图；
[0057]
图2为本发明缺陷提取算法流程图。
【具体实施方式】
[0058]
下面将结合本发明实施例对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0059]
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0060]
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0061]
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0062]
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
[0063]
一种基于图像重建的缺陷检测网络，用于产品的缺陷检测，包括图像重建部分和缺陷提取部分，所述图像重建部分包括图像编码器、图像内容编码字典、图像噪声编码字典及图像噪声解码器；所述图像编码器对产品图像x进行处理，得到图像内容编码权值wc以及图像噪声编码权值wn；所述图像内容编码字典与wc进行计算得到与所述产品图像x尺寸相同的平滑图像ys；所述图像噪声编码字典与wn进行计算得到关于图像噪声的特征编码vn；所述图像噪声解码器对vn进行处理得到与所述产品图像x相同尺寸的噪声图像yn；所述平滑图像ys与所述噪声图像yn相加得到重建图像y；所述缺陷提取部分对所述重建图像y和所述产品图像x进行差分处理用于缺陷的检出。
[0064]
具体的，本发明的技术方案包括图像编码器、图像内容编码字典、图像噪声编码字
典、图像噪声解码器以及缺陷提取算法。其中前四个部分的结构示意图如图一所示，采用基于卷积神经网络的结构实现，在正式部署前需要通过训练得到模型参数，模型部署后就可以实现对带缺陷图像的重建。首先输入一张带缺陷的图像；其次经过编码器后输出两组权值，分别是图像内容编码权值wc以及图像噪声编码权值wn；然后分别与图像内容字典和图像噪声字典进行计算，即图像内容编码权值wc与图像内容编码字典进行计算、图像噪声编码权值wn与图像噪声编码字典进行计算；其中图像内容部分计算完成后得到一张与原图像尺寸相同的平滑图像ys，图像噪声部分计算完成后得到一个关于图像噪声的特征编码vn，随后，将该噪声特征编码vn输入图像噪声解码器得到一张与原图像相同尺寸的噪声图像yn；最后将平滑图像ys与噪声图像yn相加得到最终的重建图像y。
[0065]
下面针对模型f中的各组件分别进行叙述。
[0066]
图像编码器，其功能在于输入一张高度为h，宽度为w的c通道图像，通过编码器后得到两组编码权值，分别是图像内容编码权值和图像噪声编码权值，其中图像内容编码权值的维度为n*1，图像噪声编码权值的维度为m*1。编码器由54个卷积单元以及一些基本的连接单元组成：如特征聚单元，超级链接单元等，每个单元根据功能的不同，由卷积层，批归一化层，非线性激活层，全连接层，特征聚合层，池化层以不同的形式组合而成：例如卷积单元由卷积层，批归一化层和非线性激活层组成；特征聚合单元由批归一化层和特征聚合层组成。
[0067]
图像内容编码字典和图像噪声编码字典，其中图像内容编码字典的维度为n*h*w*c，包含了图像内容的所有信息，保证了重建图像的正确性和完整性；图像噪声编码字典的维度为m*l，主要用于对图像的噪声进行建模。
[0068]
图像噪声解码器，其功能在于输入一个维度为1*l的关于图像噪声的特征编码，输出一张尺寸为h*w的c通道噪声图像。图像噪声解码器包括34个卷积单元、5个反卷积单元，以及一些基本的连接单元：如特征聚单元，超级链接单元等，每个单元根据功能的不同，由反卷积层，卷积层，批归一化层，非线性激活层，全连接层，特征聚合层，池化层以不同的形式组合而成：例如卷积单元由卷积层，批归一化层和非线性激活层组成；反卷积单元由反卷积层，批归一化层和非线性激活层组成；特征聚合单元由批归一化层和特征聚合层组成。
[0069]
具体计算步骤如下所述：
[0070]
步骤一、输入产品图像x进入图像编码器fe，得到两组编码权值，分别为wc和wn，该过程可以描述为：
[0071]
wc,wn＝fe(x；θe)
[0072]
其中wc的维度为n*1，wn的维度为m*1，fe表示图像编码器网络模型，θe为图像编码器模型参数。
[0073]
步骤二、通过图像内容编码字典与wc计算出一张平滑图像ys，该过程可以描述为：
[0074][0075]
其中，ys的维度为h*w*c，θdict_c表示图像内容编码字典模型参数，维度为n*h*w*c。
[0076]
步骤三、通过图像噪声编码字典与wn计算出一个图像噪声特征编码vn，该过程可
以描述为：
[0077][0078]
其中，vn的维度为1*l，θdict_n表示图像噪声编码字典模型参数，维度为m*l。
[0079]
步骤四、将噪声特征编码vn输入图像噪声解码器fd，得到一张与产品图像x具有相同尺寸的噪声图像yn，该过程可描述为：
[0080]yn
＝fd(vn；θd)
[0081]
其中yn的维度为h*w*c，fd表示图像噪声解码器网络模型，θd为图像噪声解码器模型参数。
[0082]
步骤五，将平滑图像ys与噪声图像yn相加即可得到最终的重建图像y：
[0083]
y＝ys+yn[0084]
缺陷提取部分主要由图像差分、阈值分割、连通域分析等子算法组成，具体流程如图二所示。其功能在于输入一张产品图像x，与其对应的重建图像y，输出一张缺陷残点图像，在该图像中，有缺陷的位置像素值为1，没有缺陷的位置像素值为0，具体包括：
[0085]
将输入的产品图像x与重建图像y进行差分，得到差分图像d，该过程可描述为：
[0086]
d＝|x-y|
[0087]
其中d的维度为h*w*c。
[0088]
将差分图像d的各通道相加得到一张单通道图像d1，该过程可以描述为：
[0089][0090]
其中d(k)表示差分图像d第k个通道图像。
[0091]
通过预先设定的阈值t，对d1进行阈值分割，该过程可以描述为：
[0092][0093]
其中(u,v)表示图像中的像素位置索引，d2图像即为最终的缺陷残点图像。
[0094]
为了方便外部调用程序，可以选择性的对缺陷残点图像d2进行连通域分析，并求解出每个连通域的外接矩形框，直接输出每个缺陷的位置信息。
[0095]
一种基于图像重建的缺陷检测方法，用于产品的缺陷检测，包括以下步骤：
[0096]
对产品图像x进行处理，得到图像内容编码权值wc以及图像噪声编码权值wn；
[0097]
对图像内容编码权值wc进行计算得到与所述产品图像x尺寸相同的平滑图像ys；
[0098]
对图像噪声编码权值wn进行计算得到关于图像噪声的特征编码vn；
[0099]
对特征编码vn进行处理得到与所述产品图像x相同尺寸的噪声图像yn；
[0100]
将所述平滑图像ys与所述噪声图像yn相加得到重建图像y；
[0101]
对所述重建图像y和所述产品图像x进行差分处理，进行缺陷的检出。
[0102]
本发明提出一种基于深度学习的图像重建技术，通过深度学习对带缺陷的图像进行重建，重建后的图像是一张不带缺陷的好品图像，并且与原来的缺陷图像在整体的形变和色相上保持一致，然后通过两张图像的差分实现对原图像中的缺陷检出。该方法不仅实
现了对缺陷的精准检测，达到了当前最优的检测水平；而且采用非监督式的训练方法，且只用在无缺陷的图像上进行训练，省去了人工标注的工作量，极大的缩短了项目的开发周期，降低了项目的运营成本。
[0103]
一种基于图像重建的缺陷检测网络的检测方法，包括上述的基于图像重建的缺陷检测网络，具体包括以下步骤：
[0104]
s1：对产品图像x进行数据收集；
[0105]
s2：将收集的产品图像x输入缺陷检测网络中进行模型训练，对图像重建部分的模型参数进行优化；
[0106]
s3：将s2中优化后的缺陷检测网络部署在图像处理工作站中，进行对产品图像x的缺陷检测；
[0107]
s4：分析缺陷检测结果，对缺陷提取部分的参数进行优化；
[0108]
s5：优化完毕，通过优化后的缺陷检测网络对产品进行缺陷检测。
[0109]
作为一种实施方式，上述检测方法包括以下步骤：
[0110]
步骤一、准备训练数据。首先进行数据收集，主要是好品无缺陷图像，数据量大概在5万到7万，其中包括不同机台、不同时段、不同基材等情况下的图像数据。其次进行数据清理，挑选出其中的异常图像，例如：非产品图像、成像环境故障情况下拍摄的图像、传输问题导致的异常图像等；然后进行数据规范化，主要包括统一数据分辨率，统一图像存储格式等操作；最后将数据进行划分，包括训练集、测试集、验证集等。
[0111]
步骤二、模型训练。主要包括针对图像编码器、图像内容编码字典、图像噪声编码字典和图像噪声解码器的训练，采用端到端的训练方式，该模型可以描述为：
[0112]
y＝f(x；θ)
[0113]
其中f表示建立的网络模型，θ表示模型参数，模型参数θ包括了图像编码器模型参数θe，图像内容编码字典模型参数θ
dict_c
，图像噪声编码字典模型参数θ
dict_n
，以及噪声解码器模型参数θd，同理，网络模型f表示包括图像编码器、图像内容编码字典、图像噪声编码字典以及图像噪声解码器的组合模型；
[0114]
而训练的过程可以看作是一个求解最优化问题的迭代过程，可以用以下公式表示：
[0115][0116]
通过训练，可以学习最优参数θ*。
[0117]
步骤三、模型部署。将步骤二中得到的最优参数θ*部署在现场图像处理工作站中用于对带缺陷的图像进行正向推理，通过最优参数就可以重建出与产品图像x具有相同噪声水平的重建图像y，然后经过缺陷提取算法就可以得到最终的缺陷残点图像，以实现缺陷的检出。
[0118]
作为一种实施方式，上述检测方法包括以下步骤：
[0119]
步骤一、数据收集。首先，收集近一年来的钞票生产图像，包括好品图，同时也包括废品图像，其中好品图像用于训练，可以按照时间线进行收集，本实施例中，对每月、每周的图像进行随机抽样，总共需要收集3万张左右；废品图像用于测试，做到应有尽收，对废品集的质量和数量没有硬性要求。然后，针对收集来的图像数据进行清洗，主要操作按照顺序包
括：异常图像剔除、图像尺寸归一化、图像亮度矫正。最后，针对好品图像进行划分，包括训练集，测试集，验证集，其对应的数量分别大约为：15000，10000，5000。
[0120]
步骤二、构建模型，开始训练。首先，根据图一所示的网络架构，构建图像重建模型；其次，利用训练集和验证集进行超参数调优，所设计到的超参包括：更新步长、步长调整策略、梯度下降方法、批处理大小、输入图像尺寸、图像噪声编码长度等；在本实施例中，得到以下最优超参数配置：更新步长为0.001，梯度下降方法为adam，批处理大小为128，输入图像尺寸为192*384，图像噪声编码长度l＝64。然后，将验证集合并入训练集对网络进行训练直至收敛，以得到最终用于现场部署的网络模型参数。
[0121]
步骤三、缺陷提取算法的实现和模型检测能力的测试。首先，根据图二中的流程实现缺陷的提取。然后，利用废品图像集对模型重建效果和缺陷提取效果进行测试，该过程包括以下几个步骤：1)将带缺陷的图像输入网络模型，得到一张重建图像；2)利用缺陷提取算法，对图像中的缺陷进行提取；3)观察和分析缺陷提取效果，根据观察结果对缺陷提取算法中的参数进行针对性调整，这些参数包括：阈值分割中的参数t，连通域分析中的轮廓面积、周长，调整到满足需求即可，本实施例中，阈值t为15，面积为200，周长为15。
[0122]
步骤四、现场部署和效果跟踪。经过上述三个步骤后，网络模型参数和缺陷提取算法就可以打包成动态链接库部署到现场进行试用了。这部分的工作主要包括，软件联调、效果跟踪，效果的反馈主要包括两种：误报和漏报，在本实施例中，试运行周期大概两个月，漏废为0，主要问题在于误报。在跟踪阶段大概收集了1000张好品样和500张缺陷样，好品样主要用于对重建模型的训练调优，缺陷样主要用于对提取算法中的几个参数进行调优。在试运行后期，误报得到了有效的控制，实现了所规定的技术指标。
[0123]
尽管本发明的实施方案已公开如上，但并不仅仅限于说明书和实施方案中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里所示出与描述的图例。