一种基于多层级特征重构的图像局部异常检测方法与流程

1.本发明涉及检测方法技术领域，具体为一种基于多层级特征重构的图像局部异常检测方法。


背景技术：

2.近年来，随着现代制造业的转型升级走向智能制造，越来越多企业开始采用工业机器人技术，使得机器人在汽车装配、工业零部件制造、电子消费品生产乃至食品生产等领域得到了越来越广泛的应用。机器视觉系统作为机器人的“眼睛”，其能够借助工业像机获得被检测物体的图像，通过计算机从图像中提取有效信息并进行分析，进而实现工业生产中各类产品的自动化检测和评估，由于机器视觉能克服人工评判的主观性缺点，更加客观地、智能地评估产品质量，提高生产自动化程度，且可应用到人工视觉难以适应的场景，故而机器视觉技术在工业产品异常或瑕疵检测有着广发的应用前景。
3.工业产品的异常或瑕疵往往出现在产品的局部区域，也即表现为相应图像的局部异常，因此，用于工业产品异常检测的机器视觉系统成功的关键在于设计有效的基于计算机程序自动化处理的图像局部异常检测分析和处理方法，现有的图像局部异常检测方法主要有基于模板匹配的变化检测以及基于机器学习模型的异常分类，其中，基于模板匹配的方法需要寻求“标准”图像作为参照，但在实际工业应用中，待检测对象通常形态多变，基于匹配的方法往往难以适应，基于机器学习模型的异常分类方法通常需要基于大量人工标注的异常样本来进行监督训练，而在很多工业生产过程中，由于生产工艺的持续升级，异常或瑕疵样本非常稀少，此外，异常的种类是繁多的，基于预定义的好的异常类别来进行分类，不能有效地发现新的异常或瑕疵，因此，在当前基于机器视觉的工业异常检测领域，亟需研发新的异常检测方法来适应不断优化升级的逐渐智能化的工业生产过程，尤其是能运行在无异常样本或少量标注样本场景下，且能有效地检测出各种可能的局部异常或瑕疵的检测方法。
4.因此，针对现有技术的不足，本发明提供了一种基于多层级特征重构的图像局部异常检测方法，其能运行在无异常样本工业场景下，能有效地检测出各种可能出现的工业异常或瑕疵。


技术实现要素：

5.本发明要解决的技术问题在于，现有的图像局部异常检测方法存在不能有效地运行在无异常样本工业场景下，不能有效地发现各种可能出现的工业异常或瑕疵的缺点，不能满足日益升级优化的工业生产场景的要求，针对现有技术中的缺陷，提供了一种基于多层级特征重构的图像局部异常检测法。
6.为实现上述目的，本发明提供如下技术方案：一种基于多层级特征重构的图像局部异常检测方法，包括以下步骤：
7.s1、给定待检测图像x(设其宽为w，高为h，通道数为c)，使用预训练好的深度卷积
网络φ获取该图像不同层次表征的集合{φ
l
},l＝1,2,
…
,l；
8.s2、根据步骤s1中获得的表征集合{φ
l
},，构建图像x的多层级表征f；
9.s3、将步骤s2获得的多层级表征f，输入卷积自编码器r(
·
,θ)进行表征重构，得到重构的多层级表征r(f,θ)，且其宽为w，高为h，通道数为cf；
10.s4、根据步骤s3获得的重构的多层级表征r(f,θ)与步骤s2获得的多层级表征f，在图像各像素位置处多层级表征重构误差的欧式距离，获得图像各个像素处的异常得分：
11.s5、根据用户给定的分割阈值t，将步骤s4获得异常得分a
i,j
二值化，得到异常或瑕疵区域，即将异常得分大于t的位置用1表示，其他位置用0表示。
12.进一步优化本技术方案，所述步骤s1中，φ
l
表示卷积网络的第l层输出，构成图像x的第l层次的表征，且设其宽为w
l
，高为h
l
，通道数为c
l
。
13.进一步优化本技术方案，步骤s2中，所述图像的多层级表征f通过以下步骤获得：
14.s21、将表征集合{φ
l
}中所有层次表征，逐一进行双线性插值，并构建与图像x对齐的表征集合
15.s22、对步骤s21中获得的表征集合进行通道拼接或聚合形成图像x的多层级表征f。
16.进一步优化本技术方案，所述步骤s21中，其中，的宽为w，高为h，通道数为c
l
。
17.进一步优化本技术方案，所述步骤s22中，其中，所获得表征f的宽为w，高为h，通道数为
18.进一步优化本技术方案，所述步骤s3中，其中，θ为卷自编码器r(
·
,θ)的参数，需要预先在无异常或无故障图像样本上进行训练，即通过以下优化目标获得：
[0019][0020]
进一步优化本技术方案，其中，n为正常图像样本的数量，为第n个正常图像样像素位置(i,j)处的多层级表征，r
i,j
(f
(n)
,θ)为相应的通过卷积自编码器重构得到的多层级表征，i＝1,2,
…
,h,j＝1,2,
…
,w。
[0021]
进一步优化本技术方案，步骤s4中，获得图像各个像素处的异常得分公式为：a
i,j
＝||f
i,j-r
i,j
(f,θ)||2。
[0022]
进一步优化本技术方案，其中，a
i,j
为待检测图像x像素位置(i,j)处的异常得分，f
i,j
为待检测图像x像素位置(i,j)处的多层级表征，r
i,j
(f,θ)为相应的通过卷积自编码器重构得到的多层级表征。
[0023]
与现有技术相比，本发明提供了一种基于多层级特征重构的图像局部异常检测方法，具备以下有益效果：
[0024]
该基于多层级特征重构的图像局部异常检测方法，本发明通过深度卷积网络，提取待检测图像的不同层次表征，然后对获得的表征集合进行对齐与聚合，构建极具特征区分能力的图像多层级表征，随后通过预先在无异常或无故障图像样本上进行训练的自编码
器进行多层级表征重构，再计算图像各像素位置处多层级表征重构误差的欧式距离，从获得图像各个像素处的异常得分，最后通过二值化异常得分得到异常或瑕疵区域，本发明方法，首先使用在图像处理领域广泛使用的深度学习技术，其能较好地适应各种复杂的工业异常检测场景；由于不需要预先标注和分类样本，其有效地运行在无异常样本工业场景下，能有效地发现各种可能出现的工业异常或瑕疵的缺点，适应日益升级优化的工业生产场景；模型训练和测试过程均是端到端和基于数据驱动的，建模便捷，识别性能高，也为基于机器视觉的图像局部异常检测邻域提供了一种新的解决方案。
附图说明
[0025]
图1是本发明实施例提供的基于多层级图像表征重构的异常检测方法的流程图；
[0026]
图2是本发明实施例提供的基于多层级图像表征重构的异常检测方法的效果示意图。
具体实施方式
[0027]
下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0028]
本发明提供了一种基于多层级特征重构的图像局部异常检测法，包括以下步骤：
[0029]
s1、给定待检测图像x(设其宽为w，高为h，通道数为c)，使用预训练好的深度卷积网络φ获取该图像不同层次表征的集合{φ
l
},l＝1,2,
…
,l，其中，φ
l
表示卷积网络的第l层输出，构成图像x的第l层次的表征，且设其宽为w
l
，高为h
l
，通道数为c
l
。
[0030]
s2、根据步骤s1中获得的表征集合{φ
l
},，构建图像x的多层级表征f，所述图像的多层级表征f通过以下步骤获得：
[0031]
s21：将表征集合{φ
l
}中所有层次表征，逐一进行双线性插值，并构建与图像x对齐的表征集合其中，的宽为w，高为h，通道数为c
l
；
[0032]
s22：对步骤1)中获得的表征集合进行通道拼接或聚合形成图像x的多层级表征f，其中，所获得表征f的宽为w，高为h，通道数为
[0033]
s3、将步骤s2获得的多层级表征f，输入卷积自编码器r(
·
,θ)进行表征重构，得到重构的多层级表征r(f,θ)，且其宽为w，高为h，通道数为cf，其中，θ为卷自编码器r(
·
,θ)的参数，需要预先在无异常或无故障图像样本上进行训练，即通过以下优化目标获得：
[0034][0035]
其中，n为正常图像样本的数量，为第n个正常图像样像素位置(i,j)处的多层级表征，r
i,j
(f
(n)
,θ)为相应的通过卷积自编码器重构得到的多层级表征，i＝1,2,
…
,h,j＝
1,2,
…
,w。
[0036]
s4、根据步骤s3获得的重构的多层级表征r(f,θ)与步骤s2获得的多层级表征f，在图像各像素位置处多层级表征重构误差的欧式距离，获得图像各个像素处的异常得分：
[0037]ai,j
＝||f
i,j-r
i,j
(f,θ)||2[0038]
其中，a
i,j
为待检测图像x像素位置(i,j)处的异常得分，f
i,j
为待检测图像x像素位置(i,j)处的多层级表征，r
i,j
(f,θ)为相应的通过卷积自编码器重构得到的多层级表征。
[0039]
s5、根据用户给定的分割阈值t，将步骤(4)获得异常得分a
i,j
二值化，得到异常或瑕疵区域，即将异常得分大于t的位置用1表示，其他位置用0表示。
[0040]
实验例：
[0041]
如图1所示，本发明实施例提供的基于多层级特征重构的图像局部异常检测方法，包括以下步骤：
[0042]
s1、给定待检测图像x(设其宽为256，高为256，通道数为3)，使用在imagenet图像数据库上通过分类任务预训练好的共有16个卷积层的深度卷积网络vgg19(用数学符号φ表示)，获取该图像不同层次表征的集合{φ
l
},l＝1,2,
…
,16，其中，φ
l
表示卷积网络的第l层输出，构成图像x的第l层次的表征，且设其宽为w
l
，高为h
l
，通道数为c
l
。
[0043]
s2、根据步骤s1中获得的表征集合{φ
l
},，构建图像x的多层级表征f，所述图像的多层级表征f通过以下步骤获得：1)将表征集合{φ
l
}中所有层次表征与图像进行对齐，即逐一进行双线性插值，并构建与图像x对齐的表征集合其中，的宽为256，高为256，通道数为c
l
；2)对步骤1)中获得的表征集合进行通道拼接或聚合形成图像x的多层级表征f，其中，所获得表征f的宽为256，高为256，通道数为在图像局部异常检测领域，本发明首次利用深度卷积网络提取图像的不同层次表征，构建了图像多层级表征，该多层级表征的有较强的区分异常与正常模式的能力，从而非常有利于异常或瑕疵的检测与识别。
[0044]
s3、将步骤s2获得的多层级表征f，输入卷积自编码器r(
·
,θ)进行表征重构，得到重构的多层级表征r(f,θ)，且其宽为w，高为h，通道数为cf。其中，θ为卷自编码器r(
·
,θ)的参数，需要预先在无异常或无故障图像样本上进行训练，即通过以下优化目标获得：
[0045][0046]
其中，n为正常图像样本的数量，为第n个正常图像样像素位置(i,j)处的多层级表征，r
i,j
(f
(n)
,θ)为相应的通过卷积自编码器重构得到的多层级表征，i＝1,2,
…
,256,j＝1,2,
…
,256，本实验例中，使用一个具有6个1x1卷积层，并使用relu激活函数卷积自编码器，在图像局部异常检测领域，本发明首次使用自编码器对图像的多层级表征直接重构，发明了一种基于多层级表征重构的异常检测方法，本方法建模了不同层级的表征的相互关系，能够有效的综合不同层级的表征做出综合的决策，从而提升识别性能。
[0047]
s4、根据步骤s3获得的重构的多层级表征r(f,θ)与步骤s2获得的多层级表征f，在
图像各像素位置处多层级表征重构误差的欧式距离，获得图像各个像素处的异常得分：
[0048]ai,j
＝||f
i,j-r
i,j
(f,θ)||2[0049]
其中，a
i,j
为待检测图像x像素位置(i,j)处的异常得分，f
i,j
为待检测图像x像素位置(i,j)处的多层级表征，r
i,j
(f,θ)为相应的通过卷积自编码器重构得到的多层级表征。
[0050]
s5、根据用户给定的分割阈值t，将步骤s4获得异常得分a
i,j
二值化，分割得到异常或故障区域，即将异常得分大于t的位置用1表示，其他位置用0表示。
[0051]
本发明的有益效果是：该基于多层级特征重构的图像局部异常检测方法，本发明通过深度卷积网络，提取待检测图像的不同层次表征，然后对获得的表征集合进行对齐与聚合，构建极具特征区分能力的图像多层级表征，随后通过预先在无异常或无故障图像样本上进行训练的自编码器进行多层级表征重构，再计算图像各像素位置处多层级表征重构误差的欧式距离，从获得图像各个像素处的异常得分，最后通过二值化异常得分得到异常或瑕疵区域，本发明方法，首先使用在图像处理领域广泛使用的深度学习技术，其能较好地适应各种复杂的工业异常检测场景；由于不需要预先标注和分类样本，其有效地运行在无异常样本工业场景下，能有效地发现各种可能出现的工业异常或瑕疵的缺点，适应日益升级优化的工业生产场景；模型训练和测试过程均是端到端和基于数据驱动的，建模便捷，识别性能高，也为基于机器视觉的图像局部异常检测邻域提供了一种新的解决方案。
[0052]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。