异常检测网络的训练及异常检测方法、装置和设备与流程

1.本技术涉及图像处理技术领域，尤其涉及一种异常检测网络的训练及异常检测方法、装置和设备。


背景技术：

2.在工业缺陷检测领域中，由于工业产品的种类繁多，而且每类工业产品的异常种类也很多，如果采用人工肉眼进行质检，效率极低而且对人工的精力和熟练程度也是极大的考验。而如果利用深度学习进行缺陷检测，以锂电池为例，模切软包锂电池工艺流程生产一颗电芯通常需要20个工序，每个工序又需要几十上百个机台，每个机台产生的缺陷也是各式各样的，那么搜集齐所有类别的缺陷图像用于深度学习模型训练则需要耗费巨大的工作量。
3.针对此，相关技术提出一系列的仅依赖正样本的异常检测算法，该类算法通常是在正常产品的图像（即无缺陷的产品图像）上随机添加噪声，生成伪异常标签来模拟异常图像进行异常检测模型的训练。显然，采用这种方式中生成的伪异常标签质量决定了异常检测模型的性能。而且，生成的伪标签与实际的异常图像往往存在一定的差异，在实际异常检测场景中，效果往往欠佳。并且，基于现有异常检测技术得到的深度学习模型的泛化能力也较差，一个模型通常仅能鉴定一种异常。若需检测多种类别的异常，则需要训练多个模型。


技术实现要素：

4.本技术的多个方面提供一种异常检测网络的训练及异常检测方法、装置和设备，用以提高训练得到的异常检测网络的泛化能力，提高训练效率。
5.本技术实施例提供一种异常检测网络的训练方法，包括：获取多种类别产品的正常图像；对所述多种类别产品的正常图像进行类别均衡化，得到所述类别均衡化的多种类别产品的正常图像；基于所述类别均衡化的多种类别产品的正常图像，训练得到所述异常检测网络；其中，所述异常检测网络包括特征提取模块和特征编码模块，所述特征提取模块包括掩膜模块、特征局部对齐模块和深度残差网络，所述掩膜模块在所述深度残差网络之前，用于对输入的图像进行局部掩膜以对所述输入的图像进行图像增强；所述特征局部对齐模块利用所述特征提取模块提取的特征图上当前单元格周围的单元格信息对所述当前单元格进行表示，并对特征进行矫正对齐；所述特征编码模块包括特征金字塔，用于通过串联或并联不同扩容率的空洞卷积对所述特征局部对齐模块提取的特征进行多个尺度的融合。
6.本技术实施例提供一种异常检测方法，包括：获取待检测的目标产品的目标图像；通过异常检测网络提取所述目标图像的特征，所述异常检测网络为基于多种类别产品的正常图像训练得到；通过所述目标产品的多元正态分布基于所述目标图像的特征，确定所述目标图像的异常概率和异常区域，其中，所述目标产品的多元正态分布为基于所述目标产品的第一数量的正常图像，通过异常检测网络提取的特征构建得到。
7.本技术实施例还提供一种异常检测网络的训练装置，包括：图像获取模块，用于获取多种类别产品的正常图像；类别均衡模块，用于对所述多种类别产品的正常图像进行类别均衡化，得到所述类别均衡化的多种类别产品的正常图像；网络训练模块，用于基于所述类别均衡化的多种类别产品的正常图像，训练得到所述异常检测网络；其中，所述异常检测网络包括特征局部对齐模块和特征编码模块，所述特征局部对齐模块包括掩膜模块和深度残差网络，所述掩膜模块在所述深度残差网络之前，用于对输入的图像进行局部掩膜以对所述输入的图像进行图像增强；所述特征编码模块包括特征金字塔，用于通过串联或并联不同扩容率的空洞卷积对所述特征局部对齐模块提取的特征进行多个尺度的融合。
8.本技术实施例还提供一种异常检测装置，包括：图像获取模块，用于获取待检测的目标产品的目标图像；特征提取模块，用于通过异常检测网络提取所述目标图像的特征，所述异常检测网络为基于多种类别产品的正常图像训练得到；异常确定模块，用于通过所述目标产品的多元正态分布基于所述目标图像的特征，确定所述目标图像的异常概率和异常区域，其中，所述目标产品的多元正态分布为基于所述目标产品的第一数量的正常图像，通过异常检测网络提取的特征构建得到。
9.本技术实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的异常检测网络的训练方法，或如上述的异常检测方法。
10.本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被处理器执行时，致使所述处理器实现本技术实施例提供的异常检测网络的训练方法或异常检测方法中的步骤。
11.在本技术实施例中，能够获取多种类别产品的正常图像，以及对这多种类别产品的正常图像进行类别均衡化，使得各个类别产品的正常图像在数量上相差不大，进而基于类别均衡化的多种类别产品的正常图像训练得到的异常检测网络能够对多个类别产品进行特征提取，而且该异常检测网络中包括的掩膜模块能够对输入的图像进行图像增强，有效加强异常检测网络的特征学习能力并且减少直接对图像进行掩膜操作带来的计算复杂度。由于采用的都是产品的正常图像进行训练，能够大幅降低数据标注和收集异常图像数据的工作量，训练得到的异常检测网络由于是基于多种类型的产品图像训练的，因此，其应用场景相较于只针对某一种类型产品图像进行训练得到的异常检测网络或缺陷检测网络也更为广泛。
12.在本技术实施例中，在获取待检测的目标产品的目标图像之后，能够通过异常检测网络提取目标图像的特征，该异常检测网络为基于多种类别产品的正常图像训练得到，以及通过目标产品的多元正态分布基于目标图像的特征，确定目标图像的异常概率和异常区域，其中，目标产品的多元正态分布为基于目标产品的第一数量的正常图像，通过异常检测网络提取的特征构建得到。由于所利用的异常检测网络和目标产品的多元正态分布都是基于产品的正常图像构建得到，使得在仅有产品正样品的情况下仍然能够实现产品的异常检测。
附图说明
13.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1为本技术示例性实施例提供的一种异常检测网络的训练方法的流程示意图；图2为本技术实施例提供的一种基于孪生网络ad_net改进得到的异常检测网络的结构示意图；图3为本技术实施例提供异常检测网络的训练方法中的一种掩膜模块的结构示意图；图4为本技术实施例根据异常检测网络的训练方法提供的特征局部对齐模块的结构示意图；图5为本技术实施例提供的异常检测网络的训练过程示意图；图6为本技术示例性实施例提供的一种异常检测方法的流程示意图；图7为本技术实施例提供的异常检测方法中的一种多元正态分布的构建过程示意图；图8为本技术实施例提供的通过异常检测网络和多元正态分布确定图像中的异常区域和异常概率的过程示意图；图9为本技术实施例提供的一种异常检测和缺陷检测的过程示意图；图10为本技术示例性实施例提供的一种异常检测网络的训练装置的结构示意图；图11为本技术示例性实施例提供的一种异常检测装置的结构示意图；图12为本技术示例性实施例提供的一种电子设备的结构示意图；图13为本技术示例性实施例提供的另一种电子设备的结构示意图。
具体实施方式
14.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
15.为解决现有异常检测技术需要训练多种模型来检测多种缺陷或异常的问题，在本技术一些实施例中提供一种异常检测网络的训练，能够获取多种类别产品的正常图像，以及对这多种类别产品的正常图像进行类别均衡化，使得各个类别产品的正常图像在数量上相差不大，进而基于类别均衡化的多种类别产品的正常图像训练得到的异常检测网络能够对多个类别产品进行特征提取，而且该异常检测网络中包括的掩膜模块能够对输入的图像进行图像增强，有效加强异常检测网络的特征学习能力并且减少直接对图像进行掩膜操作带来的计算复杂度。由于采用的都是产品的正常图像进行训练，能够大幅降低数据标注和收集异常图像数据的工作量，训练得到的异常检测网络由于是基于多种类型的产品图像训练的，因此，其应用场景相较于只针对某一种类型产品图像进行训练得到的异常检测网络或缺陷检测网络也更为广泛。
16.以下结合附图，详细说明本技术各实施例提供的技术方案。
17.图1为本技术示例性实施例提供的一种异常检测网络的训练的流程示意图。如图1
所示，该方法包括：步骤110，获取多种类别产品的正常图像。
18.其中，多种类别产品的正常图像为不存在缺陷或异常的产品图像。
19.步骤120，对多种类别产品的正常图像进行类别均衡化，得到类别均衡化的多种类别产品的正常图像。
20.在一些示例性的实施例中，为了使得训练得到的异常检测网络能够对各种类别的产品都具备同样的特征提取能力，本技术实施例可在异常检测网络训练之前，对用于训练异常检测网络的样本数据进行类别均衡化操作。具体地，对多种类别产品的正常图像进行类别均衡化，得到类别均衡化的多种类别产品的正常图像，包括：从多种类别产品的正常图像中，确定多种类别产品中各类别产品的图像数量；从多种类别产品中各类别产品的图像数量中，确定最少类别的产品的图像数量、最多类别的产品的图像数量以及多种类别产品的平均图像数量；在最多类别的产品的图像数量大于或等于最少类别的产品的图像数量的预设倍数时，对图像数量小于多种类别产品的平均图像数量的类别的第一产品的图像进行图像扩充，使得所述多种类别产品的正常图像的数量实现类别均衡化，得到所述类别均衡化的多种类别产品的正常图像。
21.例如，可从多种类别产品的正常图像中，统计每个类别产品的图像数量，其中，最少类别的产品的图像数量可记为和最大类别的图像数量可记为，以及多种类别产品的平均图像数量可记为。作为一种示例可假设，则认为多种类别产品的图像数量较为均衡，此时不进行类别均衡化的操作；而如果，则认为多种类别产品的图像数量出现失衡，即最少类别的产品的图像数量太少，而最大类别的图像数量较多，此时可对图像数量小于多种类别产品的平均图像数量（）的类别的数据集（即上文所述的第一产品的图像数据集），以图像数量达到为目标进行图像扩充。
22.在一些示例性的实施例中，为丰富第一产品的图像数据集中的图像，可采用几何变化操作对第一产品的图像数据集中已有的图像进行图像变换操作。具体地，对图像数量小于多种类别产品的平均图像数量的类别的第一产品的图像进行图像扩充，包括：基于多种类别产品的平均图像数量和第一产品的正常图像数量，确定第一产品待扩充的图像数量；从第一产品的正常图像中选取第一图像，第一图像为所述第一产品的正常图像中的任意一张图像；对第一图像进行几何图像变化操作，得到第二图像，并将第二图像加入至第一产品的正常图像中；其中，几何图像变化操作包括翻转、平移、旋转、缩放和仿射变换中的至少一种操作；重复执行从第一产品的正常图像中选取第一图像的步骤，直至第一产品的正常图像中扩充的图像数量达到第一产品待扩充的图像数量。
23.例如，待扩充的第一产品的正常图像的数据集记为数据集，该数据集中正常图像的数量记为需要扩充到的目标数量为，可计算数据集需扩充的图像数量；第二步，初始化数据集的图像扩充集合为；第三步，随机从数据集中选取一张第一图像，对第一图像进行几何图像变化操作得到第二图像，其中，几何图像变化操作包括翻转、平移、旋转、缩放、仿射变换等操作中的一个或多个；第四步，将第二图像到图像扩充集合中。重复执行步骤第三步和第四步，第三步和第四步的执行次数为次，直至数据集中的图像数量达到目标数量。最后，将图像扩充集合并入到数据集中，得到图像扩充后的数据集。
24.步骤130，基于类别均衡化的多种类别产品的正常图像，训练得到异常检测网络。
25.其中，异常检测网络包括特征提取模块和特征编码模块，特征提取模块包括掩膜模块、特征局部对齐表示模块和深度残差网络，掩膜模块在深度残差网络之前，用于对输入的图像进行局部掩膜以对输入的图像进行图像增强；特征局部对齐模块利用特征提取模块提取的特征图上当前单元格周围的单元格信息对当前单元格进行表示并进行特征对齐；特征编码模块包括特征金字塔，用于通过串联或并联不同扩容率的空洞卷积对特征局部对齐模块提取的特征进行多个尺度的融合。
26.可选地，该异常检测网络可基于孪生网络ad_net改进得到。图2为本技术实施例提供的一种基于孪生网络ad_net改进得到的异常检测网络的结构示意图。如图2所示，该异常检测网络可包括特征提取模块、特征编码模块和预测头。其中，特征提取模块有掩膜模块、特征局部对齐模块和深度残差网络构成。在图2中，由于采用了孪生网络ad_net，因此网络的输入为一个图像对，即两个图像ia和ib同时输入进行训练，依次通过掩膜模块进行图像掩膜、卷积神经网络进行特征提取、特征局部表示、特征编码模块进行编码以及预测器确定两个图像ia和ib之间的相似度。
27.其中，特征提取模块为基于深度残差网络（resnet），用于提取对各产品图像的类别无关特征，该类别无关特征也可理解为各产品图像的通用特征，即不带有特定类别属性的特征。而且为了提高对不同尺度的异常目标检测，本技术实施例在特征局部对齐模块引入特征金字塔层，通过串联或并联使用不同扩张率的空洞卷积来实现对图像的多尺度上下文的语义信息捕捉。
28.为了能在少样本条件下仍然能够保证异常检测网络的特征提取能力，本技术实施例在深度残差网络之前新增掩膜模块m，该掩膜模块m能够通过对输入图像进行局部掩膜以对输入图像进行增强，从而能够提升深度残差网络特征提取、特征局部表征以及特征编码等的难度，使得异常检测网络能够学习到更有区分度的特征表示。与常规的掩膜操作不同的是，本技术实施例采自注意力机制和位置编码等操作，对图像进行通道级的掩膜，可以利用其他通道的信息来恢复掩膜掉的通道的信息，从而有效增加网络学习的难度，能够更好地加强异常检测网络的特征学习，同时减少直接对图像进行掩膜操作所带来的计算复杂
度。另外，增加特征局部对齐模块，进一步提升网络的特征表达能力，保证对不同姿态物体的唯一特征表示。
29.图3为本技术实施例提供异常检测网络的训练方法中的一种掩膜模块的结构示意图。在图3中，该掩膜模块也可称为掩膜卷积（即masked convolution），输入图像依次经过区域掩膜、平均池化、flatten（拉平）、位置编码、线性映射、自注意力机制、非线性激活以及权重乘积，对输入图像进行通道级的掩膜，得到lmask。
30.参照图4，图4为本技术实施例根据异常检测网络的训练方法提供的特征局部对齐模块的结构示意图，该模块能够进一步提升网络特征表示能力。深度残差网络每个阶段提取得到的特征图，可通过公式（1）来表示，对于特征图第位置的单元格可利用其周围单元格的信息对其进行表征如公式（2）。如图4所示，非边缘区域的单元格的周围通常有8个相邻的单元格~，该单元格可由这8个相邻的单元格进行特征表示。
31.（1）（2）利用特征矫正子网络预测局部特征坐标映射矩阵，根据完成对各个特征点的采样和差分图像表示。
32.在一些示例性的实施例中，由于本技术实施例采用的异常检测网络为基于孪生的ad_net构建得到，因此，在异常检测网络训练时，需要两个输入和。具体地，基于类别均衡化的多种类别产品的正常图像，训练得到异常检测网络，包括：从类别均衡化的多种类别产品的正常图像中选择多批图像，多批图像中的每批图像包含有n个图像对，该n个图像对中的每个图像对包含有第一输入图像和第二输入图像；其中，第一输入图像为从多种类别产品的正常图像中随机选取的任意一张图像，第二输入图像为按照第一预设概率，从所述多种类别产品的正常图像中与第一输入图像为同一产品类别的图像中选择的不重复的k张图像，或者，第二输入图像为按照第二预设概率，从所述多种类别产品的正常图像中除第一输入图像所属的产品类别以外的产品类别的图像中选择的不重复的k张图像，第一预设概率和第二预设概率之和为1；基于多批图像，训练得到异常检测网络。
33.例如，可从类别均衡化的多种类别产品的正常图像中选择多批图像对孪生的ad_net进行训练。由于孪生的ad_net有和两个输入，因此，对应的，每批图像可为n个图像对，记为其中，其中表示一批图像中输入源的第幅图像，表示对应的输入源第幅训练图像对应的支撑集。可以是随机
的从一批图像中选取，则可按照一定的概率从与图像同一类别中选择的不重复的k张图片，或者，按照的概率从与图像选择的k张图片。
34.其中，异常检测网络即孪生的ad_net的损失函数为，公式如式（3）。
35.（3）其中，，，。
36.表示的l2范数，表示的l2范数，表示掩膜损失，、分别表示掩膜模块的输出图像矢量、输入图像矢量，是其对应的系数。
37.作为一种实施方式，异常检测网络的优化器选用动量随机梯度下降优化算法，其中，参数momentum: 0.9，初始化学习率0.0001，训练数据规模为三千六百多张图片，训练50轮后停止。图5为本技术实施例提供的异常检测网络的训练过程示意图。在图5中，可从类别均衡化的多种类别产品的正常图像（即图5所示的训练集）中选择多批图像（即图5所示的第一批图像~第m批图像），每批图像，以第一批图像为例，第一批图像包含有n个图像对，每个图像对又包含有第一输入图像和第二输入图像，第一输入图像和第二输入图像可以是同一类别中不重复的两张图像，也可以是所属两个不同类别中的两张图像，第一输入图像作为孪生的ad_net的输入至net1中，第二输入图像作为孪生的ad_net的输入至net2中，基于loss函数联合训练得到异常检测网络。
38.在本技术实施例中提供的异常检测网络的训练方法，能够获取多种类别产品的正常图像，以及对这多种类别产品的正常图像进行类别均衡化，使得各个类别产品的正常图像在数量上相差不大，进而基于类别均衡化的多种类别产品的正常图像训练得到的异常检测网络能够对多个类别产品进行特征提取，而且该异常检测网络中包括的掩膜模块能够对输入的图像进行图像增强，有效加强异常检测网络的特征学习能力并且减少直接对图像进行掩膜操作带来的计算复杂度。由于采用的都是产品的正常图像进行训练，能够大幅降低数据标注和收集异常图像数据的工作量，训练得到的异常检测网络由于是基于多种类型的产品图像训练的，因此，其应用场景相较于只针对某一种类型产品图像进行训练得到的异常检测网络或缺陷检测网络也更为广泛。
39.需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤110至步骤130的执行主体可以为设备a；又比如，步骤110至步骤120的执行主体可以为设备a，步骤130的执行主体可以为设备b；
等等。
40.图6为本技术示例性实施例提供的一种异常检测方法的流程示意图。如图6所示，该方法包括：步骤610，获取待检测的目标产品的目标图像。
41.其中，目标产品可以是有缺陷检测需求的任意一种类型的产品，以锂电池生产制造领域，该目标产品可以是锂电池电芯，目标产品的目标图像可以是锂电池电芯的某一拍摄角度的照片。
42.步骤620，通过异常检测网络提取目标图像的特征，异常检测网络为基于多种类别产品的正常图像训练得到。
43.其中，异常检测网络的训练过程请参见异常检测网络的训练方法的实施例，本技术实施例在此不再赘述。
44.步骤630，通过目标产品的多元正态分布基于目标图像的特征，确定目标图像的异常概率和异常区域，其中，目标产品的多元正态分布为基于目标产品的第一数量的正常图像，通过异常检测网络提取的特征构建得到。
45.在一些示例性的实施例中，为利用目标产品的正样本进行异常检测，可预先基于目标产品的多个正常图像构建目标产品的多元正态分布，以确定目标产品的正常图像的分布情况。具体地，目标产品的多元正态分布的构建过程可包括：获取目标产品的第一数量的正常图像；利用k中心点聚类的方式对目标产品的第一数量的正常图像进行无监督聚类，得到k个类簇中心，一个类簇中心对应于一张目标产品的正常图像；通过特征提取网络提取k个类簇中心的每个类簇中心对应的目标产品的正常图像的特征；基于k个类簇中心对应的目标产品的正常图像的特征，构建目标产品的多元正态分布。
46.例如，获取待异常鉴定的目标产品的样本数据c，可从目标产品的样本数据c中取一批正常样本集，即目标产品的一批正常图像，该正常图像的数量为第一数量，再利用k中心点（k-medoide）聚类的方式对进行无监督聚类，得到k个类簇{}，然后从每个类簇（i=1,2，
……
，k）中选择该类簇中心对应的原始图片作为该类簇的代表图片（即上文所述的类簇中心对应于的一张目标产品的正常图像），得到目标产品的多元正态分布的支撑集s={}。最后，基于目标产品的多元正态分布的支撑集s={}，构建目标产品的多元正态分布。
47.其中，基于k个类簇中心对应的目标产品的正常图像的特征，构建目标产品的多元正态分布，具体可通过ad_net获取支撑集s中每个类簇中心对应的特征，这些特征构成样本数据c的注册特征集sf，由sf获得样本数据c的多元正态分布。其中，多元正态分布的均值和方差的公式如公式（4）和（5）。
48.（4）（5）在一些示例性的实施例中，为避免用于构建目标产品的多元正态分布的样本数据集较小，不能保证样本的多样性，使得构建的多元正态分布不能代表目标产品的正常图像的分布情况，本技术实施例在利用k中心点聚类的方式对目标产品的第一数量的正常图像进行无监督聚类之前，可对目标产品的第一数量的正常图像进行图像增强，以丰富样本的多样性。具体地，利用k中心点聚类的方式对目标产品的第一数量的正常图像进行无监督聚类，得到k个类簇中心，包括：对目标产品的第一数量的正常图像进行图像增强，得到目标产品的第二数量的正常图像，第二数量大于第一数量；利用预训练网络resnet34分别对目标产品的第二数量的正常图像进行特征提取，获取目标产品的第二数量的正常图像中各正常图像的全连接之前的一层特征，作为目标产品的第二数量的正常图像中各正常图像的特征表示；利用k中心点聚类的方式对目标产品的第二数量的正常图像的特征表示进行聚类，将目标产品的第二数量的正常图像划分为k个类簇；分别确定k个类簇中心对应的目标产品的正常图像，作为k个类簇的代表图像。
49.例如，可对目标产品的第一数量的正常图像的样本集进行图像增强得到，以保证基于样本得到的特征表示的多样性。具体地，该图像增强的过程可包括：s1，确定样本集的样本量为，需要扩充的样本量为，初始化图像增强集合;s2，随机从样本集中选取一张图像，对进行几何图像变化操作得到，该几何图像变化操作包括翻转、平移、旋转、缩放、仿射变换等操作中的一种或多种，再将几何图像变化操作后得到的放入到图像增强集合中；s3，重复s2n次，便可获得图像增强集合，即上文所述的目标产品的第二数量的正常图像的集合。
50.图7为本技术实施例提供的异常检测方法中的一种多元正态分布的构建过程示意图。在图7中，目标产品的多元正态分布的构建过程可包括：s71，获取目标产品的样本集；s72，筛选出目标产品的正常图像；s73，对目标产品的正常图像进行图像增强，s74，通过特征提取网络对图像增强后的图像集中的各个图像进行特征提取；s75，利用k-medoide聚类基于各个图像的特征对图像增强后的图像集进行无监督聚类，其中，聚类得到的类簇包括
c1~ck；s76，获取k个聚类中心的代表图像；s77，基于k个聚类中心的代表图像获得支撑集；s78，通过ad_net提取支撑集中每个图像的特征；s79，基于支撑集中每个图像的特征，构建目标产品的多元正态分布。其中，ad_net为特征提取网络的一种实施方式。
51.例如，可利用预训练网络resnet34对中的每个图像进行特征提取操作，本技术实施例可选取全连接之前一层的特征为每个图像的特征表示；再基于提取得到的的特征表示的集合，利用k中心点距离算法进行聚类，将划分成k个类簇{}。
52.在一些示例性的实施例中，上述通过异常检测网络提取得到的目标图像的特征可包括多个单元格的特征，即可以将目标图像划分为多个单元格，每个单元格的大小相等，再通过异常检测网络提取目标图像的每个单元格的特征，即通过异常检测网络获取得到的目标图像的特征中包含有每个单元格的特征，而且每个单元格的特征携带有该单元格的位置信息。相应的，为了便于定位目标图像中的异常区域，目标产品的多元正态分布也包含有目标产品的每一类图像的多个单元格的特征分布。具体地，目标图像的特征包括目标图像的多个单元格的特征，目标产品的多元正态分布包括目标产品的正常图像的多个单元格的特征分布，通过目标产品的多元正态分布基于目标图像的特征，确定目标图像的异常概率和异常区域，包括：确定目标图像的多个单元格的各单元格的特征和目标产品的正常图像的对应的单元格的特征分布之间的距离；基于目标图像的多个单元格的各单元格的特征和目标产品的正常图像的对应的单元格的特征分布之间的距离，确定目标图像的异常概率和异常区域。
53.例如，确定目标图像的多个单元格的各单元格的特征和第类目标产品的正常图像的对应的多元正态分布之间的马氏距离，可通过公式（6）来确定。
54.（6）其中，为目标图像的特征图单元格的特征，和分别是第类产品的多元正态分布的均值和方差。
55.可以理解，目标图像的多个单元格的各单元格的特征和目标产品的正常图像的对应的单元格的特征分布之间的距离越大，表明该单元格为异常区域的概率越大，即该单元格的异常概率越大。图8为本技术实施例提供的通过异常检测网络和多元正态分布确定图像中的异常区域和异常概率的过程示意图，该过程可包括：s81，获取待检测的目标图像；s82，通过ad_net提取目标图像的图像特征；s83，通过多元正态分布基于目标图像的图像特征对目标图像进行异常鉴定；s84，确定目标图像的异常概率和区域异常概率，可通过公式（7）和（8）来确定。
56.（7）（8）可选地，在目标图像的异常概率大于或等于预设异常概率阈值时，还可通过缺陷检测网络确定目标图像的异常区域对应的缺陷类别。
57.其中，预设异常概率阈值可包括第一预设异常概率阈值和第二预设异常概率阈值，其中，第一预设异常概率阈值小于第二预设异常概率阈值，即第一预设异常概率阈值用于筛选出轻微异常的图像，第二预设异常概率阈值用于筛选出高度异常的图像。具体地，在目标图像的异常概率大于或等于预设异常概率阈值时，通过缺陷检测网络确定目标图像中缺陷的位置和类别，包括：在目标图像的异常概率大于或等于第一异常概率阈值且小于或等于第二异常概率阈值时，通过缺陷检测网络确定目标图像中缺陷的位置和类别；在目标图像的异常概率大于第二异常概率阈值时，若通过缺陷检测网络确定目标图像的异常区域没有缺陷，则确定目标图像为异常图像。
58.其中，缺陷检测网络可采用任意通用的缺陷检测网络，只要该缺陷检测网络能够检测出图像中的缺陷及缺陷类别即可，本技术实施例对此不作具体限定。
59.图9为本技术实施例提供的一种异常检测和缺陷检测的过程示意图，可包括：s91，输入目标产品的目标图像。
60.s92，通过异常检测网络和目标产品的多元正态分布对目标图像进行异常检测。
61.s93，确定目标图像的异常区域和对应的异常概率。
62.s94，确定异常概率与和关系，以对异常区域进行异常分类。
63.若，则确定图像无异常；若，则执行s751；若，则执行s761；s951，通过缺陷检测网络检测目标图像。
64.s952，确定缺陷检测网络是否能检测出缺陷区域。
65.若缺陷检测网络能检测出异常的缺陷区域，则执行s753，否则确定该目标图像无异常。
66.s953，输出缺陷类别和缺陷区域。
67.s961，通过缺陷检测网络检测目标图像。
68.s962，确定缺陷检测网络是否能检测出缺陷。
69.若缺陷检测网络能检测出缺陷，则执行s953，否则，仍然确定该图片有异常，并根据阈值给出异常的区域位置为。
70.另外，本实施例提供的方法可应用于任何存在缺陷或异常检测的应用场景中，仅利用有限产品的正常图像，即可构建得到异常检测模型，和各产品的多元正态分布，而且结合缺陷检测网络，有效提高缺陷检测的准确率。
71.在本技术实施例中提供的异常检测方法中，在获取待检测的目标产品的目标图像之后，能够通过异常检测网络提取目标图像的特征，该异常检测网络为基于多种类别产品的正常图像训练得到，以及通过目标产品的多元正态分布基于目标图像的特征，确定目标图像的异常概率和异常区域，其中，目标产品的多元正态分布为基于目标产品的第一数量的正常图像，通过异常检测网络提取的特征构建得到。由于所利用的异常检测网络和目标产品的多元正态分布都是基于产品的正常图像构建得到，使得在仅有产品正样品的情况下仍然能够实现产品的异常检测。
72.需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤610至步骤630的执行主体可以为设备a；又比如，步骤610至步骤620的执行主体可以为设备a，步骤530的执行主体可以为设备b；等等。
73.另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如110、120、610、等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类别。
74.图10为本技术示例性实施例提供的一种异常检测网络的训练装置1000的结构示意图。如图10所示，该装置1000包括：图像获取模块1010、类别均衡模块1020、网络训练模块1030，其中：图像获取模块1010，用于获取多种类别产品的正常图像；类别均衡模块1020，用于对所述多种类别产品的正常图像进行类别均衡化，得到所述类别均衡化的多种类别产品的正常图像；网络训练模块1030，用于基于所述类别均衡化的多种类别产品的正常图像，训练得到所述异常检测网络；其中，所述异常检测网络包括特征局部对齐模块和特征编码模块，所述特征局部对齐模块包括掩膜模块和深度残差网络，所述掩膜模块在所述深度残差网络之前，用于对输入的图像进行局部掩膜以对所述输入的图像进行图像增强；所述特征编码模块包括特征金字塔，用于通过串联或并联不同扩容率的空洞卷积对所述特征局部对齐模块提取的特征进行多个尺度的融合。
75.进一步可选地，所述类别均衡模块1020对所述多种类别产品的正常图像进行类别均衡化，得到所述类别均衡化的多种类别产品的正常图像时，具体用于：从所述多种类别产品的正常图像中，确定所述多种类别产品中各类别产品的图像数量；从所述多种类别产品中各类别产品的图像数量中，确定最少类别的产品的图像数量、最多类别的产品的图像数量以及所述多种类别产品的平均图像数量；在所述最多类别的产品的图像数量大于或等于所述最少类别的产品的图像数量的预设倍数时，对图像数量小于所述多种类别产品的平均图像数量的类别的第一产品的图像进行图像扩充，使得所述多种类别产品的正常图像的数量实现类别均衡化，得到所述类别均衡化的多种类别产品的正常图像。
76.进一步可选地，所述类别均衡模块1020对图像数量小于所述多种类别产品的平均图像数量的类别的第一产品的图像进行图像扩充时，具体用于：基于所述多种类别产品的平均图像数量和所述第一产品的正常图像数量，确定所述第一产品待扩充的图像数量；从所述第一产品的正常图像中选取第一图像，所述第一图像为所述第一产品的正常图像中的任意一张图像；对所述第一图像进行几何图像变化操作，得到第二图像，并将所述第二图像加入至所述第一产品的正常图像中；其中，所述几何图像变化操作包括翻转、平移、旋转、缩放和仿射变换中的至少一种操作；重复执行从所述第一产品的正常图像中选取第一图像的步骤，直至所述第一产品的正常图像中扩充的图像数量达到所述第一产品待扩充的图像数量。
77.进一步可选地，所述网络训练模块1030基于所述类别均衡化的多种类别产品的正常图像，训练得到所述异常检测网络时，具体用于：从所述类别均衡化的多种类别产品的正常图像中选择多批图像，所述多批图像中的每批图像包含有n个图像对，所述n个图像对中的每个图像对包含有第一输入图像和第二输入图像；其中，所述第一输入图像为从所述多种类别产品的正常图像中随机选取的任意一张图像，所述第二输入图像为按照第一预设概率，从所述多种类别产品的正常图像中与第一输入图像为同一产品类别的图像中选择的不重复的k张图像，或者，第二输入图像为按照第二预设概率，从所述多种类别产品的正常图像中除第一输入图像所属的产品类别以外的产品类别的图像中选择的不重复的k张图像，第一预设概率和第二预设概率之和为1；基于所述多批图像，训练得到所述异常检测网络。
78.异常检测网络的训练装置能够实现图1~图5的方法实施例的方法，具体可参考图1~图5所示实施例的异常检测网络的训练方法，不再赘述。
79.图11为本技术示例性实施例提供的一种异常检测装置的结构示意图。如图11所示，该装置1100包括：图像获取模块1110、特征提取模块1120、异常确定模块1130，其中：图像获取模块1110，用于获取待检测的目标产品的目标图像；特征提取模块1120，用于通过异常检测网络提取所述目标图像的特征，所述异常检测网络为基于多种类别产品的正常图像训练得到；异常确定模块1130，用于通过所述目标产品的多元正态分布基于所述目标图像的特征，确定所述目标图像的异常概率和异常区域，其中，所述目标产品的多元正态分布为基于所述目标产品的第一数量的正常图像，通过异常检测网络提取的特征构建得到。
80.进一步可选地，所述装置还包括多元正态分布构建模块，用于：获取所述目标产品的第一数量的正常图像；利用k中心点聚类的方式对所述目标产品的第一数量的正常图像进行无监督聚类，得到k个类簇中心，一个所述类簇中心对应于一张所述目标产品的正常图像；通过特征提取网络提取所述k个类簇中心对应的所述目标产品的正常图像的特征；基于所述k个类簇中心对应的所述目标产品的正常图像的特征，构建所述目标产品的多元正态分布。
81.进一步可选地，所述多元正态分布构建模块利用k中心点聚类的方式对所述目标产品的第一数量的正常图像进行无监督聚类，得到k个类簇中心时，具体用于：对所述目标产品的第一数量的正常图像进行图像增强，得到所述目标产品的第二数量的正常图像，所述第二数量大于所述第一数量；利用预训练网络resnet34分别对所述目标产品的第二数量的正常图像进行特征提取，获取所述目标产品的第二数量的正常图像中各正常图像的全连接之前的一层特征，作为所述目标产品的第二数量的正常图像中各正常图像的特征表示；利用k中心点聚类的方式对所述目标产品的第二数量的正常图像的特征表示进行聚类，将所述目标产品的第二数量的正常图像划分为所述k个类簇；分别确定所述k个类簇的类簇中心对应的所述目标产品的正常图像，作为所述k个类簇的代表图像。
82.进一步可选地，所述目标图像的特征包括所述目标图像的多个单元格的特征，所述目标产品的多元正态分布包括所述目标产品的正常图像的多个单元格的特征分布，所述异常确定模块1130通过所述目标产品的多元正态分布基于所述目标图像的特征，确定所述目标图像的异常概率和异常区域时，具体用于：确定所述目标图像的多个单元格的各单元格的特征和所述目标产品的正常图像的对应的单元格的特征分布之间的距离；基于所述目标图像的多个单元格的各单元格的特征和所述目标产品的正常图像的对应的单元格的特征分布之间的距离，确定所述目标图像的异常概率和异常区域。
83.异常检测装置能够实现图6~图9的方法实施例的方法，具体可参考图6~图9所示实施例的异常检测方法，不再赘述。
84.图12为本技术示例性实施例提供的一种电子设备的结构示意图。如图12所示，该设备包括：存储器121和处理器122。
85.存储器121，用于存储计算机程序，并可被配置为存储其它各种数据以支持在计算设备上的操作。这些数据的示例包括用于在计算设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图像，视频等。
86.处理器122，与存储器121耦合，用于执行存储器121中的计算机程序，以用于：获取多种类别产品的正常图像；对所述多种类别产品的正常图像进行类别均衡化，得到所述类别均衡化的多种类别产品的正常图像；基于所述类别均衡化的多种类别产品的正常图像，训练得到所述异常检测网络；其中，所述异常检测网络包括特征提取模块和特征编码模块，所述特征提取模块包括掩膜模块、特征局部对齐模块和深度残差网络，所述掩膜模块在所述深度残差网络之前，用于对输入的图像进行局部掩膜以对所述输入的图像进行图像增强；所述特征局部对齐模块利用所述特征提取模块提取的特征图上当前单元格周围的单元格信息对所述当前单元格进行表示，并对特征进行矫正对齐；所述特征编码模块包括特征金字塔，用于通过串联或并联不同扩容率的空洞卷积对所述特征局部对齐模块提取的特征进行多个尺度的融合。
87.进一步，如图12所示，该电子设备还包括：通信组件123、显示器124、电源组件125、音频组件126等其它组件。图12中仅示意性给出部分组件，并不意味着电子设备只包括图12所示组件。另外，根据流量回放设备的实现形态的不同，图12中虚线框内的组件为可选组
件，而非必选组件。例如，当电子设备实现为智能手机、平板电脑或台式电脑等终端设备时，可以包括图12中虚线框内的组件；当电子设备实现为常规服务器、云服务器、数据中心或服务器阵列等服务端设备时，可以不包括图12中虚线框内的组件。
88.相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时，致使处理器能够实现上述异常检测网络的训练方法实施例中的步骤。
89.上述图12中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还可以包括近场通信（nfc）模块，射频识别（rfid）技术，红外数据协会（irda）技术，超宽带（uwb）技术，蓝牙（bt）技术等。
90.上述图12中的存储器可以由任何类别的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（sram），电可擦除可编程只读存储器（eeprom），可擦除可编程只读存储器（eprom），可编程只读存储器（prom），只读存储器（rom），磁存储器，快闪存储器，磁盘或光盘。
91.上述图12中的显示器包括屏幕，其屏幕可以包括液晶显示器（lcd）和触摸面板（tp）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
92.上述图12中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
93.上述图12中的音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风（mic），当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。
94.图13为本技术示例性实施例提供的另一种电子设备的结构示意图。如图13所示，该设备包括：存储器131和处理器132。
95.存储器131，用于存储计算机程序，并可被配置为存储其它各种数据以支持在计算设备上的操作。这些数据的示例包括用于在计算设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图像，视频等。
96.处理器132，与存储器131耦合，用于执行存储器131中的计算机程序，以用于：获取待检测的目标产品的目标图像；通过异常检测网络提取所述目标图像的特征，所述异常检测网络为基于多种类别产品的正常图像训练得到；通过所述目标产品的多元正态分布基于所述目标图像的特征，确定所述目标图像的异常概率和异常区域，其中，所述目标产品的多元正态分布为基于所述目标产品的第一数量的正常图像，通过异常检测网络提取的特征构
建得到。
97.进一步，如图13所示，该电子设备还包括：通信组件133、显示器134、电源组件135、音频组件136等其它组件。图13中仅示意性给出部分组件，并不意味着电子设备只包括图13所示组件。另外，根据流量回放设备的实现形态的不同，图13中虚线框内的组件为可选组件，而非必选组件。例如，当电子设备实现为智能手机、平板电脑或台式电脑等终端设备时，可以包括图13中虚线框内的组件；当电子设备实现为常规服务器、云服务器、数据中心或服务器阵列等服务端设备时，可以不包括图13中虚线框内的组件。
98.相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时，致使处理器能够实现上述异常检测方法实施例中的步骤。
99.上述图13中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还可以包括近场通信（nfc）模块，射频识别（rfid）技术，红外数据协会（irda）技术，超宽带（uwb）技术，蓝牙（bt）技术等。
100.上述图13中的存储器可以由任何类别的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（sram），电可擦除可编程只读存储器（eeprom），可擦除可编程只读存储器（eprom），可编程只读存储器（prom），只读存储器（rom），磁存储器，快闪存储器，磁盘或光盘。
101.上述图13中的显示器包括屏幕，其屏幕可以包括液晶显示器（lcd）和触摸面板（tp）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
102.上述图13中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
103.上述图13中的音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风（mic），当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。
104.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
105.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流
程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
106.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
107.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
108.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
109.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (ram) 和/或非易失性内存等形式，如只读存储器 (rom) 或闪存(flash ram)。内存是计算机可读介质的示例。
110.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (pram)、静态随机存取存储器 (sram)、动态随机存取存储器 (dram)、其他类别的随机存取存储器 (ram)、只读存储器 (rom)、电可擦除可编程只读存储器 (eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器 (cd-rom)、数字多功能光盘 (dvd) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
111.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
112.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。