一种图像处理方法、装置、介质、设备及系统与流程

1.本技术涉及图像处理技术领域，特别涉及一种图像处理方法、装置、介质、设备及系统。


背景技术：

2.随着科技的发展，图像处理技术在很多工业场景得到了广泛应用，尤其是产品缺陷检测。采用图像处理技术计算出产品缺陷的位置和大小，进一步获取缺陷的纹理特征，并结合缺陷的尺寸以及纹理特征对缺陷进行分类和等级划分。
3.目前，现有的图像处理技术通过对原始拍摄图像进行滤波的方式来减少噪声干扰，但是某些图像的干扰比较复杂，对图像滤波并不能很好的降低干扰因素对缺陷识别的影响，缺陷检测准确率有待提高。


技术实现要素：

4.有鉴于此，本技术提供了一种图像处理方法、装置、介质、设备及系统，主要目的在于解决现有图像处理方法对干扰比较复杂的图像的缺陷检测准确率较低的问题。
5.根据本技术的一个方面，提供了一种图像处理方法，该方法包括：获取包含语义分割对象的多个原始图像，对每个原始图像进行裁剪，获得每个原始图像对应的多个子图，按预设排布规则，对每个原始图像对应的多个子图进行合并，生成每个原始图像对应的合并图；将每个原始图像对应的合并图作为一个通道的输入图像，基于每个原始图像对应的合并图进行多通道图像变换，获得变维图像；通过训练好的神经网络模型，获得所述变维图像中的缺陷位置信息；基于所述变维图像中的缺陷位置信息，获得所述变维图像的缺陷特征，根据所述缺陷特征，确定所述语义分割对象的缺陷类型。
6.可选地，所述基于每个原始图像对应的合并图进行多通道图像变换，获得变维图像，包括：采用reshape变换方法对每个原始图像对应的合并图进行多通道图像变换，获得变维图像。
7.可选地，所述基于所述变维图像中的缺陷位置信息，获得所述变维图像的缺陷特征，包括：基于所述缺陷位置信息和预设的缺陷特征计算算子，获得所述变维图像的缺陷特征。
8.可选地，所述根据所述缺陷特征，确定所述语义分割对象的缺陷类型，包括：根据缺陷类型的判断条件，将所述缺陷特征划分为目标缺陷的关键特征和目标缺陷的约束特征；根据所述目标缺陷的关键特征，确定所述目标缺陷归属的缺陷类型；
当所述目标缺陷的约束特征满足所述缺陷类型的约束条件时，所述目标缺陷为所述缺陷类型对应的缺陷。
9.可选地，所述根据所述目标缺陷的关键特征，确定所述目标缺陷归属的缺陷类型，包括：根据所述目标缺陷的关键特征和预设缺陷类型分类表，确定所述目标缺陷归属的缺陷类型。
10.可选地，所述当所述目标缺陷的约束特征满足所述缺陷类型的约束条件时，所述目标缺陷为所述缺陷类型对应的缺陷之后，所述图像处理方法还包括：根据所述目标缺陷的关键特征，确定所述目标缺陷对应的缺陷分级。
11.可选地，所述根据所述目标缺陷的关键特征，确定所述目标缺陷归属的缺陷类型之后，所述图像处理方法还包括：当所述目标缺陷的约束特征不满足所述缺陷类型的约束条件时，所述目标缺陷为非缺陷。
12.可选地，所述目标缺陷的关键特征包括长度、宽度、长宽比、长宽均值、对比度以及面积中的至少一个。
13.可选地，所述根据所述缺陷特征，确定所述语义分割对象的缺陷类型，包括：将所述缺陷特征与预设缺陷特征分类表进行比较；根据比较结果，确定所述语义分割对象的缺陷类型和缺陷分级。
14.可选地，所述确定所述语义分割对象的缺陷类型和缺陷分级之后，所述图像处理方法还包括：根据所述语义分割对象的缺陷类型、缺陷分级和预设要求，筛选目标检测对象。
15.可选地，所述训练好的神经网络模型包括依次连接的输入层、卷积层和决策层，其中，所述卷积层包括多个下采样层和多个上采样层，每两个下采样层之间和每两个上采样层之间均加入注意机制层。
16.可选地，所述图像处理方法进一步包括：获得每个原始图像对应的多个子图；对每个子图进行置信度求取，获取每个子图的置信度子图；按预设排布规则，对每个原始图像对应的多个置信度子图进行合并，生成每个原始图像对应的置信度合并图；将每个原始图像对应的置信度合并图作为一个通道的输入图像，基于每个原始图像对应的置信度合并图进行多通道图像变换，获得缺陷分割图。
17.可选地，所述对每个子图进行置信度求取，获取每个子图的置信度子图，包括：采用softmax激活函数对每个子图进行置信度求取，获取每个子图的置信度子图。
18.根据本技术的另一个方面，提供了一种图像处理方法装置，包括：合并图获取模块，用于获取包含语义分割对象的多个原始图像，对每个原始图像进行裁剪，获得每个原始图像对应的多个子图，按预设排布规则，对每个原始图像对应的多个子图进行合并，生成每个原始图像对应的合并图；变维图像获取模块，用于将每个原始图像对应的合并图作为一个通道的输入图像，基于每个原始图像对应的合并图进行多通道图像变换，获得变维图像；
缺陷位置信息获取模块，用于通过训练好的神经网络模型，获得所述变维图像中的缺陷位置信息；缺陷类型确定模块，用于基于所述变维图像中的缺陷位置信息，获得所述变维图像的缺陷特征，根据所述缺陷特征，确定所述语义分割对象的缺陷类型。
19.可选地，所述基于每个原始图像对应的合并图进行多通道图像变换，获得变维图像，包括：采用reshape变换方法对每个原始图像对应的合并图进行多通道图像变换，获得变维图像。
20.可选地，所述基于所述变维图像中的缺陷位置信息，获得所述变维图像的缺陷特征，包括：基于所述缺陷位置信息和预设的缺陷特征计算算子，获得所述变维图像的缺陷特征。
21.可选地，所述根据所述缺陷特征，确定所述语义分割对象的缺陷类型，包括：根据缺陷类型的判断条件，将所述缺陷特征划分为目标缺陷的关键特征和目标缺陷的约束特征；根据所述目标缺陷的关键特征，确定所述目标缺陷归属的缺陷类型；当所述目标缺陷的约束特征满足所述缺陷类型的约束条件时，所述目标缺陷为所述缺陷类型对应的缺陷。
22.可选地，所述根据所述目标缺陷的关键特征，确定所述目标缺陷归属的缺陷类型，包括：根据所述目标缺陷的关键特征和预设缺陷类型分类表，确定所述目标缺陷归属的缺陷类型。
23.可选地，所述当所述目标缺陷的约束特征满足所述缺陷类型的约束条件时，所述目标缺陷为所述缺陷类型对应的缺陷之后，所述图像处理方法还包括：根据所述目标缺陷的关键特征，确定所述目标缺陷对应的缺陷分级。
24.可选地，所述根据所述目标缺陷的关键特征，确定所述目标缺陷归属的缺陷类型之后，所述图像处理方法还包括：当所述目标缺陷的约束特征不满足所述缺陷类型的约束条件时，所述目标缺陷为非缺陷。
25.可选地，所述目标缺陷的关键特征包括长度、宽度、长宽比、长宽均值、对比度以及面积中的至少一个。
26.可选地，所述根据所述缺陷特征，确定所述语义分割对象的缺陷类型，包括：将所述缺陷特征与预设缺陷特征分类表进行比较；根据比较结果，确定所述语义分割对象的缺陷类型和缺陷分级。
27.可选地，所述确定所述语义分割对象的缺陷类型和缺陷分级之后，所述图像处理方法还包括：根据所述语义分割对象的缺陷类型、缺陷分级和预设要求，筛选目标检测对象。
28.可选地，所述训练好的神经网络模型包括依次连接的输入层、卷积层和决策层，其中，所述卷积层包括多个下采样层和多个上采样层，每两个下采样层之间和每两个上采样
层之间均加入注意机制层。
29.可选地，所述图像处理方法进一步包括：获得每个原始图像对应的多个子图；对每个子图进行置信度求取，获取每个子图的置信度子图；按预设排布规则，对每个原始图像对应的多个置信度子图进行合并，生成每个原始图像对应的置信度合并图；将每个原始图像对应的置信度合并图作为一个通道的输入图像，基于每个原始图像对应的置信度合并图进行多通道图像变换，获得缺陷分割图。
30.可选地，所述对每个子图进行置信度求取，获取每个子图的置信度子图，包括：采用softmax激活函数对每个子图进行置信度求取，获取每个子图的置信度子图。
31.根据本技术的另一个方面，提供了一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行上述图像处理方法对应的操作。
32.根据本技术的另一个方面，提供了一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述图像处理方法对应的操作。
33.根据本技术的另一个方面，提供了一种缺陷检测系统，缺陷检测系统包括图像采集设备和计算机设备，计算机设备用于实现上述图像处理方法对应的操作。
34.借由上述技术方案，本技术实施例提供的技术方案至少具有下列优点：本技术提供的一种图像处理方法、装置、介质、设备及系统，对多个原始图像进行多通道变换，获得一个变维图像，使用训练好的神经网络模型获取变维图像中的缺陷特征，基于缺陷特征，确定缺陷类型，由于多个原始图像能够更准确更丰富的表征缺陷信息，多通道变换后的变维图像增强了缺陷信息，变维图像作为训练好的神经网络模型的输入数据，因此训练好的神经网络模型的输入数据具有更丰富的缺陷信息，进而识别输出的缺陷特征准确，确定的缺陷类型也更加准确，提高了缺陷检测准确率。
35.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
36.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了本技术实施例提供的一种图像处理方法的流程图；图2示出了本技术实施例提供的再一种图像处理方法的流程图；图3示出了本技术实施例提供的一种图像处理方法的缺陷特征示意图；图4示出了本技术实施例提供的一种图像处理方法的缺陷分割图；图5示出了本技术实施例提供的一种图像处理方法装置的组成框图；
图6示出了本技术实施例提供的一种计算机设备的结构示意图。
37.其中，图5中：502-合并图获取模块；504-变维图像获取模块；506-缺陷位置信息获取模块；508-缺陷类型确定模块；图6中：602-处理器；604-通信接口；606-存储器；608-通信总线；610-程序。
具体实施方式
38.下文中将参考附图并结合实施例来详细说明本技术。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
39.为更进一步阐述本技术为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本技术申请的具体实施方式、结构、特征及其功效，详细说明如后。在下述说明中，不同的“一实施例”或“实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
40.针对现有图像处理方法对干扰比较复杂的图像的缺陷检测准确率较低的问题，本技术实施例提供了一种图像处理方法，如图1所示，该方法包括：102：获取包含语义分割对象的多个原始图像，对每个原始图像进行裁剪，获得每个原始图像对应的多个子图，按预设排布规则，对每个原始图像对应的多个子图进行合并，生成每个原始图像对应的合并图；在现有技术中，传统方法检测识别被测物体上的缺陷例如：sp划伤、油墨划伤、平台划伤、bg异色、平台模印等，背景干扰复杂，而现有的传统图像检测方法很难将缺陷从背景中分割出来，以至于无法解决存在复杂背景干扰缺陷，使得图像处理的难度高、效率低。语义分割能检测识别任意形状，语义分割对象就是能检测识别的形状。本技术提出采用多个原始图像，由于原始图像能更加丰富得表征缺陷信息，便于识别缺陷，同时将多个原始图像进行多通道变换获得一个变维图像，多通道变换后使得变维图像进一步丰富缺陷信息，从而进一步提高缺陷识别的准确度。
41.在本实施例中，按预设裁剪规则，将每个原始图像进行裁剪，获得每个原始图像对应的多个子图，按预设排布规则，对每个原始图像对应的多个子图进行合并，生成每个原始图像对应的合并图。
42.104：将每个原始图像对应的合并图作为一个通道的输入图像，基于每个原始图像对应的合并图进行多通道图像变换，获得变维图像；在本技术的一个实施例中，基于每个原始图像对应的合并图进行多通道图像变换，获得变维图像，包括：采用reshape变换方法对每个原始图像对应的合并图进行多通道图像变换，获得变维图像。
43.现有方法将每个原始图像作为一个通道，将四个通道的原始图像叠加在一起作为神经网络模型的输入图像，导致神经网络模型不能准确地学习图像中缺陷位置的特征。因此这里提出reshape变换的方法，将数据由转换为，然后输入到神经网络模型，神经网络模型能准确地学习图像中缺陷位置的特征。
44.106：通过训练好的神经网络模型，获得变维图像中的缺陷位置信息；
选择成像好的已测缺陷图像作为数据集，对包含缺陷的已测缺陷图像进行裁剪，获得多个小图，对小图中的缺陷进行标注，以便神经网络模型根据标注信息准确地获得缺陷特征。
45.具体地，如果数据集质量较差，则不满足标注条件，不需要进行标注。包括但不限于以下几种情况：若原始图片模糊，不予以标注；若数据重复标注第一张图片即可，不重复标注。通常的评估模型好坏，需要将样本数据集分为两部分，一部分为训练集，用来模型的训练；一部分为测试集，进行模型的测试；一般两部分测试集与训练集不存在重合部分，训练集与测试集划分尽量保持均衡随机。
46.图像标注提供画笔标注及线段标注两种方式。若缺陷较大使用线段标注进行勾勒缺陷的形状，之后再进行细微的修改。若缺陷较小可以将图像放大之后使用画笔进行图像的精细标注；注意再标注之后观察所标注的图像线段尽量流畅，丝滑对后续的训练精度有一定的提升。
47.基于数据集对神经网络模型进行训练，获得训练好的神经网络模型。
48.在本技术的一个实施例中，训练好的神经网络模型包括依次连接的输入层、卷积层和决策层，其中，卷积层包括多个下采样层和多个上采样层，每两个下采样层之间和每两个上采样层之间均加入注意机制层。
49.具体地，变维图像由输入层进入后传递至卷积层，在卷积层经过处理后，获得缺陷位置并输出值决策层，决策层将缺陷位置输出。
50.卷积层包括下采样部分和上采样部分。下采样部分，由3
×
3的卷积层和1个2
×
2的最大池化层组成一个下采样的模块。
51.当输入的图像大小为512
×
512
×
3的时候，具体执行方式如下：a1、conv1：进行三次[3,3]的16通道的卷积，获得一个[512,512,16]的初步有效特征层，再进行2
×
2最大池化，获得一个[256,256,16]的特征层。
[0052]
a2、conv2：对conv1获得的[256,256,16]的特征层进行三次[3,3]的16通道的卷积，获得一个[256,256,16]的初步有效特征层，再进行2
×
2最大池化，获得一个[128,128,16]的特征层。
[0053]
a3、conv3：对conv2获得的[128,128,16]的特征层进行三次[3,3]的32通道的卷积，获得一个[128,128,32]的初步有效特征层，再进行2
×
2最大池化，获得一个[64,64,32]的特征层。
[0054]
a4、conv4：对conv3获得的[64,64,32]的特征层进行三次[3,3]的32通道的卷积，获得一个[64,64,32]的初步有效特征层，再进行2
×
2最大池化，获得一个[32,32,32]的特征层。
[0055]
a5、conv5：对conv4获得的[32,32,32]进行三次[3,3]的64通道的卷积，获得一个[32,32,64]的初步有效特征层，再进行2
×
2最大池化，获得一个[16,16,64]的特征层a6、conv6：对conv5获得的[16,16,64]进行三次[3,3]的64通道的卷积，获得一个[16,16,64]的初步有效特征层。
[0056]
本技术增加了降采样次数，同时减少了每个stage中输出样本的通道数。这样的操作可以增大网络的感受野，学习到更大区域的特征，但是网络中padding的次数会引入额外的噪声，且通道数的减少不能充分学习缺陷及背景的特征。
[0057]
具体地，六个下采样之后，为了使图片尺寸变大，提取深层信息，使用了六个上采样，在上采样的过程中，图片的通道数是减半的，与下采样部分的特征提取通道数的变化相反。为了加强特征提取网络，将利用这六个初步的有效特征层进行特征融合，特征融合方式就是对特征层进行上采样并且进行堆叠。
[0058]
具体执行方式如下：a1、conv1：对下采样获得的[16,16,64]进行三次[3,3]的64通道的卷积，获得一个[16,16,64]的初步有效特征层，再进行2
×
2最大池化，获得一个[32,32,64]的特征层。
[0059]
a2、conv2：对conv1获得的[32,32,64]进行三次[3,3]的32通道的卷积，获得一个[32,32,32]的初步有效特征层，再进行2
×
2最大池化，获得一个[64,64,32]的特征层。
[0060]
a3、conv3：对conv2获得的[64,64,32]进行三次[3,3]的32通道的卷积，获得一个[64,64,32]的初步有效特征层，再进行2
×
2最大池化，获得一个[128,128,32]的特征层。
[0061]
a4、conv4：对conv3获得的[128,128,32]进行三次[3,3]的16通道的卷积，获得一个[128,128,16]的初步有效特征层，再进行2
×
2最大池化，获得一个[256,256,16]的特征层。
[0062]
a5、conv5：对conv4获得的[256,256,16]进行三次[3,3]的16通道的卷积，获得一个[256,256,16]的初步有效特征层，再进行2
×
2最大池化，获得一个[512,512,16]的特征层a6、conv6：对conv5获得的[512,512,16]进行三次[3,3]的16通道的卷积，获得一个[521,512,16]的初步有效特征层。
[0063]
通过上述六次下采样和六次上采样处理后，获得的缺陷特征更加丰富，尤其在每两个下采样之间和每两个上采样之间加入注意力机制层，注意力机制层更多地关注缺陷位置所在的区域，提高了缺陷识别准确度。
[0064]
108：基于变维图像中的缺陷位置信息，获得变维图像的缺陷特征，根据缺陷特征，确定语义分割对象的缺陷类型。
[0065]
在本技术的一个实施例中，基于变维图像中的缺陷位置信息，获得变维图像的缺陷特征，包括：基于缺陷位置信息和预设的缺陷特征计算算子，获得变维图像的缺陷特征。
[0066]
具体而言，缺陷特征计算算子有很多，例如，缺陷长度计算算子，缺陷宽度计算算子，缺陷面积计算算子等，以缺陷长度为例，基于缺陷位置信息和预设的缺陷长度计算算子，计算获得缺陷长度。通过多个原始图像经过多通道变换的变维图像能更丰富地表征缺陷信息，因此基于变维图像获得的缺陷位置更加准确，基于该缺陷位置计算的缺陷特征也更加准确，提高了缺陷检测的准确率。
[0067]
在本技术的一个实施例中，为了进一步限定及说明，如图2所示，根据缺陷特征，确定目标检测对象的缺陷类型，包括：202：根据缺陷类型的判断条件，将缺陷特征划分为目标缺陷的关键特征和目标缺陷的约束特征；204：根据目标缺陷的关键特征，确定目标缺陷归属的缺陷类型；206：当目标缺陷的约束特征满足缺陷类型的约束条件时，目标缺陷为缺陷类型对应的缺陷。
[0068]
在本实施例中，缺陷类型有很多，根据缺陷的关键特征确定缺陷归属于哪个缺陷类型，检测出来的缺陷有的是真缺陷，有的是假缺陷，因此，进一步判断归于与缺陷类型的缺陷是真缺陷还是假缺陷，通过缺陷的约束特征进一步判断，当约束特征满足缺陷类型的约束条件时，确定目标缺陷归属该缺陷类型。由此提高了对于解决复杂背景干扰的检测准确率，进而提高了后续对缺陷检测的广泛度。
[0069]
在本技术的一个实施例中，根据目标缺陷的关键特征，确定目标缺陷归属的缺陷类型，包括：根据目标缺陷的关键特征和预设缺陷类型分类表，确定目标缺陷归属的缺陷类型。
[0070]
具体而言，根据已知目标的常见缺陷和人工检测划分缺陷类型的经验，创建预设缺陷类型分类表，该预设缺陷类型分类表反应了缺陷类型和与缺陷类型对应的关键特征的关系，根据目标缺陷的关键特征和预设缺陷类型分类表，即可获得缺陷类型。
[0071]
在本技术的一个实施例中，当目标缺陷的约束特征满足缺陷类型的约束条件时，目标缺陷为缺陷类型对应的缺陷之后，图像处理方法还包括：根据目标缺陷的关键特征，确定目标缺陷对应的缺陷分级。
[0072]
具体而言，当已经判断出缺陷为真缺陷时，根据目标缺陷的关键特征，确定目标缺陷的分级，以便根据目标缺陷的分级，确定该目标缺陷是否符合筛选条件，提高检测的准确率。
[0073]
在本技术的一个实施例中，根据目标缺陷的关键特征，确定目标缺陷归属的缺陷类型之后，图像处理方法还包括：当目标缺陷的约束特征不满足缺陷类型的约束条件时，目标缺陷为非缺陷。
[0074]
具体而言，检测出来的缺陷有的是真缺陷，有的是假缺陷，如果检测出假缺陷就降低了检测准确度，因此，本技术提出了通过约束特征判断真缺陷或假缺陷，约束特征满足缺陷类型的约束条件的目标缺陷是真缺陷，约束特征不满足缺陷类型的约束条件的目标缺陷是非缺陷，通过约束特征进一步判断真缺陷或假缺陷，提高了缺陷检测的准确度。
[0075]
在本技术的一个实施例中，目标缺陷的关键特征包括长度、宽度、长宽比、长宽均值、对比度以及面积中的至少一个。
[0076]
具体而言，关键特征有：缺陷长：最小外接矩形的长，如图3中的l1。
[0077]
缺陷宽（深）：最小外接矩形的宽，如图3中的w1。
[0078]
缺陷（长+宽）/2：（最小外接矩形的长+最小外接矩形的宽）/2，如图3中的（l1+w1）/2。
[0079]
缺陷面积：缺陷对应像素点的个数（非缺陷最小外接矩形面积），如图黑色区域的面积。
[0080]
缺陷长宽比：最小外接矩形的长/最小外接矩形的宽，如图3中的l1/w1。
[0081]
缺陷类型：缺陷被检测定义的类型，如0表示长芽，1表示芽缺等。
[0082]
置信度：缺陷被深度学习识别的准确度，0.0到1.0，越大准确度越高。
[0083]
最小外接矩形长边长度：最小外接矩形的长，如图3中的l1。
[0084]
缺陷等价矩形骨骼长度：缺陷骨骼的长，如图3中的l0。
[0085]
最小外接矩形短边长度：最小外接矩形的宽，如图3中的w1。
[0086]
缺陷等价矩形骨骼宽度：缺陷骨骼的宽度，如图3中的w0。
[0087]
区域主方向平均宽度：沿着最小外接矩形的长边的平均宽度。
[0088]
面积：缺陷对应像素点的个数（非缺陷最小外接矩形面积），如图3中的黑色区域的面积。
[0089]
缺陷与背景平均灰度值差绝对值：，其中表示缺陷的平均灰度，表示缺陷周围背景的平均灰度。
[0090]
缺陷区域与背景平均灰度均值的标准差：，其中表示缺陷区域与背景平均灰度均值的标准差，表示缺陷的像素个数，表示缺陷某个像素的灰度，表示缺陷周围背景的平均灰度。
[0091]
在本技术的一个实施例中，根据缺陷特征，确定语义分割对象的缺陷类型，包括：将缺陷特征与预设缺陷特征分类表进行比较；根据比较结果，确定语义分割对象的缺陷类型和缺陷分级。
[0092]
在本技术的一个实施例中，确定语义分割对象的缺陷类型和缺陷分级之后，图像处理方法还包括：根据语义分割对象的缺陷类型、缺陷分级和预设要求，筛选目标检测对象。
[0093]
具体而言，当确定缺陷的类型和分级后，将符合预设的筛选要求的被测目标筛选出来，并标记该被测目标的缺陷，便于对该被测目标的后期维护和管理。
[0094]
本技术提供了一种图像处理方法，与现有技术相比，对多个原始图像进行多通道变换，获得一个变维图像，使用训练好的神经网络模型获取变维图像中的缺陷特征，基于缺陷特征，确定缺陷类型，由于多个原始图像能够更准确更丰富的表征缺陷信息，多通道变换后的变维图像进一步增强了缺陷信息，变维图像作为训练好的神经网络模型的输入数据，因此训练好的神经网络模型的输入数据具有更丰富的缺陷信息，进而识别输出的缺陷特征准确，确定的缺陷类型也更加准确，提高了缺陷检测准确率。
[0095]
在本技术的一个实施例中，图像处理方法进一步包括：获得每个原始图像对应的多个子图；对每个子图进行置信度求取，获取每个子图的置信度子图；按预设排布规则，对每个原始图像对应的多个置信度子图进行合并，生成每个原始图像对应的置信度合并图，并对每个置信度合并图进行二值化处理；将每个原始图像对应的二值化处理后的置信度合并图作为一个通道的输入图像，基于每个原始图像对应的置信度合并图进行多通道图像变换，获得缺陷分割图。
[0096]
在多个原始图像采用“crop小图方式”裁剪成符合神经网络模型训练时“输入尺寸”大小的图像，裁剪后的小图作为子图，求取每个子图的置信度，获得置信度子图，将置信度子图组合为置信度大图，并通过“分割图的置信度阈值”*255对置信度大图进行二值化，得到缺陷分割图，如图4所示，缺陷分割图中背景为黑色，白亮色的区域为缺陷，缺陷分割图便于用户了解直观了解缺陷的情况。
[0097]
在本技术的一个实施例中，对每个子图进行置信度求取，获取每个子图的置信度
子图，包括：采用softmax激活函数对每个子图进行置信度求取，获取每个子图的置信度子图。
[0098]
具体而言，通过softmax激活函数将子图中每个像素点的输出值变换为值是正数且和为1的概率分布，得到每个像素点中每个类的置信度。
[0099]
进一步的，作为对上述图1所示方法的实现，本技术实施例提供了一种图像处理装置，如图5所示，该装置包括：合并图获取模块502，用于获取包含语义分割对象的多个原始图像，对每个原始图像进行裁剪，获得每个原始图像对应的多个子图，按预设排布规则，对每个原始图像对应的多个子图进行合并，生成每个原始图像对应的合并图；变维图像获取模块504，用于将每个原始图像对应的合并图作为一个通道的输入图像，基于每个原始图像对应的合并图进行多通道图像变换，获得变维图像；缺陷位置信息获取模块506，用于通过训练好的神经网络模型，获得变维图像中的缺陷位置信息；缺陷类型确定模块508，用于基于变维图像中的缺陷位置信息，获得变维图像的缺陷特征，根据缺陷特征，确定语义分割对象的缺陷类型。
[0100]
本技术提供了一种图像处理方法装置，与现有技术相比，对多个原始图像进行多通道变换，获得一个变维图像，使用训练好的神经网络模型获取变维图像中的缺陷特征，基于缺陷特征，确定缺陷类型，由于多个原始图像能够更准确更丰富的表征缺陷信息，多通道变换后的变维图像增强了缺陷信息，变维图像作为训练好的神经网络模型的输入数据，因此训练好的神经网络模型的输入数据具有更丰富的缺陷信息，进而识别输出的缺陷特征准确，确定的缺陷类型也更加准确，提高了缺陷检测准确率。
[0101]
在本技术的一个实施例中，基于每个原始图像对应的合并图进行多通道图像变换，获得变维图像，包括：采用reshape变换方法对每个原始图像对应的合并图进行多通道图像变换，获得变维图像。
[0102]
在本技术的一个实施例中，基于变维图像中的缺陷位置信息，获得变维图像的缺陷特征，包括：基于缺陷位置信息和预设的缺陷特征计算算子，获得变维图像的缺陷特征。
[0103]
在本技术的一个实施例中，根据缺陷特征，确定语义分割对象的缺陷类型，包括：根据缺陷类型的判断条件，将缺陷特征划分为目标缺陷的关键特征和目标缺陷的约束特征；根据目标缺陷的关键特征，确定目标缺陷归属的缺陷类型；当目标缺陷的约束特征满足缺陷类型的约束条件时，目标缺陷为缺陷类型对应的缺陷。
[0104]
在本技术的一个实施例中，根据目标缺陷的关键特征，确定目标缺陷归属的缺陷类型，包括：根据目标缺陷的关键特征和预设缺陷类型分类表，确定目标缺陷归属的缺陷类型。
[0105]
在本技术的一个实施例中，当目标缺陷的约束特征满足缺陷类型的约束条件时，
specific integrated circuit），或者是被配置成实施本技术实施例的一个或多个集成电路。计算机设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
[0121]
存储器606，用于存放程序610。存储器606可能包含高速ram存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
[0122]
程序610具体可以用于使得处理器602执行以下操作：获取包含语义分割对象的多个原始图像，对每个原始图像进行裁剪，获得每个原始图像对应的多个子图，按预设排布规则，对每个原始图像对应的多个子图进行合并，生成每个原始图像对应的合并图；将每个原始图像对应的合并图作为一个通道的输入图像，基于每个原始图像对应的合并图进行多通道图像变换，获得变维图像；通过训练好的神经网络模型，获得变维图像中的缺陷位置信息；基于变维图像中的缺陷位置信息，获得变维图像的缺陷特征，根据缺陷特征，确定语义分割对象的缺陷类型。
[0123]
显然，本领域的技术人员应该明白，上述的本技术的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，在一个实施例中，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本技术不限制于任何特定的硬件和软件结合。
[0124]
以上实施例仅为本技术的示例性实施例，不用于限制本技术，本技术的保护范围由权利要求书限定。本领域技术人员可以在本技术的实质和保护范围内，对本技术做出各种修改或等同替换，这种修改或等同替换也应视为落在本技术的保护范围内。