缺陷检测及相关模型的训练方法、电子设备和存储装置与流程
本申请涉及机器视觉技术领域，特别是涉及一种缺陷检测及相关模型的训练方法、电子设备和存储装置。
背景技术：
近年来，随着计算机信息技术的快速发展，计算机技术在诸如电子产品制造、汽车制造、印刷包装等场景中，发挥着越来越重要的作用。在诸多场景中，利用机器视觉进行缺陷检测，能够加速生产信息化，并指导企业对生产环节及时有效地进行干预，有利于降本增效，提高产品良品率。有鉴于此，如何提高缺陷检测的准确性成为极具研究价值的课题。
技术实现要素：
本申请主要解决的技术问题是提供一种缺陷检测及相关模型的训练方法、电子设备和存储装置，能够提高缺陷检测的准确性。
为了解决上述问题，本申请第一方面提供了一种缺陷检测方法，包括：获取待测物件的多个图像；对多个图像进行特征提取，得到包含多个图像的特征信息的融合特征图；利用融合特征图，得到关于待测物件缺陷的检测结果；其中，待测物件的任一部分对应于多个图像的同一区域，且多个图像满足以下至少一个条件：至少两个图像是在不同波长的光源照射下拍摄得到的，至少两个图像是在摄像机的光轴与光源的入射方向呈不同夹角状态下拍摄的。
为了解决上述问题，本申请第二方面提供了一种缺陷检测模型的训练方法，包括：获取样本物件的多个样本图像；其中，多个样本图像中均标注有关于样本物件缺陷的实际结果；利用缺陷检测模型的融合子网络对多个样本图像进行特征提取，得到包含多个样本图像的特征信息的样本融合特征图；利用缺陷检测模型的检测子网络处理样本融合特征图，得到关于样本物件缺陷的预测结果；利用实际结果和预测结果的差异，调整缺陷检测模型的网络参数；其中，样本物件的任一部分对应于多个样本图像的同一区域，且多个样本图像满足以下至少一个条件：至少两个样本图像是在不同波长的光源照射下拍摄得到的，至少两个样本图像是在不同入射方向的光源照射下拍摄得到的。
为了解决上述问题，本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，存储器中存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的缺陷检测方法，或实现上述第二方面中的缺陷检测模型的训练方法。
为了解决上述问题，本申请第四方面提供了一种存储装置，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面中的缺陷检测方法，或实现上述第二方面中的缺陷检测模型的训练方法。
上述方案，通过获取待测物件的多个图像，且待测物件的任一部分对应于多个图像的同一区域，此外多个图像满足以下至少一个条件：至少两个图像是在不同波长的光源照射下拍摄得到的，至少两个图像是在摄像机的光轴与光源的入射方向呈不同夹角状态下拍摄的，在此基础上再对多个图像进行特征提取，得到包含多个图像的特征信息的融合特征图，从而利用融合特征图，得到关于待测物件缺陷的检测结果，由于多个图像为多角度成像和/或多光源成像，故对多个图像所提取到的融合特征图包含多角度图像的特征信息和/或多光源图像的特征信息，进而能够大大提高融合特征图的特征丰富度，能够提高缺陷检测的准确性。
附图说明
图1是本申请缺陷检测方法一实施例的流程示意图；
图2是待测物件、摄像机和光源一实施例的位置示意图；
图3是图1中多个图像的示意图；
图4是本申请缺陷检测方法一实施例的状态示意图；
图5是图1中步骤s12一实施例的流程示意图；
图6是图4中输入支路二一实施例的框架示意图；
图7是本申请缺陷检测模型的训练方法一实施例的流程示意图；
图8是本申请电子设备一实施例的框架示意图；
图9是本申请存储装置一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请缺陷检测方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤s11：获取待测物件的多个图像。
本公开实施例中，待测物件具体可以根据实际应用场景进行设置。例如，在电子产品制造场景中，待测物件可以包括但不限于：屏幕、外壳、led(lightemittingdiode，发光二极管)等等；或者，在汽车制造场景中，待测物件可以包括但不限于：挡风玻璃、后视镜、钣金零件等等；或者，在印刷包装等场景中，待测物件可以包括但不限于：包装盒、包装袋等等，在此不做限定。其他场景可以以此类推，在此不再一一举例。
本公开实施例中，待测物件的任一部分对应于多个图像的同一区域。以待测物件为矩形物件为例，矩形物件包括a、b、c、d共四个角点，角点a可以对应于多个图像的左上角、角点b可以对应于多个图像的右上角、角点c可以对应于多个图像的右下角、角点d可以对应于多个图像的左下角。其他情况可以以此类推，在此不再一一举例。
此外，本公开实施例中，多个图像满足以下至少一个条件：至少两个图像是在不同波长的光源照射下拍摄得到的，至少两个图像是在摄像机的光轴与光源的入射方向呈不同夹角状态下拍摄的。
在一个实施场景中，不同波长的光源可以包括但不限于：白光源(如，led灯、节能灯、卤素灯等等)、紫外光源(如，紫外线高压汞灯、紫外线氙灯、紫外线金属卤化物灯等等)，在此不做限定。例如，多个图像中包括图像1和图像2，其中，图像1可以是在白光源照射下拍摄得到的，而图像2可以是在紫外光源照射下拍摄得到的；或者，图像1可以是在紫外光源照射下拍摄得到的，而图像2可以是在白光源照射下拍摄得到的，在此不做限定。在多个图像包括其他数量(如，3个、4个等等)的图像的情况可以以此类推，在此不再一一举例。通过改变光源波长能够在待测物件存在缺陷的情况下，使得多个图像中所呈现出缺陷具有不同的成像特点，从而能够有利于提高后续缺陷检测的准确性。
在另一个实施场景中，请结合参阅图2，图2是待测物件、摄像机和光源一实施例的位置示意图。如图2所示，虚线a表示摄像机光轴，虚线b1、b2表示光源入射方向。
在一个具体的实施场景中，为了使得多张图像堆叠后，不同图像中待测物件的边缘能够对齐，在拍摄过程中，可以保持摄像机的位置不变，并改变光源的位置，以调整摄像头的光轴与光源入射方向之间的夹角。请结合参阅图2，光源可以以入射方向b1照射，此时光源入射方向与摄像机光轴a之间的夹角为θ1，光源也可以改变其入射方向为b2，此时光源入射方向与摄像机光轴a之间的夹角为θ2，由于摄像机位置未发生改变，故摄像机在上述两种情况下所拍摄到的图像堆叠后，两者中待测物件的边缘能够对齐，从而能够使得待测物件的任一部分对应于两者的同一区域。此外，在待测物件表面存在凸起、凹陷等缺陷的情况下，通过改变入射方向还能够使得凸起、凹陷等缺陷呈现出不同的投影，从而能够捕捉到上述光影变化，进而能够有利于提高后续缺陷检测的准确性。
需要说明的是，上述两种入射方向仅仅是实际应用过程中可能实施的两种情况，并不因此而限定实际应用过程中所采用的入射方向，在此不再一一举例。此外，在拍摄过程中，也可以保持光源位置不变，并保持待测物件与摄像机两者之间的相对位置不变，在此基础上，可以将待测物件与摄像机两者作为一个整体，并改变该整体与光源的相对位置。请继续结合参阅图2，o点是光轴与待测物件的之间的交点，可以将摄像机与待测物件作为整体绕o点旋转，从而也可以调整摄像头的光轴与光源入射方向之间的夹角。
在另一个具体的实施场景中，为了尽可能捕捉到上述光影变化，摄像机光轴与光源入射方向之间的夹角可以尽可能地大，即光源的入射方向可以尽可能地贴近于待测物件的表面。例如，上述夹角可以包括但不限于：80度、85度、89度等等，在此不做限定。
在又一个具体的实施场景中，为了尽可能提高图像中所呈现的待测物件的完整性，请结合参阅图2，摄像机的光轴与待测物件的交点o可以是待测物件的中心位置。
在又一个具体的实施场景中，上述光源可以包括但不限于：点光源、线光源、面光源等等，在此不做限定。
在又一个具体的实施场景中，上述光源可以是环形光源，如圆环形光源、方环形光源等等，在此不做限定。请结合参阅图2，摄像机的光源可以穿过环形光源的环内。具体地，环形光源的环中心可以位于摄像机光轴上。
以待测物件是led为例，请结合参阅图3，图3是图1中多个图像的示意图。如图3所示，可以分别采用角度1的白光源、角度2的白光源、环形白光源以及紫外光源照射led，从而可以拍摄到多个图像。此外，待测物件可以对应设置有杂质、杂物、气泡等多种预设缺陷类型。具体地，杂质是指在生产、贮存等过程中由于化学反应、原料不纯等原因导致待测物件内部出现诸如颗粒状的其他物质，如图3中第一行图像所示，每一led图像中黑色点状物即为杂质。此外，气泡通常是在生产过程中由于混入空气，且在待检测物件成形之前空气未消散而导致的，如图3第三行图像所示，每一行led图像中黑色点状物及其周围灰度值区别于led整体灰度值的圆形即为气泡，通过对比第一行led图像和第三行led图像可以发现杂质和气泡在相同光源下，具有不同的成像的特点。此外，不同于杂质和气泡，杂物是形成于待测物件表面的，如图3第二行图像所示，每一led图像中黑色点状物记为杂质，且通过对比角度1的图像和角度2的图像可以发现，杂物在不同角度光源下可以呈现出不同的光影变化。其他情况可以以此类推，在此不再一一举例。需要说明的是，在预设缺陷类型包括杂物的情况下，该杂物可能可以通过擦拭等处理手段与待测物件分离，并且不影响待测物件的正常使用；或者，也可能不能通过擦拭等处理手段与待测物件分离；或者，也可以虽然可以通过擦拭等处理手段与待测物件分离，但会影像待测物件的正常使用，在此不做限定。
步骤s12：对多个图像进行特征提取，得到包含多个图像的特征信息的融合特征图。
在一个实施场景中，为了提高特征提取的速度，可以先将多个图像进行融合处理，得到第一融合图像，从而可以对第一融合图像进行特征提取，得到包含多个图像的特征信息的融合特征图。上述方式，通过直接将多个图像进行融合处理，得到第一融合图像，从而对第一融合图像进行特征提取，得到融合特征图，能够有利于提高特征提取的速度。
在一个具体的实施场景中，具体可以将多个图像沿通道维度进行拼接，得到第一融合图像。以多个图像均为单通道图像为例，c个尺寸为w*h的图像经过上述融合处理之后，可以得到w*h*c的第一融合图像。其他情况可以以此类推，在此不再一一举例。
在另一个具体的实施场景中，为了提高特征提取的效率，可以预先训练一个缺陷检测模型，且缺陷检测模型中包含第一编码网络，从而可以将第一融合图像输入第一编码网络，得到包含多个图像的特征信息的融合特征图。第一编码网络具体可以包括但不限于：卷积层、池化层等等，在此不做限定。此外，缺陷检测模型的具体训练过程可以参阅下述相关实施例，在此暂不赘述。
在另一个实施场景中，为了进一步建模不同图像之间的相关性，可以分别对每一图像进行特征提取，得到对应图像的顺序排列的至少一个第一特征图，在此基础上，可以在多个图像的至少一个第一特征图中，分别选取排序相同的第一特征图，作为特征图组合，并基于特征图组合，得到融合特征图。具体过程可以参阅下述相关实施例，在此暂不赘述。为了与上述通过融合多个图像所提取到的融合特征图进行区别，可以将上述通过融合多个图像所提取到的融合特征图作为第一融合特征图，并将本方案中通过特征图组合而得到的融合特征图作为第二融合特征图。上述方式，通过分别对每一图像进行特征提取，得到对应图像的顺序排列的至少一个第一特征图，从而在多个图像的至少一个第一特征图中，分别选取排序相同的第一特征图，作为特征图组合，并基于特征图组合，得到融合特征图，故能够提取与待测物件多维光学特性强相关的高层语义特征，并利用高层语义特征建模不同图像之间的相关性，从而能够有利于提高特征提取的准确性。
在一个具体的实施场景中，以n个图像为例，对第1个图像进行特征提取，可以得到顺序排列的第1至第m个第一特征图，对第2个图像进行特征提取，可以得到顺序排列的第1至第m个第一特征图，以此类推，直至对第n个图像进行特征提取，可以得到顺序排列的第1至第m个第一特征图。在此基础上，可以将第1至第n个图像的第一特征图中，选第1个第一特征图，作为特征图组合，选取第2个第一特征图，作为特征图组合，以此类推，直至选取第m个第一特征图，作为特征图组合。其他情况可以以此类推，在此不再一一举例。
在另一个具体的实施场景中，为了提高特征提取的效率，可以预先训练一个缺陷检测模型，且缺陷检测模型中可以包含多个第二编码网络，不同第二编码网络具有的特征提取参数，从而可以多个图像分别送入一第二编码网络进行特征提取，得到对应图像的顺序排列的至少一个第一特征图。具体地，第二编码网络可以包括但不限于：卷积层、池化层等等，在此不做限定。此外，卷积层具体可以包括顺序排列的至少一个卷积核(如，3*3卷积核等)。
在又一个实施场景中，还可以将多个图像进行融合处理，得到第一融合图像，从而可以对第一融合图像进行特征提取，得到包含多个图像的特征信息的第一融合特征图，并且分别对每一图像进行特征提取，得到对应图像的顺序排列的至少一个第一特征图，在此基础上，可以在多个图像的至少一个第一特征图中，分别选取排序相同的第一特征图，作为特征图组合，并基于特征图组合，得到第二融合特征图，进而将第一融合特征图和第二融合特征图进行再次融合，得到融合特征图。具体可以参阅下述相关实施例，在此暂不赘述。
步骤s13：利用融合特征图，得到关于待测物件缺陷的检测结果。
在一个实施场景中，检测结果具体可以包括以下至少一者：缺陷类型、缺陷区域。如前所述，缺陷类型具体可以包括但不限于：杂质、杂物、气泡。此外，在仅需检测待测物件有无缺陷的情况下，缺陷类型还可以包括：有缺陷、无缺陷，在此不做限定。
在一个实施场景中，在检测结果包括待测物件的缺陷类型的情况下，可以对融合特征图进行特征映射，得到融合特征表示，从而可以获取融合特征表示分别与多种预设缺陷类型的预设特征表示之间的特征相似度，进而可以将满足预设条件的特征相似度对应的预设缺陷类型，作为待测物件的缺陷类型。上述方式，通过对融合特征图进行特征映射，得到融合特征表示，从而获取融合特征表示分别与多种预设缺陷类型的预设特征表示之间的特征相似度，进而将满足预设条件的特征相似度对应的预设缺陷类型，作为待测物件的缺陷类型，能够通过特征映射、特征相似度计算等简单处理，即可确定待测物件的缺陷类型，能够有利于降低分类复杂度，从而可以提高分类速度。
在一个具体的实施场景中，为了提高特征映射的效率，缺陷检测模型还可以进一步包括特征映射网络，特征映射网络具体可以包括但不限于：卷积层、全连接层等等，在此不做限定。
在另一个具体的实施场景中，融合特征表示的维数可以根据实际应用需要进行设置。例如，在分类准确性要求较高的情况下，融合特征表示的维数也可以较大，例如，256维、512维等等；或者，在分类准确性要求相对较为宽松的情况下，融合特征表示的维数也可以较小，例如，64维、128维等等，在此不做限定。
在又一个具体的实施场景中，多种预设缺陷类型的预设特征表示可以基于统计得到的。具体可以先获取多种预设缺陷类型的样本图像，并对样本图像进行特征提取，得到样本图像的特征图，从而对样本图像的特征图进行特征映射，得到样本图像的样本特征表示。在此基础上，可以筛选出每一种预设缺陷类型对应的样本特征表示，并对每一种预设缺陷类型对应的样本特征表示进行融合，得到该种预设缺陷类型的预设特征表示。例如，预设缺陷类型包括有缺陷和无缺陷，可以先获取有缺陷的样本图像和无缺陷的样本图像，并对上述样本图像进行特征提取，得到样本图像的特征图，从而对样本图像的特征图进行特征映射，得到样本图像的样本特征表示，在此基础上，可以将有缺陷的样本图像的样本特征表示进行平均池化，得到预设缺陷类型为“有缺陷”所对应的预设特征表示，类似地，可以将无缺陷的样本图像的样本特征表示进行平均池化，得到预设缺陷类型为“无缺陷”所对应的预设特征表示。或者，预设缺陷类型包括上述杂质、杂物、气泡，可以先获取包含预设缺陷类型杂质、杂物、气泡的样本图像，并对上述样本图像进行特征提取，得到样本图像的特征图，从而对样本图像的特征图进行特征映射，得到样本图像的样本特征表示，在此基础上，可以将预设缺陷类型为“杂质”的样本图像的样本特征表示进行平均池化，得到预设缺陷类型为“杂质”所对应的预设特征表示，类似地，可以将预设缺陷类型为“杂物”的样本图像的样本特征表示进行平均池化，得到预设缺陷类型为“杂物”所对应的预设特征表示，类似地，可以将预设缺陷类型为“气泡”的样本图像的样本特征表示进行平均池化，得到预设缺陷类型为“气泡”所对应的预设特征表示。其他情况可以以此类推，在此不再一一举例。
在又一个具体的实施场景中，具体可以利用融合特征表示与预设特征表示之间的余弦距离，得到与预设缺陷类型对应的特征相似度。
在又一个具体的实施场景中，预设条件具体可以包括：特征相似度最高，也就是说，可以选取最高的特征相似度所对应的预设缺陷类型，作为待测物件的缺陷类型。例如，如前所述，预设缺陷类型可以包括：杂质、杂物、气泡，则可以分别计算融合特征表示和上述预设缺陷类型杂质、杂物、气泡等的预设特征表示之间的特征相似度，在预设缺陷类型“杂质”对应的特征相似度最高的情况下，可以将预设缺陷类型“杂质”，作为待测物件的缺陷类型。
在另一个实施场景中，在检测结果包括待测物件的缺陷区域的情况下，可以对融合特征图进行解码处理，得到图像中各个像素点分别属于多种预设缺陷类型的概率值，并基于概率值，得到图像中的缺陷区域。上述方式，通过对融合特征图进行解码处理，从而可以得到图像中各个像素点分别属于多种预设缺陷类型的概率值，进而基于概率值，得到图像中的缺陷区域，能够有利于提高缺陷区域检测的精度。
在一个具体的实施场景中，为了提高解码处理的效率，可以预先训练一个缺陷检测模型，且缺陷检测模型包括解码网络，从而可以将融合特征图输入解码网络，得到图像中国各个像素点分别属于多种预设缺陷类型的概率值。具体地，解码网络可以包括但不限于多层反卷积层。反卷积(deconvolution)是一种特殊的正向卷积，其先按照一定的比例通过补0来扩大输入数据的尺寸，接着旋转卷积核，再进行正向卷积，反卷积的具体实现过程，在此不再赘述。
在另一个具体的实施场景中，在得到各个像素点分别属于多种预设缺陷类型的概率值之后，具体可以选取最大的概率值所对应的预设缺陷类型，作为该像素点所属的缺陷类型，再将属于同一种缺陷类型的像素点所组成的连通域，作为该种缺陷类型的缺陷区域。
在又一个实施场景中，具体可以根据现实场景需要、硬件资源条件等情况，确定是否输出缺陷类型、缺陷区域。例如，现实场景只需知晓待测物件是否存在缺陷，则可以选择仅执行上述基于特征相似度，确定缺陷类型的相关步骤；或者，现实场景不仅需要知晓待测物件是否存在缺陷，还需知晓缺陷区域，则考虑到在输出缺陷区域时也同时可以输出缺陷区域对应的缺陷类型，故可以选择仅执行上述基于概率值，得到图像中的缺陷区域的相关步骤，在此不做限定。
请结合参阅图4，图4是本申请缺陷检测方法一实施例的状态示意图。如图4所示，多个图像(图像1、图像2、……、图像n)可以分别送入输入支路一和输入支路二，以分别提取到第一融合特征图和第二融合特征图，在此基础上，可以分别选择通过输出支路一输出缺陷区域，或者选择通过输出支路二输出缺陷类型。
上述方案，通过获取待测物件的多个图像，且待测物件的任一部分对应于多个图像的同一区域，此外多个图像满足以下至少一个条件：至少两个图像是在不同波长的光源照射下拍摄得到的，至少两个图像是在摄像机的光轴与光源的入射方向呈不同夹角状态下拍摄的，在此基础上再对多个图像进行特征提取，得到包含多个图像的特征信息的融合特征图，从而利用融合特征图，得到关于待测物件缺陷的检测结果，由于多个图像为多角度成像和/或多光源成像，故对多个图像所提取到的融合特征图包含多角度图像的特征信息和/或多光源图像的特征信息，进而能够大大提高融合特征图的特征丰富度，能够提高缺陷检测的准确性。
请参阅图5，图5是图1中步骤s12一实施例的流程示意图。如图5所示，具体可以包括如下步骤：
步骤s51：分别对每一图像进行特征提取，得到对应图像的顺序排列的至少一个第一特征图。
请结合参阅图4，如图4所示，为了提高特征提取效率，特征提取具体可以是由编码器执行的。此外，编码器可以包括顺序排列的至少一个卷积核，从而可以将每一图像分别输入对应一个编码器进行特征提取，得到对应于编码器中每一卷积核的第一特征图。如图4所示，可以将图像1输入编码器1，图像2输入编码器2，以此类推，可以将图像n输入编码器n。此外，编码器的具体构造可以参阅前述公开实施例中的第二编码网络，在此不再赘述。
请结合参阅图6，图6是图4中输入支路二一实施例的框架示意图。如图6所示，图像1、图像2、图像3和图像4分别经对应的编码器进行特征提取之后，可以得到以斜线填充平行四边形所表示的第一特征图、以白色纯色填充平行四边形所表示的第一特征图，以及以点填充平行四边形所表示的第一特征图。其他情况可以以此类推，在此不再一一举例。
步骤s52：在多个图像的至少一个第一特征图中，分别选取排序相同的第一特征图，作为特征图组合。
具体地，可以将各个编码器中排序相同的卷积核提取到的第一特征图，作为特征图组合。例如，可以将各个编码器中第一个卷积核所提取到的第一特征图，作为特征图组合，将各个编码器中第二个卷积核所提取到的第一特征图，作为特征图组合，以此类推，在此不再一一举例。
请继续结合参阅图6，如图6所示，可以将图像1中第一个第一特征图(即图6中以斜线填充平行四边形)，以及图像2中第一个第一特征图(即图6中以斜线填充平行四边形)和图像3中第一个第一特征图(即图6中以斜线填充平行四边形)、图像4中第一个第一特征图(即图6中以斜线填充平行四边形)，作为特征图组合；类似地，可以将图像1中第二个第一特征图(即图6中以白色纯色填充平行四边形)，以及图像2中第二个第一特征图(即图6中以白色纯色填充平行四边形)和图像3中第二个第一特征图(即图6中以白色纯色填充平行四边形)、图像4中第二个第一特征图(即图6中以白色纯色填充平行四边形)，作为特征图组合；类似地，可以将图像1中第三个第一特征图(即图6中以点填充平行四边形)，以及图像2中第三个第一特征图(即图6中以点填充平行四边形)和图像3中第三个第一特征图(即图6中以点填充平行四边形)、图像4中第三个第一特征图(即图6中以点填充平行四边形)，作为特征图组合。其他情况可以以此类推，在此不再一一举例。
步骤s53：基于特征图组合，得到融合特征图。
如前述公开实施例所述，可以将多个图像进行融合，得到第一融合图像。请结合参阅图4，如图4所示，
此外，可以进一步将每一组特征图组合提取到的第二特征图进行融合处理得到第二融合图像，在此基础上，可以对第二融合图像进行特征提取，得到第二融合特征图，从而可以将第一融合特征图和第二融合特征图进行融合处理，得到融合特征图。上述方式，通过在“粗粒度”层面，直接将多个图像进行融合处理，得到第一融合图像，并对第一融合图像进行特征提取，得到第一融合特征图，此外在“细粒度”层面将对每一特征图组合提取得到的第二特征图进行融合处理，得到第二融合图像，并对第二融合图像进行特征提取，得到第二融合特征图，最终将第一融合特征图和第二融合特征图进行融合处理，得到融合特征图，从而能够从“粗粒度”和“细粒度”两个层面得到融合特征图，进而能够有利于进一步建模不同图像之间相关性，有利于提高缺陷检测的准确性。
在一个实施场景中，请结合参阅图4，如图4所示，
在另一个实施场景中，请继续结合参阅图4，具体可以将第一融合特征图和第二融合特征图沿通道维度进行拼接，得到融合特征图。
区别于前述实施例，通过分别对每一图像进行特征提取，得到对应图像的顺序排列的至少一个第一特征图，从而在多个图像的至少一个第一特征图中，分别选取排序相同的第一特征图，作为特征图组合，并基于特征图组合，得到融合特征图，故能够提取与待测物件多维光学特性强相关的高层语义特征，并利用高层语义特征建模不同图像之间的相关性，从而能够有利于提高特征提取的准确性。
请参阅图7，图7是本申请缺陷检测模型的训练方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤s71：获取样本物件的多个样本图像。
本公开实施例中，多个样本图像中均标注有关于样本物件缺陷的实际结果，具体地，实际结果可以包括样本物件缺陷的实际类型、实际区域，在此不做限定。
本公开实施例中，样本物件具体可以根据实际应用场景进行设置。具体可以参阅前述公开实施例中关于待测物件的设置方式，在此不再赘述。
本公开实施例中，多个样本图像满足以下至少一个条件：至少两个样本图像是在不同波长的光源照射下拍摄得到的，至少两个样本图像是在不同入射方向的光源照射下拍摄得到的。具体可以参阅前述公开实施例中相关描述，在此不再赘述。
步骤s72：利用缺陷检测模型的融合子网络对多个样本图像进行特征提取，得到包含多个样本图像的特征信息的样本融合特征图。
在一个实施场景中，融合子网络具体可以包括第一编码网络和第二编码网络。
具体地，可以将多个样本图像进行融合处理，得到第一样本融合图像，从而可以利用第一编码网络对第一样本融合图像进行特征提取，得到第一样本融合特征图，具体可以参阅前述公开实施例中相关描述，在此不再赘述。
此外，第二编码网络可以包括多个编码器，且编码器包括顺序排列的至少一个卷积核，从而可以将每一样本图像分别输入对应一个编码器进行特征提取，得到对应于编码器中每一卷积核的第一样本特征图，并将各个编码器中排序相同的卷积核提取到的第一样本特征图，作为样本特征图组合，在此基础上，可以将对每一样本特征图组合提取到的第二样本特征图进行融合处理，得到第二样本融合图像，并利用第二编码器对第二样本融合图像进行特征提取，得到第二样本融合特征图，最终可以将第一样本融合特征图和第二样本融合特征图进行融合处理，得到样本融合特征图。具体可以参阅前述公开实施例中相关描述，在此不再赘述。
步骤s73：利用缺陷检测模型的检测子网络处理样本融合特征图，得到关于样本物件缺陷的预测结果。
具体地，预测结果具体可以包括样本物件缺陷的预测类型和预测区域。
在一个实施场景中，请结合参阅图4，检测子网络具体可以包括特征映射网络，则可以利用特征映射网络对样本融合特征图进行特征映射，得到样本融合特征表示，从而可以获取样本融合特征表示分别与多种预设缺陷类型的预设特征表示之间的特征相似度，并将满足预设条件的特征相似度对应的预设缺陷类型，作为样本物件缺陷的预测类型。具体可以参阅前述公开实施例中相关描述，在此不再赘述。
在另一个实施场景中，检测子网络具体还可以包括解码网络，从而可以利用解码网络对样本融合特征图进行解码处理，得到样本图像中各个像素点分别属于多种预设缺陷类型的样本概率值，进而可以基于样本概率值，得到样本图像中缺陷的预测区域。具体可以参阅前述公开实施例中相关描述，在此不再赘述。
步骤s74：利用实际结果和预测结果的差异，调整缺陷检测模型的网络参数。
具体地，可以基于实际类型和预测类型的差异，以及实际区域和预测区域的差异，调整缺陷检测模型额的网络参数。上述方式，通过基于实际类型和预测类型的差异，以及实际区域和预测区域的差异，来调整缺陷检测模型额的网络参数，能够在训练过程中，联合训练缺陷类型预测任务和缺陷区域预测任务，从而能够有利于提高缺陷检测模型的准确性。
在一个实施场景中，可以利用交叉熵损失函数处理实际类型和预测类型，得到缺陷检测模型的第一损失值。具体计算过程在此不再赘述。
在另一个实施场景中，可以利用交叉熵损失函数处理实际区域和预测区域，得到缺陷检测模型的第二损失值。具体计算过程在此不再赘述。
在又一个实施场景中，可以将第一损失值和第二损失值进行加权，得到缺陷检测模型的损失值，从而可以利用损失值，调整缺陷检测模型的网络参数。
在一个具体的实施场景中，具体可以采用随机梯度下降(stochasticgradientdescent，sgd)、批量梯度下降(batchgradientdescent，bgd)、小批量梯度下降(mini-batchgradientdescent，mbgd)等方式，利用损失值对缺陷检测模型的网络参数进行调整，其中，批量梯度下降是指在每一次迭代时，使用所有样本来进行参数更新；随机梯度下降是指在每一次迭代时，使用一个样本来进行参数更新；小批量梯度下降是指在每一次迭代时，使用一批样本来进行参数更新，在此不再赘述。
在另一个具体的实施场景中，还可以设置一训练结束条件，当满足训练结束条件时，可以结束对缺陷检测模型的训练。具体地，训练结束条件可以包括以下任一者：损失值小于一预设损失阈值；当前训练次数达到预设次数阈值(例如，500次、1000次等)，在此不做限定。
区别于前述实施例，通过获取样本物件的多个样本图像，且多个样本图像中均标注有关于样本物件缺陷的实际结果，样本物件的任一部分对应于多个样本图像的同一区域，此外多个样本图像满足以下至少一个条件：至少两个样本图像是在不同波长的光源照射下拍摄得到的，至少两个样本图像是在不同入射方向的光源照射下拍摄得到的，在此基础上再利用缺陷检测模型的融合子网络对多个样本图像进行特征提取，得到包含多个样本图像的特征信息的样本融合特征图，从而利用缺陷检测模型的检测子网络处理样本融合特征图，得到关于样本物件缺陷的预测结果，进而利用实际结果和预测结果的差异，调整缺陷检测模型的网络参数，由于多个样本图像为多角度成像和/或多光源成像，故对多个样本图像所提取到的样本融合特征图包含多角度图像的特征信息和/或多光源图像的特征信息，进而能够大大提高样本融合特征图的特征丰富度，提高缺陷检测模型的准确性。
请参阅图8，图8是本申请电子设备80一实施例的框架示意图。电子设备80包括相互耦接的存储器81和处理器82，存储器81中存储有程序指令，处理器82用于执行程序指令以实现上述任一缺陷检测方法实施例中的步骤，或实现上述任一缺陷检测模型的训练方法实施例中的步骤。具体地，电子设备80可以包括但不限于：台式计算机、笔记本电脑、平板电脑、服务器等等，在此不做限定。
具体而言，处理器82用于控制其自身以及存储器81以实现上述任一缺陷检测方法实施例中的步骤，或实现上述任一缺陷检测模型的训练方法实施例中的步骤。处理器82还可以称为cpu(centralprocessingunit，中央处理单元)。处理器82可能是一种集成电路芯片，具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器82可以由集成电路芯片共同实现。
在一些公开实施例中，处理器82用于获取待测物件的多个图像；处理器82用于对多个图像进行特征提取，得到包含多个图像的特征信息的融合特征图；处理器82用于利用融合特征图，得到关于待测物件缺陷的检测结果；其中，待测物件的任一部分对应于多个图像的同一区域，且多个图像满足以下至少一个条件：至少两个图像是在不同波长的光源照射下拍摄得到的，至少两个图像是在摄像机的光轴与光源的入射方向呈不同夹角状态下拍摄的。
上述方案，通过获取待测物件的多个图像，且待测物件的任一部分对应于多个图像的同一区域，此外多个图像满足以下至少一个条件：至少两个图像是在不同波长的光源照射下拍摄得到的，至少两个图像是在摄像机的光轴与光源的入射方向呈不同夹角状态下拍摄的，在此基础上再对多个图像进行特征提取，得到包含多个图像的特征信息的融合特征图，从而利用融合特征图，得到关于待测物件缺陷的检测结果，由于多个图像为多角度成像和/或多光源成像，故对多个图像所提取到的融合特征图包含多角度图像的特征信息和/或多光源图像的特征信息，进而能够大大提高融合特征图的特征丰富度，能够提高缺陷检测的准确性。
在一些公开实施例中，处理器82用于分别对每一图像进行特征提取，得到对应图像的顺序排列的至少一个第一特征图；处理器82用于在多个图像的至少一个第一特征图中，分别选取排序相同的第一特征图，作为特征图组合；处理器82用于基于特征图组合，得到融合特征图。
区别于前述实施例，通过分别对每一图像进行特征提取，得到对应图像的顺序排列的至少一个第一特征图，从而在多个图像的至少一个第一特征图中，分别选取排序相同的第一特征图，作为特征图组合，并基于特征图组合，得到融合特征图，故能够提取与待测物件多维光学特性强相关的高层语义特征，并利用高层语义特征建模不同图像之间的相关性，从而能够有利于提高特征提取的准确性
在一些公开实施例中，特征提取是由编码器执行的，编码器包括顺序排列的至少一个卷积核，处理器82用于将每一图像分别输入对应一个编码器进行特征提取，得到对应于编码器中每一卷积核的第一特征图，处理器82用于将各个编码器中排序相同的卷积核提取到的第一特征图，作为特征图组合。
区别于前述实施例，特征提取是由编码器执行的，编码器包括顺序排列的至少一个卷积核，在此基础上，通过将每一图像分别输入对应一个编码器进行特征提取，得到对应于编码器中每一卷积核的第一特征图，并将各个编码器中排序相同的卷积核提取到的第一特征图，作为特征图组合，从而能够有利于直接通过排序相同的卷积核所提取到的第一特征图建模不同图像之间的相关性，进而能够有利于降低相关性建模的复杂度。
在一些公开实施例中，处理器82用于将多个图像进行融合处理，得到第一融合图像；处理器82用于对第一融合图像进行特征提取，得到第一融合特征图；处理器82用于将对每一特征图组合提取得到的第二特征图进行融合处理，得到第二融合图像；处理器82用于对第二融合图像进行特征提取，得到第二融合特征图；处理器82用于将第一融合特征图和第二融合特征图进行融合处理，得到融合特征图。
区别于前述实施例，通过在“粗粒度”层面，直接将多个图像进行融合处理，得到第一融合图像，并对第一融合图像进行特征提取，得到第一融合特征图，此外在“细粒度”层面将对每一特征图组合提取得到的第二特征图进行融合处理，得到第二融合图像，并对第二融合图像进行特征提取，得到第二融合特征图，最终将第一融合特征图和第二融合特征图进行融合处理，得到融合特征图，从而能够从“粗粒度”和“细粒度”两个层面得到融合特征图，进而能够有利于进一步建模不同图像之间相关性，有利于提高缺陷检测的准确性。
在一些公开实施例中，检测结果包括以下至少一者：待测物件的缺陷类型、待测物件的缺陷区域。
区别于前述实施例，通过将检测结果设置为包括以下至少一者：待测物件的缺陷类型、待测物件的缺陷区域，能够有利于满足现实场景中不同的缺陷检测需求。
在一些公开实施例中，在检测结果包括待测物件的缺陷类型的情况下，处理器82用于对融合特征图进行特征映射，得到融合特征表示；处理器82用于获取融合特征表示分别与多种预设缺陷类型的预设特征表示之间的特征相似度；处理器82用于将满足预设条件的特征相似度对应的预设缺陷类型，作为待测物件的缺陷类型。
区别于前述实施例，通过对融合特征图进行特征映射，得到融合特征表示，从而获取融合特征表示分别与多种预设缺陷类型的预设特征表示之间的特征相似度，进而将满足预设条件的特征相似度对应的预设缺陷类型，作为待测物件的缺陷类型，能够通过特征映射、特征相似度计算等简单处理，即可确定待测物件的缺陷类型，能够有利于降低分类复杂度，从而可以提高分类速度。
在一些公开实施例中，多种预设缺陷类型包括：有缺陷、无缺陷；或者，多种预设缺陷类型包括：杂质、杂物、气泡。
区别于前述实施例，通过将多种预设缺陷类型设置为包括：有缺陷、无缺陷，能够有利于满足对“有缺陷”和“无缺陷”的简单分类需求；而通过将多种预设缺陷类型设置为包括：杂质、杂物、气泡，能够有利于满足对“杂质”、“杂物”、“气泡”等多分类需求。
在一些公开实施例中，预设条件包括：特征相似度最高，和/或，处理器82用于利用述融合特征表示与预设特征表示之间的余弦距离，得到与预设缺陷类型对应的特征相似度。
区别于前述实施例，通过将预设条件设置为包括：特征相似度最高，能够有利于降低从预设缺陷类型中确定待测物件的缺陷类型的复杂度；而通过利用述融合特征表示与预设特征表示之间的余弦距离，得到与预设缺陷类型对应的特征相似度，能够有利于降低特征相似度的计算复杂度。
在一些公开实施例中，在缺陷检测结果包括待测物件的缺陷区域的情况下，处理器82用于对融合特征图进行解码处理，得到图像中各个像素点分别属于多种预设缺陷类型的概率值；处理器82用于基于概率值，得到图像中的缺陷区域。
区别于前述实施例，通过对融合特征图进行解码处理，从而可以得到图像中各个像素点分别属于多种预设缺陷类型的概率值，进而基于概率值，得到图像中的缺陷区域，能够有利于提高缺陷区域检测的精度。
在一些公开实施例中，处理器82用于获取样本物件的多个样本图像；其中，多个样本图像中均标注有关于样本物件缺陷的实际结果；处理器82用于利用缺陷检测模型的融合子网络对多个样本图像进行特征提取，得到包含多个样本图像的特征信息的样本融合特征图；处理器82用于利用缺陷检测模型的检测子网络处理样本融合特征图，得到关于样本物件缺陷的预测结果；处理器82用于利用实际结果和预测结果的差异，调整缺陷检测模型的网络参数；其中，样本物件的任一部分对应于多个样本图像的同一区域，且多个样本图像满足以下至少一个条件：至少两个样本图像是在不同波长的光源照射下拍摄得到的，至少两个样本图像是在不同入射方向的光源照射下拍摄得到的。
区别于前述实施例，通过获取样本物件的多个样本图像，且多个样本图像中均标注有关于样本物件缺陷的实际结果，样本物件的任一部分对应于多个样本图像的同一区域，此外多个样本图像满足以下至少一个条件：至少两个样本图像是在不同波长的光源照射下拍摄得到的，至少两个样本图像是在不同入射方向的光源照射下拍摄得到的，在此基础上再利用缺陷检测模型的融合子网络对多个样本图像进行特征提取，得到包含多个样本图像的特征信息的样本融合特征图，从而利用缺陷检测模型的检测子网络处理样本融合特征图，得到关于样本物件缺陷的预测结果，进而利用实际结果和预测结果的差异，调整缺陷检测模型的网络参数，由于多个样本图像为多角度成像和/或多光源成像，故对多个样本图像所提取到的样本融合特征图包含多角度图像的特征信息和/或多光源图像的特征信息，进而能够大大提高样本融合特征图的特征丰富度，提高缺陷检测模型的准确性。
在一些公开实施例中，实际结果包括：样本物件缺陷的实际类型和实际区域，预测结果包括：样本物件缺陷的预测类型和预测区域，处理器82用于利用实际类型和预测类型的差异，以及实际区域和预测区域的差异，调整缺陷检测模型的网络参数。
区别于前述实施例，通过基于实际类型和预测类型的差异，以及实际区域和预测区域的差异，来调整缺陷检测模型额的网络参数，能够在训练过程中，联合训练缺陷类型预测任务和缺陷区域预测任务，从而能够有利于提高缺陷检测模型的准确性。
请参阅图9，图9是本申请存储装置90一实施例的框架示意图。存储装置90存储有能够被处理器运行的程序指令901，程序指令901用于实现上述任一缺陷检测方法实施例中的步骤，或实现上述任一缺陷检测模型的训练方法实施例中的步骤。
上述方案，能够提高缺陷检测的准确性。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
- 还没有人留言评论。精彩留言会获得点赞！