一种曲面表面缺陷自动检测方法及其装置与流程

本发明涉及图像处理与深度学习研究领域，特别涉及一种曲面表面缺陷自动检测方法及其装置。

背景技术：

目前，工业领域对小曲面表面缺陷的自动检测主要采用如下算法：

一、提取图像特征，进行图像处理。这种方法一般是通过行业专家根据缺陷特点人工设计图像特征提取方法，然后与实时图像进行匹配；

二、采用反向传播神经网络方法，用人工设计的特征提取方法提取图像特征后送入神经网络的输入端，通过建立神经网络对图像是否有缺陷、缺陷类型等进行分类；

三、采用支持向量机等分类器对人工提取到的特征进行分类。

上述方法均有以下几个缺点：

1、均采用人工选取特征，可能因为人的主观判断不准确造成图像有用信息的丢失，导致识别准确率下降；

2、提取特征的方法过多依赖于参数的设定，而且适用性不强，对于不同类型的缺陷往往需要重新设定参数；

3、采用神经网络等分类器往往只能对整幅图像进行分类，无法对缺陷的位置进行精确定位，使得达不到在线检测的要求。

为此，寻求一种能够适应性高、实时性高、识别准确率高的曲面表面缺陷自动检测方法及其装置具有重要的实用价值。

技术实现要素：

本发明的主要目的在于克服现有技术的缺点与不足，提供一种曲面表面缺陷自动检测方法，该方法具有适应性高、实时性高、识别准确率高的优点。

本发明的另一目的在于提供一种用于实现上述曲面表面缺陷自动检测方法的装置，该装置操作容易、结构简单稳定。

本发明的目的通过以下的技术方案实现：一种曲面表面缺陷自动检测方法，包括步骤：

(1)训练阶段：采集样本图像，构建训练集，对训练集中的图像进行人工缺陷识别，标注出所有缺陷出现的区域；

针对训练集中的每一幅图像执行缺陷预定位步骤：

(1-1)计算图像中每个像素点与其相邻8个方向的像素点之间RGB空间3通道的欧式距离，将该欧式距离作为权值，每个权值代表该边连接的两个区域的不相似度，对每一条边做以下合并操作得到初始分割区域集R：只要两个区域间的类间差异大于任意一个区域的类内差异，就将其合并为一个新的区域，否则不合并；

(1-2)初始化区域间相似度集合S为空集；

(1-3)计算分割区域集R中每两个相邻区域的相似度，添加到集合S中；

(1-4)在集合S中找到相似度最高的值s_max，合并该值对应的两个区域，将新合并的区域添加到集合R中，同时删除集合S中与该两个区域有关的所有相似度，再重新计算新分割区域集R的相似度；不断重复上述操作，直到集合S成为空集，最终所得集合R为所有缺陷可能出现的区域；

将训练集中每一幅图像得到的集合R与人工标注出的所有缺陷出现的区域进行比对，根据二者的重合度划分负样本和正样本；

将正样本和负样本作为输入，进行深度神经网络模型的离线训练，训练过程采用随机梯度下降方法，输出为缺陷区域的类别与具体坐标；

得到训练好的深度神经网络模型；

(2)在线检测阶段：采集当前待检测曲面表面图像，执行缺陷预定位步骤，得到集合R，将集合R输入训练好的深度神经网络模型，得到缺陷区域的类别与具体坐标。

优选的，根据样本图像构建训练集时，至少采用下述方法中的一种进行扩增：进行一次随机角度的旋转，一次平移，一次缩放，一次翻转，一次拉伸，一次裁剪。从而可以将采集的样本图像最大扩充6倍，以有效防止训练的过拟合。

更进一步的，所述旋转在0°～360°随机选取角度，所述平移是随机偏移-8到8个像素，所述缩放的缩放因子在1/1.5～1.5之间随机选取，所述翻转包括水平与垂直两个方向，所述拉伸是指将短边拉伸，拉伸因子在1/1.2～1.2之间随机选取，所述裁剪是人工选取目标区域部分。采用上述的参数进行扩增样本，后续训练得到的模型将更为准确。

优选的，在进行缺陷预定位前，计算训练集中所有图像三通道像素的平均值，然后将每一幅图像的三通道像素值减去上述每个通道的平均值，得到新的样本图像。通过上述处理，可以提高收敛速度。

更进一步的，在进行缺陷预定位前，随机打乱新的样本图像在训练集中的顺序。从而使建立的训练网络更准确。

具体的，所述类间差异定义为连接两个区域所有边中最小的权值，类内差异定义为区域内所有边中最大的权值加上限制系数其中s为区域内所有像素点的个数，k为分割阈值。

优选的，所述步骤(1-2)中，区域间相似度集合S采用的相似度包括颜色相似度、纹理相似度和大小相似度3种，其中：

颜色相似度将颜色灰度的范围均分为M个子区间，称为M bins，对区域a和b获取每个颜色通道Mbins的直方图，则区域a和b各得到一个3M维向量C_a，C_b；

纹理相似度先将图像转为灰度图，对区域a和区域b获取Nbins的梯度直方图，则区域a和区域b个得到一个N维向量T_a，T_b；

大小相似度s(a)为区域a包含像素点个数，s(b)为区域b包含像素点个数，s(im)为整幅图像包含像素点个数。

优选的，根据重合度划分负样本和正样本的步骤是：

重合度其中S_p为预定位区域面积，S_t为真实目标框面积，S_o为S_p和S_t重叠部分面积，重合度在0到50％的区域作为负样本，重合度在70％以上的区域作为正样本，其余的忽略。

优选的，在步骤(2)得到缺陷区域的类别与具体坐标后，采用非极大值抑制算法消除冗余目标框，确定缺陷区域的最佳位置。

一种用于实现上述曲面表面缺陷自动检测方法的装置，包括若干个相机，以及滑动台、底板座、电机、电机控制器、光源、光源控制器和上位机，每个相机对应固定在一三自由度相机支架上，三自由度相机支架、滑动台、光源、光源控制器均固定在底板座上，电机通过联轴器与滑动台固定连接，相机通过RJ45网络接口与上位机连接；在检测时，工件水平放置在滑动台上，上位机发送运动指令给电机控制器，电机控制器控制电机带动滑动台上的工件在相机拍摄视野的区域运动，由带光源控制器的光源为相机提供照明，从而获取清晰的工件待检曲面的全部图像。

优选的，所述装置包括两个工业相机，第一工业相机安装高于工件的水平面20cm～30cm，并向下与水平面呈30°～45°夹角，第二工业相机安装低于工件的水平面20cm～30cm，并向上与水平面呈30°～45°夹角。通过第一和第二两个不同角度的工业相机对工件的拍摄，保证拍摄视野完整覆盖待检测曲面。

本发明与现有技术相比，具有如下优点和有益效果：

1.本发明使用的金属小曲面缺陷自动检测装置能清晰快速地采集高质量的曲面缺陷图像，保证了采集图像的高清晰度。

2.本发明方法在样本准备过程中通过对缺陷样本做多种变换处理，扩增了数据量，同时一定程度地防止训练出现过拟合。

3.本发明方法基于图论的思想先预定位出缺陷区域，再对所有预定位的缺陷区域采用离线训练的网络模型进行识别，相比于整张图像进行检测，能提高识别准确率；同时网络结构在识别出缺陷类型的同时，也对区域中缺陷的位置进行更精确的定位。

4.本发明缺陷检测过程自动进行，无需人工进行参数设定，对不同的图像采集环境和不同类型的缺陷都有很强的适用性。

附图说明

图1是本实施例装置的硬件结构示意图；

图2是本实施例装置的框架图；

图3是本实施例方法的流程示意图；

图4是本实施例方法中训练阶段样本图像准备的流程图；

图5是本实施例方法中缺陷预定位算法的流程图；

图6是本实施例方法中网络训练算法的流程图；

图7是本实施例方法在线检测的工作流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

如图1所示，本实施例一种曲面表面缺陷自动检测装置，包括两个带有微焦距镜头的工业相机、两个三自由度相机支架和两个光源、一个滑动台、一个底板座和一个电机。其中三自由度相机支架3和滑动台6固定在底板座9上，电机7通过联轴器与滑动台6固定连接。工件5水平放置在滑动台6之上，当工件5在AB位置时，由固定在相机支架3上的工业相机1采集图像，当工件5运动到BC位置时，由工业相机2采集图像，带光源控制器10的面光源4为相机提供光照。工业相机1和2均通过RJ45网络接口与PC机(上位机)连接，电机7与PC机连接。工件5的阴影部分为曲率较小的弧形面，为使拍摄视野覆盖接近半圆的弧面，将工业相机1安装高于工件5的水平面20cm，并向下与水平面呈30°夹角，工业相机2安装低于工件5的水平面20cm，并向上与水平面呈30°夹角，通过两个角度的工业相机对工件在位置AB和位置BC上的拍摄，保证拍摄视野完整覆盖待检测曲面。

当AB段长度大于镜头的清晰对焦区半径r，则在AB段内进行n次拍摄，取n＝AB/r，另使工件有100ms的静止拍摄时间。

检测的过程是PC机发送运动指令给电机控制器，控制电机带动滑动台上的工件在AB和BC区域运动，当检测到工件在AB区域停止运动，相机1采集图像并通过RJ45接口传回计算机，当检测到工件在BC区域停止运动，相机2采集图像并通过RJ45接口传回计算机，直至工件的AB和BC弧面均检测完毕。

图2示出本实施例装置按照功能，可以分为照明与成像部件、机械传动部件和PC机，其中照明与成像部件，包括面光源、光源控制器、工业相机和三自由度相机支架，每个相机对应固定在一三自由度相机支架上，三自由度相机支架、滑动台、光源、光源控制器均固定在底板座上，光源控制器通过电连接线与面光源连接，用于控制光源强度。机械传动部件，包括电机、电机控制器、滑动台和运动控制卡，电机通过联轴器与滑动台固定连接，电机控制器通过电连接线与电机连接，运动控制卡与电机控制器连接，运动控制卡通过PCI接口与PC机连接。

PC机中设有缺陷自动检测系统，该系统包括样本准备和网络训练两个离线模块，以及运动控制、图像采集、缺陷预定位和缺陷检测四个在线模块。照明与成像部件中的工业相机通过RJ45网络接口与PC机连接，采集在线图像；PC机通过运动控制模块与机械传动部件中的运动控制卡连接，控制电机起停、速度调整、方向变换等，带动滑动台上的工件运动。

图3是本实施例所述方法的主要工作流程图，包括离线的深度神经网络模型训练和在线进行自动缺陷检测两个主要步骤。训练阶段时，包括样本准备，执行缺陷预定位算法，将已获得多个预定位框的图像样本集同时输入给深度神经网络，进行深度神经网络模型的离线训练，然后将训练好的网络模型用于在线检测。在线检测的过程是首先在线采集工件小圆弧表面的图像，执行和离线训练时相同的缺陷预定位算法，再将已获得多个预定位框的单幅图像输入给深度神经网络，依次对图像中每一个预定位区域进行识别和分类，得到最终缺陷区域的坐标和缺陷类别，显示和输出检测结果。

图4是本实施例所述样本准备算法的流程图，包括以下步骤：

S1.采集20000张图像；当然，采集多少张图像，在实际应用中，本领域技术人员可以自行调整。

S2.采用以下方法进行图像数据集的扩增，人为地增加训练样本的数量，包括进行一次随机角度的旋转(在0°～360°随机选取角度)，一次平移(随机偏移-8到8个像素)，一次缩放(缩放因子在1/1.5到1.5倍随机选取)，一次翻转(水平与垂直两个方向)，一次拉伸(将短边拉伸，拉伸因子在1/1.2到1.2倍间随机选取)，一次裁剪(人工选取目标区域部分)，将图像数据集扩大六倍，以有效防止训练的过拟合；

S3.对上述图像数据集进行标注，在每一张图像上人工选取出所有缺陷的位置，并将位置的坐标和缺陷的类型保存至文本文件，且文本文件名和该图像命名一致；

S4.计算所有图像三通道像素的平均值，所有图像数据集训练样本都减去上述三通道像素的平均值，提高收敛速度；

S5.不重复地随机打乱所有数据集的图像顺序。

图5是本实施例所述缺陷预定位算法的流程图，包括以下步骤：

S1.将图像中每个像素点看成单一的区域，对每个像素点与其相邻8个方向的像素点分别计算它们的RGB空间3通道的欧式距离作为权值，每个权值代表该边连接的两个区域的不相似度，对每一条边做以下合并操作得到初始分割区域集R：只要两个区域间的类间差异大于任意一个区域的类内差异，就将其合并为一个新的区域，否则不合并。类间差异定义为连接两个区域所有边中最小的权值，类内差异定义为区域内所有边中最大的权值加上限制系数其中s为区域内所有像素点的个数，k为分割阈值，设为500；

S2.初始化区域间相似度集合S为空集，相似度定义包括颜色相似度、纹理相似度和大小相似度3种，其中：颜色相似度对区域a和b获取每个颜色通道25bins的直方图，则区域a和b各得到一个75维向量C_a，C_b；纹理相似度先将图像转为灰度图，对区域a和区域b获取8bins的梯度直方图，则区域a和区域b个得到一个8维向量T_a，T_b；大小相似度s(a)为区域a包含像素点个数，s(b)为区域b包含像素点个数，s(im)为整幅图像包含像素点个数；

S3.计算区域集R中每两个相邻区域的相似度，添加到集合S中；

S4.采在集合S中找到相似度最高的值s_max，合并该值对应的两个区域，将新合并的区域添加到集合R中，同时删除S中与该两个区域有关的所有相似度，再重新计算新区域集合R的相似度，不断重复上述操作，直到集合S成为空集，所得集合R为所有缺陷可能出现的区域。

图6是本实施例离线网络训练算法的流程图，包括以下步骤：

S1.对已准备好的图像数据集调用上述缺陷预定位算法进行缺陷预定位得到每一张图像样本中比较多的缺陷预定位区域；

S2.计算这些区域和人工标注的缺陷真实目标框的重合度，重合度其中S_p为预定位区域面积，S_t为真实目标框面积，S_o为S_p和S_t重叠部分面积，重合度在0到50％的区域作为负样本，重合度在70％以上的区域作为正样本，其余的忽略；

S3.设置最大迭代次数为40000，学习率为0.001，每批次学习的图像数目为128；将正样本和负样本作为输入，进行深度神经网络模型的离线训练，输出为缺陷区域的类别与具体坐标；

S4.训练的过程采用随机梯度下降方法，不断缩小网络输出与期望的差距。

图7是本实施例在线检测系统流程图，包括以下步骤：

S1.初始化相机、机械传动部件，校准光强，相机调焦；

S2.控制电机运动到固定位置停止并采集图像；

S3.调用与离线执行中相同的缺陷预定位算法，进行缺陷预定位得到每一张待检测图像中比较多的缺陷预定位区域；

S4.调用深度神经网络模型对预定位区域进行分类与识别，输出缺陷区域的类别与具体坐标；

S5.采用非极大值抑制算法消除冗余目标框，确定缺陷区域的最佳位置。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。