基于规律纹理背景重建的手机屏幕缺陷检测方法与流程

本发明涉及机器视觉与视频图像处理技术领域，具体为基于规律纹理背景重建的手机屏幕缺陷检测方法。

背景技术：

通过人工视觉来完成对手机屏幕缺陷检测，存着工作量大、漏检率高、误检率高、受主观感觉影响等多种问题，基于机器视觉的手机屏幕缺陷自动检测能有效解决这一问题。为突出缺陷的特征，去除手机屏幕的规律的背景纹理是进行缺陷检测的关键。

现有技术中，通过寻找手机屏幕上缺陷部分和正常部分的特征来进行缺陷检测的方法如线性回归和梯度直方图等，方案为先计算缺陷区域和邻近区域像素的灰度值的差异，然后设定一个阈值，当差异大于这个阈值的时候就判定为缺陷。为了有效、准确地定位缺陷，这些在空间域进行图像处理的方法需要先去除规律背景纹理的干扰。然而线性回归和梯度直方图都无法有效地去除规律背景纹理的干扰。离散傅里叶变换是一种描述图像频谱的算法。本发明提出通过拟合手机屏幕背景的横向纹理和纵向纹理在频谱的分布来设计滤波器，滤除缺陷的频谱，保留背景纹理的频谱，来重建背景并检测缺陷。

技术实现要素：

本发明要解决的问题是：现有通过机器视觉进行手机屏幕缺陷检测的方法易受规律背景纹理干扰，往往产生误检或漏检，定位不准。

本发明的技术方案为：一种基于规律纹理背景重建的手机屏幕缺陷检测方法，采用离散傅里叶变换重建手机屏幕的背景纹理，之后再通过背景差分进行缺陷检测，所述缺陷检测方法包括三个阶段：

1)离散傅里叶变换获取模板阶段，采用离散傅里叶变换，获得手机屏幕图像的频谱实部和虚部，并计算频谱的幅度谱，通过对二值化的幅度谱进行霍夫直线拟合得到滤波模板；

2)模板滤波阶段，用滤波模板分别和频谱的实部和虚部进行矩阵点乘，得到滤波后的实部和虚部；

3)离散傅里叶反变换并检测缺陷阶段，对滤波后的实部和虚部进行离散傅里叶反变换并归一化，得到不包含缺陷的手机屏幕背景重建图像，将手机屏幕图像的原图像减去得到的背景重建图像，得到不包含背景的缺陷图像，对新得到的缺陷图像自适应二值化，得到包含缺陷的二值图，即可检测出手机屏幕的缺陷。

步骤1)具体为：

11)利用频谱的实部和虚部计算幅度谱：

其中，gu,v表示幅度谱，ru,v表示频谱的实部，iu,v表示频谱的虚部；

12)通过快速排序算法获取幅度谱的前百分之h的像素的灰度值t，将幅度谱中灰度值大于t的像素的值置为255，小于t的像素的值置为0，得到二值化的幅度谱：

其中，m(u,v)表示二值化的幅度谱，g(u,v)为幅度谱，t为阈值化的阈值，

对得到的二值化的幅度谱进行霍夫直线拟合，并对拟合得到的每条直线往左右分别拓展10个像素，形成宽为20像素的灰度值为255的矩形，所有拟合出的直线形成的矩形组成一个滤波模板m′(u,v)。

步骤2)具体为：将模板和频谱的实部和虚部分别进行矩阵的点乘，去掉代表缺陷的频率成分，得到滤波后的包含背景频谱的实部和虚部：

其中，r(u,v)表示频谱的实部，r’(u,v)表示滤波后的实部，i(u,v)表示频谱的虚部，i’(u,v)表示滤波后的虚部，m’(u,v)表示滤波模板。

步骤3)具体为：

31)用傅里叶反变换的结果的均值除以原图的均值得到缩放系数r，将傅里叶反变换后的结果图中的每个像素的灰度值除以缩放系数，使得傅里叶反变换的结果归一化到0～255：

其中，g(x,y)为离散傅里叶反变换的结果图，f(x,y)为原图，fnew(x,y)为归一化后的背景重建图；

32)用原图减去背景重建图得到不包含背景的缺陷图，对缺陷图进行自适应二值化得到只包含缺陷的二值图：

d(x,y)＝f(x,y)-fnew(x,y)(6)

其中d(x,y)为原图和背景图的差分图，对差分图进行阈值为th的自适应二值化：

d’(x,y)表示只包含缺陷的二值图，mean(around(d(x,y)))表示以d(x,y)为中心的15*15的区域的像素的均值，th表示自适应二值化的阈值，一般设置为经验值20。

本发明经实验发现，手机屏幕图像在空间域的背景纹理，变换到频域后呈现为规则的横竖亮线纹理，在此基础上提出通过拟合频域纹理实现背景重建。本发明提出的采用离散傅里叶变换去除手机屏幕规律背景纹理的方法，在得到图像的频谱的基础上，通过纹理拟合获得频谱实部和虚部的滤波模板，实现了自适应的滤波。由于图像周期性的纹理，对频谱的滤波能够很好地去除规律背景纹理。本发明创新点在于：

1)针对现有方法不能去除手机屏幕的规律背景纹理，提出通过频谱滤波重建背景，并用原图减去背景图来去除规律背景纹理；

2)通过对幅度谱进行阈值化，并对二值化的幅度谱进行霍夫直线拟合自适应地得到了频谱的滤波模板，能够有效针对规律背景纹理；

3)对滤波后的频谱图进行离散傅里叶反变换，通过差分操作直接得到缺陷图，具有较高的检测精度。

附图说明

图1为本发明方法的流程框图。

图2为本发明实施例待检测手机屏幕图像。

图3为本发明实施例傅里叶变换得到幅度谱

图4为本发明实施例的滤波模板图

图5为本发明实施例的重建背景图

图6为本发明实施例瑕疵检测结果图。

具体实施方式

本发明方法主要包括离散傅里叶变换获取模板、模板滤波和离散傅里叶反变换并检测缺陷三个步骤。具体实施方式如下：

1、离散傅里叶变换获取模板阶段：对需要检测的手机屏幕图像a进行离散傅里叶变换，获得图像a的频谱，包括实部和虚部，进一步可以计算出频谱的幅度谱。通过快速排序获取幅度谱的前百分之h的像素的灰度值t,将幅度谱中灰度值大于t的像素的值置为255，小于t的像素的值置为0，h设置为经验值，如10～20。通过对二值化的幅度谱进行霍夫直线拟合得到滤波模板。

离散傅里叶变换获取滤波模板的方法为：

11)利用频谱的实部和虚部计算幅度谱：

其中，gu,v表示幅度谱，ru,v表示频谱的实部，iu,v表示频谱的虚部。

12)通过快速排序算法获取幅度谱的前百分之h的像素的灰度值t，将幅度谱中灰度值大于t的像素的值置为255，小于t的像素的值置为0，得到二值化的幅度谱：

其中，m(u,v)表示二值化的幅度谱，g(u,v)为幅度谱，t为阈值化的阈值，

对得到的二值化的幅度谱进行霍夫直线拟合，并对拟合得到的每条直线往左右分别拓展10个像素，形成宽为20像素的灰度值为255的矩形，所有拟合出的直线形成的矩形组成一个滤波模板m′(u,v)。

2、模板滤波：从步骤1获得的滤波模板，将模板和频谱的实部和虚部分别进行矩阵的点乘，得到滤波后的实部和虚部。

模板滤波的方法为将模板和频谱的实部和虚部分别进行矩阵的点乘，去掉代表缺陷的频率成分，得到滤波后的包含背景频谱的实部和虚部。

其中，r(u,v)表示频谱的实部，r’(u,v)表示滤波后的实部，i(u,v)表示频谱的虚部，i’(u,v)表示滤波后的虚部，m’(u,v)表示滤波模板。

3、离散傅里叶反变换并检测缺陷：对滤波后的频谱的实部和虚部进行离散傅里叶反变换并归一化到0～255，得到不包含缺陷的背景重建图。用原图减去背景重建图并对结果进行阈值为th的自适应二值化得到包含缺陷的二值图。

离散傅里叶反变换并检测缺陷的方法为：

31)对傅里叶反变换的结果进行归一化，方法为用傅里叶反变换的结果的均值除以原图的均值得到缩放系数r，将傅里叶反变换后的结果图中的每个像素的灰度值除以缩放系数：

其中，g(x,y)为离散傅里叶反变换的结果图，f(x,y)为原图，fnew(x,y)为归一化后的背景重建图。

32)用原图减去背景重建图得到不包含背景的缺陷图，对缺陷图进行自适应二值化得到只包含缺陷的二值图。原图减去背景图的求取方法为：

d(x,y)＝f(x,y)-fnew(x,y)(6)

其中d(x,y)为原图和背景图的差分图，对差分图进行阈值为th的自适应二值化的求取方法为：

d’(x,y)表示只包含缺陷的二值图，mean(around(d(x,y)))表示以d(x,y)为中心的15*15的区域的像素的均值，th表示自适应二值化的阈值，一般设置为经验值20。

图2、3、4、5、6为本发明实施效果图，其中获取模板的自适应二值化的百分比阈值h取10，检测缺陷的自适应二值化的阈值th取20。图3为本发明实施例傅里叶变换得到幅度谱，图4为本发明实施例的滤波模板图，图5为本发明实施例的重建背景图，图6为本发明实施例瑕疵检测结果图。由图可见，采用本方法可以很好地去除规律背景纹理的干扰，能较好地检测出规律纹理背景下的缺陷。