一种基于自适应亮度回归矫正的水果表面缺陷检测方法与流程

本发明涉及计算机视觉图像处理方法，具体涉及一种基于自适应亮度回归矫正的水果表面缺陷检测方法。

背景技术：

表面缺陷检测是水果分级的重要依据之一，在世界各国的水果评级标准中有严格的规定。国内外大量学者研究通过计算机视觉方式检测水果及农产品表面缺陷，但是许多农产品是类球体，二维图形中部的灰度值要远大于边缘的灰度值，导致表面缺陷图像检测的困难。

经过现有的技术检索发现，方法主要分为三类：

1)基于球体灰度模型的处理方法。譬如专利文献中国专利CN101984346A记载了一种基于低通滤波的水果表面缺陷检测方法，首先获得去除背景的R分量图像，利用水果彩色图像通过离散傅里叶变换进行低通滤波然后离散傅里叶反变换获得表面亮度图像，前者图像除以后者图像得到均一化亮度图像，再采用单阈值实现水果表面缺陷分割，该技术涉及较复杂的数字信号处理增加在线开发难度，而且低通滤波的最佳参数随着不同的光环境需要人工经验重新调试选择；中国专利CN102788806A利用水果RGB图像和NIR图像，计算对比水果的缺陷形状、大小，但是水果不是严格球体，该专利用二值图像外接矩形最大宽度近似水果直径，最大宽度的一半作为迭代次数终止条件。这种方法对非圆形的椭圆形水果会产生误差，而且椭圆形水果长轴和短轴受到的光照朗伯现象不一样直接用该区域像素点直接进行亮度平均处理，会对缺陷检测带来误差；Li Jiangbo等人(2013)利用光照传输模型与图像比技术检测脐橙表面缺陷，该方法仍然涉及较复杂的数字信号处理增加在线开发难度，而且低通滤波的最佳参数随着不同的光环境需要人工经验重新调试选择。(Automatic detection of common surface defects on oranges using combined lighting transform and image ratio methods Jiangbo Li,Xiuqin Rao,Postharvest Biology and Technology 2013)。

2)基于表面纹理特征的处理方法。López-García F等人(2010)利用多元图像理论以及表面纹理特征算法训练方法检测脐橙表面缺陷，该算法比较复杂不易用于在线，而且检测脐橙表面缺陷类型有限。(López-García F,Andreu-García G,Blasco J,et al.Automatic detection of skin defects in citrus fruits using a multivariate image analysis approach[J].Computers and Electronics in Agriculture,2010,71(2):189-19)。

3)基于多光谱成像技术的处理方法。J.Blascoa等人利用多光谱成像设备进行脐橙表面缺陷分析，该方法硬件成本较高和复杂(2007)(J.Blascoa,N.Aleixos.(2007).Citrus sorting by identification of the most common defects using multispectral computer vision.Journal of Food Engineering 83(2007)384–393)。

现有方法存在处理算法较复杂难以用于在线检测或者依赖成本较高的复杂硬件成像技术的问题，因此需要新的水果表面缺陷检测方法。

技术实现要素：

本发明的目的在于提供一种基于自适应亮度回归矫正的水果表面缺陷检测方法，检测方法更简单并且适合在线检测场合，表面缺陷检测类型更多以及对象实用性较广。

本发明解决其技术问题所采用技术方案的步骤如下：

1)获取水果RGB彩色图像，将水果RGB彩色图像转换为初始灰度图像；

2)将初始灰度图像分割背景和目标，进行二值化处理得到二值化水果图像，用1表示水果目标，0表示背景；

3)用步骤2)得到的二值化水果图像与步骤1)得到的初始灰度图像进行逐个像素点相乘，得到水果灰度图像；

4)对水果灰度图像中每一行和每一列除去背景像素的所有像素分别进行最小二乘法二次项多项式的回归计算，分别获得水平方向回归图像和垂直方向回归图像；

5)将水果灰度图像分别除以水平方向回归图像和垂直方向回归图像获得水平方向亮度矫正图像和垂直方向亮度矫正图像，将水平方向亮度矫正图像和垂直方向亮度矫正图像相加取平均获得亮度矫正图像；

6)通过分割阈值对亮度矫正图像进行二值化，然后完成填洞和中值滤波获得水果表面缺陷图像。

所述步骤4)具体为：

4.1)在水果灰度图像最上面一行开始依次扫描灰度值大于0的像素点数量大于3的各行，对于每一行，将该行灰度值大于0的像素点的灰度值按从左到右次序依次写入行向量f(n)；

4.2)按以下公式对行向量f(n)进行最小二乘回归计算，得到行二次项系数k₂、行一次项系数k₁和行常数项k₀；

f₁(n)＝k₂n²+k₁n+k₀+ε₀ (1)

其中，f₁(n)—像素灰度值；n—像素灰度值所在的列号；k₂—行二次项系数；k₁—行一次项系数；k₀—行常数项；ε₀—行残差；

4.3)再取行残差ε₀为0，将行二次项系数k₂、行一次项系数k₁和行常数项k₀、像素灰度值所在的列号n代入以下公式再计算获得行回归灰度值f₂(n)：

f₂(n)＝k₂n²+k₁n+k₀+ε₀ (2)

其中，f₂(n)为行回归灰度值；

4.4)将计算获得行回归灰度值作为水平方向回归图像中该像素位置的像素值，对于灰度值大于0的像素点数量小于3的行水平方向回归图像中保留原有灰度值作为像素值；

4.5)在水果灰度图像最左边一列开始依次扫描灰度值大于0的像素点数量大于3的各列，对于每一列，将该列灰度值大于0的像素点的灰度值按从上到下次序依次写入列向量g(m)；

4.6)按以下公式对列向量g(m)进行最小二乘回归计算，得到列二次项系数p₂、列一次项系数p₁和列常数项p₀；

g₁(m)＝p₂m²+p₁m+p₀+ε₁ (3)

其中，g₁(m)—像素灰度值；m—像素灰度值所在的行号；p₂—列二次项系数；p₁—列一次项系数；p₀—列常数项；ε₁—列残差；

4.7)再取列残差ε₁为0，将列二次项系数p₂、列一次项系数p₁和列常数项p₀、像素灰度值所在的列号m代入以下公式再计算获得列回归灰度值g₂(m)：

g₂(m)＝p₂m²+p₁m+p₀+ε₁ (4)

其中，g₂(m)为列回归灰度值；

4.8)将计算获得列回归灰度值作为垂直方向回归图像中该像素位置的像素值，对于灰度值大于0的像素点数量小于3的列垂直方向回归图像中保留原有灰度值作为像素值。

所述步骤5)具体为：

5.1)使用以下公式获得水平方向亮度矫正图像，

IMG_CH＝IMG_FG/IMG_RH (5)

式中：IMG_CH—水平方向亮度矫正图像；IMG_RH—水平方向回归图像；IMG_FH—水果灰度图像；

5.2)使用以下公式获得垂直方向亮度矫正图像，

IMG_CV＝IMG_FG/IMG_RV (6)

式中：IMG_CV—垂直方向亮度矫正图像；IMG_RV—垂直方向回归图像；IMG_FG—水果灰度图像；

5.3)使用以下公式获得亮度矫正图像：

IMG_Correct＝0.5×MG_CH+0.5×IMG_CV (7)

式中：IMG_CH—水平方向亮度矫正图像；IMG_CV—垂直方向亮度矫正图像；IMG_Correct—亮度矫正图像。

所述步骤6)中，先利用步骤5)获得的亮度矫正图像通过分割阈值进行二值化，用1表示缺陷，0表示背景，获得缺陷二值化图像；再将缺陷二值化图像通过以下公式进行迭代处理填洞，然后进行4×4中值滤波，得到表面缺陷图像：

F_k＝(F_k-1E)？D^c (8)

式中，F—图像处理结果；D—缺陷二值化图像的数据，D^c—D的补集；E—四连通域；k—计算次数，k＝1,2,3…，当k＝1，F₀是二值化图像。

本发明具有的有益效果是：

本发明利用水果表面缺陷图像区域的灰度不连续性特点，通过最小二乘法二次项多项式完成图像亮度回归和图像自适应亮度矫正无需人工调试设置，只需要一个简单的全局阈值完成缺陷分割能够有效检测表面缺陷。方法算法简便程序工程实现，在水果及农产品品质计算机视觉在线检测方面具有较大的应用潜力。

附图说明

图1是本发明方法的流程图。

图2是本发明实施例1中原始彩色图像。

图3是本发明实施例1中水果灰度图。

图4是本发明实施例1中水平方向回归图像。

图5是本发明实施例1中垂直方向回归图像。

图6是本发明实施例1中水平向亮度矫正图像。

图7是本发明实施例1中垂直方向亮度矫正图像。

图8是本发明实施例1中亮度矫正图像。

图9是本发明实施例1中二值化图像。

图10是本发明实施例1中四连通域。

图11是本发明实施例1中提取表面缺陷图像。

图12是脐橙风伤果原始图。

图13是脐橙风伤果表面缺陷检测结果图。

图14是脐橙蓟马果原始图。

图15是脐橙蓟马果表面缺陷检测结果图。

图16是脐橙介壳虫果原始图。

图17是脐橙介壳虫果表面缺陷检测结果图。

图18是脐橙溃疡果原始图。

图19是脐橙溃疡果表面缺陷检测结果图。

图20是脐橙裂果原始图。

图21是脐橙裂果表面缺陷检测结果图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明。

如图1所示，本实施例如下：

1)拍摄水果RGB彩色图像，如图2所示；

2)将水果RGB彩色图像转换为初始灰度图像

3)提取水果目标去除背景后进行二值化，得到二值化水果图像，用1表示水果，0表示背景；

4)用步骤3)得到的二值化水果图像与步骤2)得到的灰度图像进行逐个像素点相乘，得到如图3所示的水果灰度图像，对水果灰度图像进行两次复制，分别水平方向回归图像和垂直方向回归图像。

5)在水果灰度图像最上面一行开始扫描，找到第1行灰度值大于0的像素点数量大于3的行，将该行像素的灰度值按从左到右的次序写入向量f(n)(n为像素灰度值对应的列号)。

6)按公式(1)对f(n)进行最小二乘回归，得到公式(1)中的系数k₂、k₁、k₀。

7)在公式(2)中取殘差ε₀为0，带入k₂、k₁、k₀、列号n计算回归灰度值，并写入水平方向回归图像相应行、列位置。

8)重复步骤5)-7)，直到水果灰度图像的最下面一行。获得如图4所示的水平方向回归图像。

9)在水果灰度图像最左边一列开始扫描，找到第1列灰度值大于0的像素点数量大于3的列，将该行像素的灰度值按从上到下的次序写入向量f(n)(n为像素灰度值对应的行号)。

10)按公式(3)对g(m)进行最小二乘回归，得到公式(3)中的系数p₂、p₁、p₀。

11)在公式(4)中取殘差ε₁为0，带入p₂、p₁、p₀、行号m计算回归灰度值，并写入垂直方向回归图像相应行、列位置。

12)重复步骤9)-11)，直到水果灰度图像的最右边一列。获得如图5所示的垂直方向回归图像。

13)使用公式(5)获得如图6所示的水平方向亮度矫正图像，使用公式(6)获得如图7所示的垂直方向亮度矫正图像，使用公式(7)获得如图8所示的亮度矫正图像。

14)利用步骤13)中的亮度矫正图像进行二值化，用1表示缺陷，0表示背景，获得如图9所示的二值化图像，二值化图像通过公式(8)进行迭代处理，然后采用如图10所示的四连通域进行4×4中值滤波，得到如图11所示的表面缺陷图像，其中白色区域为缺陷区域。

本发明依次对脐橙风伤果、脐橙蓟马果、脐橙介壳虫果、脐橙溃疡果和脐橙裂果的水果图像进行检测，脐橙风伤果的原始情况和检测结果分别如图12和图13所示，脐橙蓟马果的原始情况和检测结果分别如图14和图15所示，脐橙介壳虫果的原始情况和检测结果分别如图16和图17所示，脐橙溃疡果的原始情况和检测结果分别如图18和图19所示，脐橙裂果的原始情况和检测结果分别如图20和图21所示。经实施例多次实施，本发明方法的准确率可达到95％。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。