专利名称：一种苹果表面缺陷检测系统和方法
技术领域：
本发明涉及蔬菜水果检测技术领域，特别涉及一种苹果表面缺陷检测系统和方法。
背景技术：
目前，我国苹果的产后处理水平十分低下，苹果的产后分级处理技术落后严重，制约着我国苹果产业的发展。基于机器视 觉的苹果外部品质分选机可以综合检测苹果的大小，颜色，果形和表面缺陷等主要指标，具有自动，高效，准确，全面，客观和非破坏性检测等优点，在苹果产后分级处理中得到了广泛应用。苹果大小、形状、颜色指标的自动检测方法已比较成熟，而缺陷的快速识别一直是苹果实时分级的障碍，其主要难点是由于苹果表面的缺陷区域和果梗/花萼区域在图像的灰度值上有非常大的相似性，二者在图像上都呈现为暗黑色的斑点，从而导致缺陷与果梗/花萼难以区分。现有的检测苹果表面缺陷的方法主要有特征检测法提取缺陷区域与果梗/花萼区域的特征，利用人工神经网络，支撑向量机等分类器进行识别，这类方法的缺点是识别正确率较低。结构光检测法利用条形结构光在苹果表面上的变形来获取苹果的三维信息，从而将凹陷区域判定为果梗/花萼区域，这类方法的主要缺点是当果梗/花萼区域与结构光投射器的方向一致的时候，条形结构光仅有极微小的变形，导致无法检测苹果表面的凹陷区域。高光谱检测法利用高光谱相机检测苹果表面缺陷，尽管识别正确率较高，但是高光谱相机价格极其昂贵，很难用于实际的生产当中。阴影重建检测法利用苹果表面的阴影对苹果进行三维重建，根据重建结果识别苹果表面的凹陷区域，这类方法很难保证苹果处于任意姿态时都提供足够的阴影信息用于三维重建，而且当缺陷区域的颜色特征与阴影相似时，缺陷区域会被错误地判别为果梗/花萼区域。结构光方法作为一种主动立体视觉方法被广泛用于获取物体的三维信息，但是可见结构光极易被苹果表面的颜色信息干扰，影响获取三维信息的精度。96年就有学者采用近红外条形结构光辅助获取苹果表面的三维信息，但是由于果梗/花萼与结构光投射器方向一致的时候，近红外条形结构光变形极小，导致这种方法的检测正确率很低，不能满足实际生产的要求。
发明内容
(一)要解决的技术问题本发明要解决的技术问题是解决目前在检测苹果表面缺陷方面的不足。(二)技术方案一种苹果表面缺陷检测系统，
所述系统包括传送装置(1)，位于传送装置正上方的光照箱(2)所述光照箱(2)；所述光照箱(2 )内部下方安装有可见/近红外复合LED光源装置(3 )，内部上方正中央安装有点阵近红外结构光投射器(7)，所述点阵近红外结构光投射器(7)—侧安装有黑白工业相机(4)和彩色工业相机(6)；所述黑白工业相机(4 )通过电缆连接到计算机(10 )的近红外图像采集卡(8 )上，所述彩色工业相机(6)通过电缆连接到计算机(10)的彩色图像采集卡上。其中，所述黑白工业相机(4 )安装有滤光片(5 )。其中，所述可见/近红 外复合LED光源装置(3 )在传送装置(I)两侧各安装有一个。其中，，所述可见/近红外复合LED光源装置(3)包括可见光LED (3. 2)、近红外LED (3. 3)、散热器(3. I)和开关电源(3. 4)，所述可见光LED (3. 2)和近红外LED (3. 3)固定在散热器(3. I)上并且通过导线与开关电源(3. 4)连接。其中，，所述点阵近红外结构光投射器(7)投射出的近红外点阵结构光光斑在参考平面上均匀分布。其中，，所述点阵结构光中设置了四对光斑作为定位标记。其中，，所述参考平面为传送装置(I)的上表面。一种苹果表面缺陷监测方法，其特征在于，所述方法包括，SI，利用黑白工业相机获取每个近红外点阵结构光光斑在参考平面的位置；S2，利用彩色工业相机获取传送装置上的苹果的彩色图像，并通过阈值分割的方法去除苹果的背景区域以及分割出苹果区域中灰度值较低的感兴趣区域；S3，利用带有滤光片的黑白工业相机获取投射在苹果表面上的近红外结构光光斑图像，对图像逐列进行扫描，在非感兴趣区域搜索两个距离最近光斑，通过将苹果表面的光斑位置信息与参考平面的光斑位置信息进行对比，获取苹果表面深度变化的信息以得到凹陷区域；S4，将S2中的感兴趣区域与S3中的凹陷区域相比较，将感兴趣区域中与凹陷区域不重合的区域视为苹果表面的缺陷区域。其中，所述感兴趣区域包括缺陷区域和果梗/花萼区域。(三)有益效果本发明采用彩色工业相机获取苹果表面缺陷区域及果梗/花萼区域，近红外点阵结构光辅助识别苹果表面的果梗/花萼区域，将苹果表面的非凹陷区域判定为缺陷区域，提高苹果缺陷检测的精度。
图I是本发明系统的结构图；图2是可见/近红外复合LED光源结构示意图；图3是深度信息感知原理图；图4是近红外点阵结构光投射在苹果表面效果图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式
作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。如图I所示，本发明的检测系统包括输送装置(I )，光照箱(2)，可见/近红外复合LED光源装置(3)，黑白工业相机(4)，滤光片(5)，彩色工业相机(6)，彩色图像采集卡(9)，近红外图像采集卡(8)，点阵近红外结构光投射器(7)，计算机(10)。输送装置(I)安装在检测系统的最下方，光照箱(2)安装在输送装置(I)的上方，可见/近红外复合LED光源装置(3)安装在光照箱(2)内部下方，输送装置(I)的两侧，点阵近红外结构光投射器(7)、带有滤光片(5)的黑白工业相机(4)和彩色工业相机(6)安装在光照箱(2)内部上方，带有滤光片(5)的黑白工业相机(4)输出的近红外图像信号通过电缆接到近红外图像采集卡(8)上，彩色工业相机(6)输出的彩色图像信号输出到彩色图像采集卡(9)上，近红外图像采集卡(8 )和彩色图像采集卡(9 )安装在计算机(10 )的插槽上，计算机(10 )上安装苹果表面缺陷检测软件。如图2所示，所述的可见/近红外复合LED光源装置(3)由可见光LED(3. 2)，近红
外LED (3. 3)，散热器(3. 1)，开关电源(3. 4)组成；可见光LED (3. 2)和近红外LED (3.3)固定在散热器(3. I)上，可见光LED (3. 2)，近红外LED (3. 3)与开关电源相连接。如图3所示，所述的苹果表面深度信息感知是基于如下原理在参考平面(Rl)上没有苹果(Al)的时候，近红外投射器投射在参考平面上的光斑为Rl，R2，O ;但将苹果置于参考平面上后，近红外投射器(7)投射出的结构光在苹果表面的SI，S2，So位置形成光斑，而带有滤光片(5)的黑白工业相机(4)获取的Sl，S2，So位置的光斑对应于参考平面上Pl，P2，Po位置上的光斑；也就是说，在参考平面(Rl)上放置苹果(Al)后，获取的光斑位置，相对于其在参考平面上的光斑位置发生的位移，位移的大小由苹果表面上的光斑距离参考平面的距离决定，在图3中，Ll>Lo, L2>Lo，即凹陷区域(Cl)处获取的光斑相对于其在参考平面上的位置的平移相对较小，因此可以通过结构光光斑在水平方向上变化的规律来判定苹果表面是否存在凹陷的果梗/花萼区域。如图4为近红外结构光投射器(7)投射在苹果表面的上的近红外点阵的效果图，LI，L2，L3和L4为四组定位标记，四组定标记的行列位置已知，通过四组定位标记，可以获得其它光斑在结构光点列中的行列位置，该图像通过带有滤光片(5)的黑白工业相机(4)获得，获得的图像信息通过近红外图像采集卡(8)上传到计算机(10)进行处理。本发明所述的检测方法包括以下步骤I)获取近红外点阵结构光在参考平面上每个光斑点的位置在近红外结构光投射器垂直的传输装置上放置白色纸板，用带有滤光片的黑白工业相机获取投射在纸板上的近红外结构光光斑图像，这一光斑图像作为参考图像。2)获取苹果图像中的感兴趣区域利用彩色工业相机获取传送装置上的苹果的彩色图像，通过阈值分割的方法去除苹果的背景区域，并分割出苹果区域中灰度值较低的感兴趣区域，感兴趣区域可能是缺陷区域，或者为果梗/花萼区域。3)获取苹果表面的凹陷区域利用带有滤光片的黑白工业相机获取投射在苹果表面上的近红外结构光光斑图像，对图像逐列进行扫描，在非感兴趣区域搜索两个距离最近光斑，通过两个距离最近光斑在图像中的位置，可以知道这两个光斑在光斑阵列中行列信息，从而可以获取其它所有光斑在光斑阵列中的位置，通过将苹果表面的光斑位置信息与参考平面的光斑位置信息进行对比，从而可以获取苹果表面深度变化的信息。这里需要说明的是，结构光技术是通过结构光在物体表面上的位移，变形来感知物体表面的深度信息，而点阵结构光中每个光斑都具有相同的形状，所以很难获取物体表面上的光斑相对于其在参考平面上对应光斑的位移信息，本发明通过设置上下左右四对标记光斑来解决这一难题，实现了苹果表面凹陷的果梗/花萼区域的检测。4)判定苹果表面的缺陷区域将步骤2)中的感兴趣区域与步骤3)中检测到的凹陷区域进行比较，将除凹陷区域以外的感兴趣区域视为苹果表面的缺陷区域。为了进一步测试本方法的有效性，我们对210个苹果在检测系统上进行了测试，本发明提出方法的检测正确率高达95. 2%，达到了世界领先水平。以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
权利要求
1.一种苹果表面缺陷检测系统，其特征在干， 所述系统包括传送装置(1)，位于传送装置正上方的光照箱(2)所述光照箱(2)； 所述光照箱(2)内部下方安装有可见/近红外复合LED光源装置(3)，内部上方正中央安装有点阵近红外结构光投射器(7)，所述点阵近红外结构光投射器(7) —侧安装有黒白エ业相机(4)和彩色エ业相机(6)； 所述黑白エ业相机(4)通过电缆连接到计算机(10)的近红外图像采集卡(8)上，所述彩色エ业相机(6 )通过电缆连接到计算机(10 )的彩色图像采集卡上。
2.如权利要求I所述的系统，其特征在于，所述黑白エ业相机(4)安装有滤光片(5)。
3.如权利要求I所述的系统，其特征在于，所述可见/近红外复合LED光源装置(3)在传送装置(I)两侧各安装有ー个。
4.如权利要求I所述的系统，其特征在于，所述可见/近红外复合LED光源装置(3)包括可见光LED (3. 2)、近红外LED (3. 3)、散热器(3. I)和开关电源(3. 4)，所述可见光LED(3. 2)和近红外LED (3.3)固定在散热器(3. I)上并且通过导线与开关电源(3. 4)连接。
5.如权利要求I所述的系统，其特征在于，所述点阵近红外结构光投射器(7)投射出的近红外点阵结构光光斑在參考平面上均匀分布。
6.如权利要求5所述的系统，其特征在于，所述点阵结构光中设置了四对光斑作为定位标记。
7.如权利要求5所述的系统，其特征在于，所述參考平面为传送装置(I)的上表面。
8.ー种基于权利要求I所述系统的苹果表面缺陷监测方法，其特征在于，所述方法包括， SI，利用黒白エ业相机获取每个近红外点阵结构光光斑在參考平面的位置； S2，利用彩色エ业相机获取传送装置上的苹果的彩色图像，并通过阈值分割的方法去除苹果的背景区域以及分割出苹果区域中灰度值较低的感兴趣区域； S3，利用带有滤光片的黑白エ业相机获取投射在苹果表面上的近红外结构光光斑图像，对图像逐列进行扫描，在非感兴趣区域搜索两个距离最近光斑，通过将苹果表面的光斑位置信息与參考平面的光斑位置信息进行对比，获取苹果表面深度变化的信息以得到凹陷区域； S4，将S2中的感兴趣区域与S3中的凹陷区域相比较，将感兴趣区域中与凹陷区域不重合的区域视为苹果表面的缺陷区域。
9.如权利要求I所述的方法，其特征在于，所述感兴趣区域包括缺陷区域和果梗/花萼区域。
全文摘要
本发明公开了一种苹果表面缺陷检测系统，所述系统包括传送装置(1)，位于传送装置正上方的光照箱(2)所述光照箱(2)；所述光照箱(2)内部下方安装有可见/近红外复合LED光源装置(3)，内部上方正中央安装有点阵近红外结构光投射器(7)，所述点阵近红外结构光投射器(7)一侧安装有黑白工业相机(4)和彩色工业相机(6)；所述黑白工业相机(4)通过电缆连接到计算机(10)的近红外图像采集卡(8)上，所述彩色工业相机(6)通过电缆连接到计算机(10)的彩色图像采集卡上。
文档编号G01N21/88GK102854192SQ20121030078
公开日2013年1月2日 申请日期2012年8月22日 优先权日2012年8月22日
发明者赵春江, 张驰, 黄文倩, 郭志明, 王庆艳, 李江波, 李斌 申请人:北京农业智能装备技术研究中心