专利名称：表面缺陷仿蝇视觉在线检测装置及检测方法
技术领域：
本发明属于工业视觉检测和图像处理技术领域，特别是涉及一种仿蝇视觉在线表面缺陷检测装置及检测方法。
背景技术：
在铜带材生产制造过程中，由于受恶劣复杂多变的现场环境影响，再加上铜带带材表面本身的反射、散射特性以及高速运行产生的震动，还有金属带材的在线检测向着大尺寸、高精度、高速度、高可靠性等方向发展，使得视觉检测技术在推广应用中面临诸多问题。成像质量稳健性差、信噪比低，缺陷形状特征和纹理特征弱、冗余信息匮乏，增加了图像细节分析和识别困难；特别是微小缺陷极易被杂波和噪声所淹没，缺陷检出率对环境变化敏感，经常出现漏检和虚惊。对微小缺陷检测的精准检测成为视觉检测技术充分发挥优良性能和进一步推广的瓶颈。当缺陷距离观测点较远或者缺陷的相对尺寸较小时，往往需要采用高空间分辨率的摄像机获取场景信息辨识表面缺陷。在自然界，昆虫视觉系统卓越的目标检测和识别能力，使得昆虫可以在任何环境下对感兴趣高速运动目标进行检测和跟踪，昆虫复眼视觉在信息获取和处理过程的层次和并行处理过程，最终形成对复杂场景中的目标的快速精准检测和凝视，且昆虫视觉对复杂场景目标的检测和识别过程本质上是良态的和适定的。例如苍蝇的复眼，它是有成千上万个小眼组成，每个小眼只能看到外部场景的非常小的一块，由于每只小眼的孔径很小，同时小眼与小眼之间还存在一些干扰，所以复眼所获取的图像信息会受到衍射和干涉的影响分辨率都较低。尽管如此，苍蝇仍然可以依靠这样的视觉系统寻找食物和配偶。在昆虫视觉系统信息获取和处理的启发下，人们展开了大量的研究工作，企图通过复眼的一些成像机理来弥补现有设备的不足。而目前针对表面缺陷提取的方法也有很多，大多数是采用数字图像处理的方法例如匹配滤波器、小波分析等。这些人工视觉方法都是依靠从背景中分离出缺陷的思想，要求缺陷和背景之间存在一定的运动。而昆虫复眼的处理机制告诉我们，这样复杂的处理，对苍蝇来说太简单了。同时复眼处理方法还可以避免人工处理时需要考虑到的复杂的空间交互影响等问题。
发明内容
为了解决上述问题，本发明在生物学家对复眼生理学特征分析的基础上，模仿蝇视觉信息获取与处理机理，提供了一种表面缺陷仿蝇视觉在线检测装置及检测方法。本发明的工作原理本发明通过运行于嵌入式图像处理单元中的软件处理来虚拟昆虫复眼对表面缺陷的探测过程。将来自多个CCD图像传感器同时刻获取的图像帧进行拼接，获得比单一 CXD图像传感器更大的场景图像。在DSP芯片上的模拟复眼神经处理算法中，采用分割图像块来虚拟若干个小眼面，每个小眼具有少量的光感受器组成一个小的阵列。感光器阵列可以检测出它所观察的小区域内是否存在表面缺陷。其中每个光感受器对应一个像素。每个小眼选取图像中的一个较小的图像块进行处理。由于小眼的入射孔径很小，一般为2度，所以小眼获得图像的分辨率较低。而在探测表面缺陷的时候，分辨率的好坏对探测效果影响不大。借鉴生物视觉中对缺陷边缘的响应要比其他平坦区域强烈，而对于纹理信息，视觉响应会随着纹理的不断重复而逐渐减弱的机理。以及视觉神经响应的快速上电和慢速放电机理，考虑到场景中存在表面缺陷，那么其边缘处相对于周围场景的亮度值之间是存在较大差异的。一般来讲对于一个比场景亮度低的缺陷，仅从水平方向考虑，从左到右的亮度改变应该是亮一暗一亮。因此，通过两幅图的融合来判断是否存在表面缺陷。分割成的两幅图，一幅亮度分布在分割阈值之上的，叫做ON图，另外一幅的亮度分布在分割阈值之下的叫做off图。这样的分割使得沿表面缺陷边缘的缺陷体区域或比缺陷区域略大的一个闭合的区域出现在off图中(暗缺陷)。这样缺陷出现的地方就存在两个跳变信号亮度增加和降低。通过符号的变换，可以将本来为负的off图转为正方便后面的计算。这两个跳变信号通过中心侧抑制处理，可以将其转化为脉冲信号，同时增加了其他相邻信号之间差异。最后将平移的off图与on图进行乘法融合处理，获得表面缺陷的输出信号。如果同时存在两个脉冲那么代表表面缺陷的存在；若只有一个存在，那么相乘之后就为零。在这个过程中， 不仅可以获得表面缺陷是否存在的信息，表面缺陷的尺寸在off脉冲延迟的时间长度上也可以反映出来。本发明主要针对的是复杂的工业生产环境中的表面缺陷，这里表面缺陷一般指缺陷的尺寸在几个像素范围之内。同时对与那些纹理比较丰富的区域，on通道或者off通道的快速上电慢速放电的机制可以使得跌荡起伏的亮度信息平滑到接近常量。为了解决上述问题，本发明所采取的技术方案是
一种表面缺陷仿蝇视觉在线检测装置，包括CXD图像传感器部分，其特征在于还包括嵌入式图像处理单元，所述CCD图像传感器部分包括若干用于视频信息采集的CCD图像传感器，所述若干CCD图像传感器呈扇形排列，且各CCD图像传感器的轴线共点，所述若干CCD 图像传感器的信号线通过视频的同轴电缆连接到嵌入式图像处理单元。前述的一种表面缺陷仿蝇视觉在线检测装置，其特征在于所述CCD图像传感器部分包括五个CXD图像传感器，所述五个CXD图像传感器分布在一个半圆形的安装板32。前述的一种表面缺陷仿蝇视觉在线检测装置，其特征在于所述嵌入式图像处理单元由以下几部分组成
视频同步器，用于协调五个CCD图像传感器协作工作和控制视频信号的输入； 视频编码器，接收视频同步器得模拟视频，用于将模拟视频数字化和视频制式转换； 图像帧存储器，接收视频编码器输出的编码后的数字视频，用于数字视频的量化和编码后信息的存储；
通用1/0，用于开关量信号的输入和输出；
CPLD，分别与视频编码器、图像帧存储器、通用1/0和FLASH相连接，用于总线扩展和系统时序电路和逻辑电路的实现；
中央处理单元，用于对数字化的视频进行智能处理； 无线局域网通信接口，用于各节点之间通信互联和交换信息； FLASH，用于存放系统软件；
D/A，与中央处理单元连接，用于将数字视频转换成模拟视频；SDRAM，用于系统在处理数据时，存放数据；
RS485，用于中央处理单元和PTZ控制器之间通信，交换控制命令；
PTZ控制器模块，分别用于对五个CXD图像传感器的控制。前述的一种表面缺陷仿蝇视觉在线检测装置，其特征在于所述中央处理单元采用TMS320DM642处理器，所述SDRAM为64位同步动态存储器接口，存储空间4M*64位，所述 FLASH为8位异步静态存储器接口，存储空间4M*8位。一种表面缺陷仿蝇视觉的检测方法，其特征在于包括以下两大流程图像配准拼接流程和仿生复眼表面缺陷检测流程，
所述图像配准拼接流程包括以下步骤
(1)、获取多路图像，多个CCD图像传感器得到的图像经过透视变换投影到检测面后， 在检测平面上的坐标就已经被确定下来；
(2)、图像拼接预处理，对获取的图像初步定位、缩小匹配范围、提高匹配速度，对图像去噪声、平衡图像亮度，对图像的拼接部分采用频率域法对图像增强处理，将图像中感兴趣的特征有选择的突出，而衰减其次要信息；
(3)、图像配准，找出对齐的两幅或多幅重叠图像之间的位移情况，描述两幅图像之间转化关系的模型进行图像配准；
(4)、图像融合，不同CC图像传感器拍摄到的图像，光强、色彩饱和度都会有差异，因此在图像拼接的边界处会有明显的缝隙，使用加权平均方法对多CCD图像进行融合处理；
所述仿生复眼表面缺陷检测流程包括以下步骤
(1)，视觉非线性压缩模块对拼接得到的场景图像做非线性压缩；
(2)、基于局部对比度三维缺陷检测模块整合了基于阈值的整流处理和中心侧抑制处
理；
(3)、缺陷融合输出将水平方向和垂直方向上的两个通道信号分别通过池细胞融合在一起，然后将融合的结果再次融合就可以得到最后缺陷的输出。前述的一种表面缺陷仿蝇视觉的检测方法，其特征在于所述图像配准拼接流程步骤(3)所述两幅图像之间转化关系的模型采用对应匹配(Homographic Mapping)模型， 即原始图像是透视变换得到的，CCD图像传感器的运动主要是绕其光学中心的摇镜、平移、 倾斜、旋转和缩放，
·· V S * · ·■··.
A丨丨H
(1)
其中A是表示缩放和旋转，B表示平移，CT表示投影。
前述的一种表面缺陷仿蝇视觉的检测方法，其特征在于所述仿生复眼表面缺陷检测流程步骤(1)中，视觉非线性压缩模块对拼接得到的场景图像做非线性压缩，采用线性压缩变换公式是
权利要求
1.一种表面缺陷仿蝇视觉在线检测装置，包括CCD图像传感器部分，其特征在于还包括嵌入式图像处理单元，所述CCD图像传感器部分包括若干用于视频信息采集的CCD图像传感器，所述若干CCD图像传感器呈扇形排列，且各CCD图像传感器的轴线共点，所述若干 CXD图像传感器的信号线通过视频的同轴电缆连接到嵌入式图像处理单元。
2.根据权利要求1所述的一种表面缺陷仿蝇视觉在线检测装置，其特征在于所述CCD 图像传感器部分包括五个CXD图像传感器，所述五个CXD图像传感器分布在一个半圆形的安装板32。
3.根据权利要求2所述的一种表面缺陷仿蝇视觉在线检测装置，其特征在于所述嵌入式图像处理单元由以下几部分组成视频同步器，用于协调五个CCD图像传感器协作工作和控制视频信号的输入； 视频编码器，接收视频同步器得模拟视频，用于将模拟视频数字化和视频制式转换； 图像帧存储器，接收视频编码器输出的编码后的数字视频，用于数字视频的量化和编码后信息的存储；通用1/0，用于开关量信号的输入和输出；CPLD，分别与视频编码器、图像帧存储器、通用I/O和FLASH相连接，用于总线扩展和系统时序电路和逻辑电路的实现；中央处理单元，用于对数字化的视频进行智能处理； 无线局域网通信接口，用于各节点之间通信互联和交换信息； FLASH，用于存放系统软件；D/A，与中央处理单元连接，用于将数字视频转换成模拟视频； SDRAM，用于系统在处理数据时，存放数据； RS485，用于中央处理单元和PTZ控制器之间通信，交换控制命令； PTZ控制器模块，分别用于对五个CXD图像传感器的控制。
4.根据权利要求3所述的一种表面缺陷仿蝇视觉在线检测装置，其特征在于所述中央处理单元采用TMS320DM642处理器，所述SDRAM为64位同步动态存储器接口，存储空间 4M*64位，所述FLASH为8位异步静态存储器接口，存储空间4M*8位。
5.一种表面缺陷仿蝇视觉的检测方法，其特征在于包括以下两大流程图像配准拼接流程和仿生复眼表面缺陷检测流程，所述图像配准拼接流程包括以下步骤(1)、获取多路图像，多个CCD图像传感器得到的图像经过透视变换投影到检测面后， 在检测平面上的坐标就已经被确定下来；(2)、图像拼接预处理，对获取的图像初步定位、缩小匹配范围、提高匹配速度，对图像去噪声、平衡图像亮度，对图像的拼接部分采用频率域法对图像增强处理，将图像中感兴趣的特征有选择的突出，而衰减其次要信息；(3)、图像配准，找出对齐的两幅或多幅重叠图像之间的位移情况，描述两幅图像之间转化关系的模型进行图像配准；(4)、图像融合，不同CC图像传感器拍摄到的图像，光强、色彩饱和度都会有差异，因此在图像拼接的边界处会有明显的缝隙，使用加权平均方法对多CCD图像进行融合处理；所述仿生复眼表面缺陷检测流程包括以下步骤(1)，视觉非线性压缩模块对拼接得到的场景图像做非线性压縮；(2)、基于局部对比度三维缺陷检测模块整合了基于阈值的整流处理和中心侧抑制处理；(3)、缺陷融合输出将水平方向和垂直方向上的两个通道信号分别通过池細胞融合在 一起，然后将融合的结果再次融合就可以得到最后缺陷的输出。
6.根据权利要求5所述的ー种表面缺陷仿蝇视觉的检测方法，其特征在于所述图像 配准拼接流程步骤(3):所述两幅图像之间转化关系的模型采用对应匹配(Homographic Mapping)模型，即原始图像是透视变换得到的，CXD图像传感器的运动主要是绕其光学中 心的摇镜、平移、倾斜、旋转和缩放，
7.根据权利要求6所述的ー种表面缺陷仿蝇视觉的检测方法，其特征在于所述仿生 复眼表面缺陷检测流程步骤(1)中，视觉非线性压缩模块对拼接得到的场景图像做非线性 压縮，采用线性压缩变换公式是
8.根据权利要求7所述的ー种表面缺陷仿蝇视觉的检测方法，其特征在于所述仿生复眼表面缺陷检测流程步骤⑵中，通过计算局部对比度Cltxal(x，y)来选择可能存在表面缺陷的图像块来进行处理，局部对比度C1()。al(x，y)可以衡量该场景中是否存在可以被识别的表面缺陷，比度较大的位置出现表面缺陷的可能性较大，选择该位置为被检测图像块的中心位置，这里假设表面缺陷的尺寸在4个像素左右，因此局部对比度采用的是2X2图像块的局部对比度，而不是单个像素，局部对比度计算公式如下
9.根据权利要求8所述的ー种表面缺陷仿蝇视觉的检测方法，其特征在于所述仿生 复眼表面缺陷检测流程步骤(3)中，分析水平方向图像中从左到右先是亮度的降低然后是 亮度的増加，中间相隔若干个像素的距离，off图经过平移与on通道在缺陷的边缘处重合， 这样相乘就会得到非零的結果，而如果该图像块中没有表面缺陷，也就是没有一个闭合的 边缘，那么off图像或者on图像中缺乏ー个边缘，相乘之后结果为零，垂直方向上是同理 的，水平方向上的融合输出不为零说明该方向上存在ー对边缘，垂直方向上的融合输出不 为零说明该方向上也存在一对边缘，将两个正交方向采用逻辑与的方式融合，若输出不为 零说明存在表面缺陷那么输出该信号。
10.根据权利要求9所述的一种表面缺陷仿蝇视觉的检测方法，其特征在于所述(2) 图像拼接处理包括以下步骤第一步是对两幅图像用SIFT特征提取方法自动提取出连接点，然后利用仿射变换对图像的变换情况进行检测，一旦检测到了要使用的连接点之后，使用欧几里得最近邻算法进行特征匹配，大量的错误连接点可以通过RMSE系数进行剔除，变换后的精度由均方根误差来描述其中N指的是所有匹配点的数目；第二步匹配点对的RMSE大于某个特定值时，则丢弃这对特征点，如果总体的RMSE过大，则再进行一次误差检查，整个过程迭代进行直到某一对特征点的RMSE小于某个值(例如0. 5个像素)或者连接点少于设定的数目；第三步粗匹配完成后，为了对局部形变进行矫正，需要进一步的细匹配，使用Harris 角点检测方法在图像A中能检测到密集的特征点集，首先对输入图像进行Harris角点检测，由于Harris角点检测的过程是使用一系列的滤波器对图像进行处理，所以其操作复杂度是基于图像大小的，为了加速处理过程，我们可以将图像分割成小块，然后进行分块处理，最终的特征选择从每个块中检测到的特征的Harris值大者中选取，本文中选取前10% 作为特征点；第四步在图像B中选取与图像A中Harris角点对应的特征点，对应特征点的选取直接影响到处理的速度和最终配准的精度，首先分别对图像A和图像B建立小波金字塔；然后使用交叉匹配技术分别对对应于特定尺度的每一层的金字塔的匹配点进行分层搜索；最后再一次使用RMSE系数去除误匹配点。
11.根据权利要求10所述的一种表面缺陷仿蝇视觉的检测方法，其特征在于所述(4) 图像融合包括以下步骤第一步将待融合的源图像进行加权平均和塔型变换的多尺度分解这两种传统方法的融合，融合后比较客观评价系数，即融合后图像与理想图像之间的均方根误差、平均误差与设定阈值大小，倘若小于设定阈值，则融合操作结束；第二步若评价系数大于设定阈值，则将融合后图像分别与源图像A和B再分别进行融合，将再次融合后的两幅图像与理想图像之间的评价系数进行比较，选择融合状况理想的图像，即评价系数较小者，设定与之对应的源图像，即A或B作为后面迭代融合的图像；第三步将较理想的融合图像的评价系数和设定阈值进行比较，若小于阈值，则结束融合操作，这幅图像作为最终的融合结果；若大于阈值，则再一次将此幅融合后的图像和之前选定的源图像进行融合操作，直到融合后的图像的客观评价系数小于设定的阈值。
全文摘要
本发明公开了一种表面缺陷仿蝇视觉在线检测装置及检测方法，属于工业视觉检测和图像处理技术领域，本发明利用普通的CCD图像传感器和表面缺陷检测算法相结合来探测复杂背景下的表面缺陷。该装置的原理突破了原有缺陷探测方法所需要的缺陷与背景之间存在对比度低，实现较低分辨率、低对比度的场景图像中，通过模仿蝇复眼视觉信息处理方法，在获得的场景图像质量上近似于复眼的低分辨率图像，准确率较高。同时针对静止在场景中的表面缺陷，该设备仍然可以发现表面缺陷的存在，为后续处理提供可靠的信息。
文档编号G06T7/00GK102507592SQ201110338628
公开日2012年6月20日 申请日期2011年11月1日 优先权日2011年11月1日
发明者周云, 奚吉, 张卓, 张学武, 李敏, 林善明, 梁瑞宇, 王岩, 范新南, 许海燕 申请人:河海大学常州校区