一种镭雕缺陷视觉检测系统及方法与流程

本发明涉及视觉图像检测与模式识别技术领域，尤其涉及一种镭雕缺陷视觉检测系统及方法。

背景技术：

近年来，随着图像处理与模式识别技术的飞速发展，利用图像处理算法解决实际问题的工程项目越来越多，例如对工件产品进行尺寸测量、分类和识别，产品表面缺陷检测，车牌号码识别，条形码识别等。我们的日常生活已经离不开智能手机、平板电脑等电子产品，现在智能手机、平板电脑等电子产品内外部的各种配件上都采用激光镭雕技术将文字、图案等镭雕到各种加工好的配件上，这种镭雕产品的缺陷是通过人工检测识别出来的，这种人工缺陷检测效率低、成本高，也有一定的不安全性，同时对于镭雕图案的位置偏移，人工只能采用卡尺测量的手段，但这种手段效率极低，不能实现镭雕产品的全检，产量大时，只能采用抽检或者目测估计的方式，产品的质量存在很高的风险。

技术实现要素：

本发明要解决的技术问题在于，针对上述现有技术中镭雕缺陷人工检测生产效率低、成本高、不安全性的问题，提供一种镭雕缺陷视觉检测系统及方法。

本发明解决其技术问题所采用的技术方案是：

构造一种镭雕缺陷视觉检测系统，包括：

图像采集装置，用于采集镭雕产品图像；

检测底座，用于承托所述镭雕产品，所述检测底座位于所述图像采集装置下方；

安装在所述检测底座上的光电传感器，用于检测所述镭雕产品是否到位；

机械手，用于按照预设程序抓取所述镭雕产品至预设位置；

伺服电机，用于控制所述机械手，固定连接于所述机械手；

电机驱动器，用于驱动所述伺服电机带动所述机械手运动，电性连接于所述伺服电机；

工控机，分别连接于所述图像采集装置、所述光电传感器及所述电机驱动器。

在本发明所述的镭雕缺陷视觉检测系统中，还包括：

led光源，用于为所述镭雕产品补光，设置于所述图像采集装置及所述检测底座之间，电性连接于所述工控机。

在本发明所述的镭雕缺陷视觉检测系统中，还包括：

竖直支架；

第一水平支架，所述第一水平支架的一端固定连接于所述竖直支架，另一端固定连接于所述led光源；

第二水平支架，所述第二水平支架的一端固定连接于所述竖直支架，另一端固定连接于所述图像采集装置。

在本发明所述的镭雕缺陷视觉检测系统中，所述图像采集装置包括：

工业相机，所述工业相机的侧面开设有开口，所述第二水平支架穿设于所述开口以固定所述工业相机，所述工业相机电性连接于所述工控机；

工业镜头，设置于所述工业相机的下表面以对准所述镭雕产品。

在本发明所述的镭雕缺陷视觉检测系统中，所述工控机包括：

千兆网接口，连接至所述图像采集装置以传输所述镭雕产品的图像数据；

i/o控制接口，连接至所述光电传感器；

rs232接口，连接至所述电机驱动器；

vga接口，连接至预设的显示器。

在本发明所述的镭雕缺陷视觉检测系统中，所述工控机包括：

数字光源控制接口，连接至所述led光源。

另一方面，提供一种镭雕缺陷视觉检测方法，提供上述的镭雕缺陷视觉检测系统，包括：

藉由所述图像采集装置采集镭雕产品的图像，并将所述图像传送至所述工控机；

藉由所述工控机将所述图像转换为灰度图，并通过最小包络矩形提取算法获取所述镭雕产品的位置信息，并计算所述位置信息与预设的标准镭雕产品的偏差；

依据所述偏差判断所述镭雕产品的镭雕图案是否存在缺陷，和/或判断所述镭雕产品的镭雕图案是否存在重影；

控制所述机械手将镭雕图案存在缺陷的镭雕产品抓取至第一位置，将镭雕图案存在重影的镭雕产品抓取至第二位置。

在本发明所述的镭雕缺陷视觉检测方法中，所述藉由所述工控机将所述图像转换为灰度图，并通过最小包络矩形提取算法获取所述镭雕产品的位置信息，并计算所述位置信息与预设的标准镭雕产品的偏差，包括：

藉由所述工控机将所述图像转换为灰度图，通过阈值将所述灰度图分割得到若干个连通区域；

依据若干个所述连通区域全局定位所述镭雕产品的全局位置信息，并局部定位所述镭雕产品的局部位置信息；

计算所述全局位置信息与标准镭雕产品的全局位置的全局偏移量，并依据所述全局偏移量计算所述局部位置信息与标准镭雕产品的局部位置的局部位移量。

在本发明所述的镭雕缺陷视觉检测方法中，所述依据所述偏差判断所述镭雕产品的镭雕图案是否存在缺陷，和/或判断所述镭雕产品的镭雕图案是否存在重影，包括：

判断所述全局偏移量对应的图像区域的像素值是否处于预设的第一阈值范围，若是，则判断所述镭雕产品的镭雕图案存在缺陷，若否，则判断所述镭雕产品的镭雕图案不存在缺陷；和/或

判断所述局部偏移量对应的图像区域的边缘图像的像素值是否处于预设的第二阈值范围，若是，则判断所述镭雕产品的镭雕图案存在重影，若否，则判断所述镭雕产品的镭雕图案不存在重影。

在本发明所述的镭雕缺陷视觉检测方法中，所述依据所述偏差判断所述镭雕产品的镭雕图案是否存在缺陷，和/或判断所述镭雕产品的镭雕图案是否存在重影，还包括：

对所述全局偏移量及所述局部偏移量进行图像腐蚀处理及二值化处理以计算所述镭雕图案的像素值。

上述公开的一种镭雕缺陷视觉检测系统及方法具有以下有益效果：能够有效的检测出镭雕图案的位置偏移，提高产品的合格率，降低出厂产品的质量风险，充分利用图像处理与模式识别技术识别镭雕缺陷，代替了人工检测，降低了企业生产成本，提高了企业生产效率，提升了企业的经济效益。

附图说明

图1为本发明一实施例提供的一种镭雕缺陷视觉检测系统的结构示意图；

图2为本发明一实施例提供的图像处理软件平台的结构框图；

图3为本发明一实施例提供的一种镭雕缺陷视觉检测方法的流程图；

图4为本发明一实施例提供的镭雕图案的灰度图；

图5为本发明一实施例提供的1号最小包络矩形的示意图；

图6为本发明一实施例提供的2号最小包络矩形的示意图；

图7为本发明一实施例提供的缺陷判断的示意图；

图8为本发明一实施例提供的重影判断的示意图；

图9为本发明一实施例提供的重影偏差的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供了一种镭雕缺陷视觉检测系统及方法，其目的在于，能够有效的检测出镭雕图案的位置偏移，提高产品的合格率，降低出厂产品的质量风险，充分利用图像处理与模式识别技术识别镭雕缺陷，代替了人工检测，降低了企业生产成本，提高了企业生产效率，提升了企业的经济效益。

参见图1，图1为本发明一实施例提供的一种镭雕缺陷视觉检测系统的结构示意图，该镭雕缺陷视觉检测系统包括图像采集装置、检测底座5、光电传感器8、机械手18、伺服电机6、电机驱动器7、工控机9、led光源3。

图像采集装置，用于采集镭雕产品4图像；所述图像采集装置包括工业相机1及工业镜头2。所述工业相机1的侧面开设有开口，所述第二水平支架20穿设于所述开口以固定所述工业相机1，所述工业相机1电性连接于所述工控机9；工业镜头2设置于所述工业相机1的下表面以对准所述镭雕产品4。采用与工控机9相连的工业相机1和工业镜头2实时采集待检测镭雕产品4图像。

检测底座5，用于承托所述镭雕产品4，所述检测底座5位于所述图像采集装置下方；所述镭雕产品4和检测底座5的中心位于一条中轴线上。

安装在所述检测底座5上的光电传感器8，用于检测所述镭雕产品4是否到位；

机械手18，用于按照预设程序抓取所述镭雕产品4至预设位置；

伺服电机6，用于控制所述机械手18，固定连接于所述机械手18；

电机驱动器7，用于驱动所述伺服电机6带动所述机械手18运动，电性连接于所述伺服电机6；

工控机9，分别连接于所述图像采集装置、所述光电传感器8及所述电机驱动器7。所述工控机9包括千兆网接口14、i/o控制接口10、rs232接口13、vga接口15及数字光源控制接口12。千兆网接口14连接至所述图像采集装置以传输所述镭雕产品4的图像数据；i/o控制接口10连接至所述光电传感器8；rs232接口13连接至所述电机驱动器7；vga接口15连接至预设的显示器17。数字光源控制接口12，连接至所述led光源3。

led光源3，用于为所述镭雕产品4补光，设置于所述图像采集装置及所述检测底座5之间，电性连接于所述工控机9。

优选的，所述的镭雕缺陷视觉检测系统还包括竖直支架21、第一水平支架19及第二水平支架20。

所述第一水平支架19的一端固定连接于所述竖直支架21，另一端固定连接于所述led光源3；

所述第二水平支架20的一端固定连接于所述竖直支架21，另一端固定连接于所述图像采集装置。

由第一水平支架19、第二水平支架20和竖直支架21组成的支架结构，第一水平支架19和第二水平支架20均连接于竖直支架21上，第二水平支架20高于第一水平支架19。工业相机1连接在第二水平支架20上，工业镜头2连接于工业相机1的下方，工业相机1和工业镜头2组合后用于采集待检测镭雕产品4的图像数据，工业镜头2下方设置有led光源3，led光源3连接于第一水平支架19上。工业相机1连接工业镜头2采集图像数据，通过千兆网卡14传输至工控机9；检测底座5位于工业镜头2下方用于承托待检测镭雕产品4；光电传感器8布置于检测底座5上用于检测镭雕产品4是否到位；工控机9通过i/o控制接口10连接光电传感器8，通过rs232接口13连接电机驱动器7，通过数字光源控制接口12连接led光源3，通过图像显示vga接口15连接显示器17，在工控机9中执行各种算法。电源16为工控机9供电。

该系统装置中，光电传感器8一直传输低电平信号至i/o控制接口10，此时不进行镭雕缺陷检测；当检测到镭雕产品4到位后，将镭雕产品到位标志置为1，此时光电传感器8传输高电平信号至i/o控制接口10并且持续一段时间然后恢复低电平；工控机9中的图像处理软件每间隔一段时间读取一次i/o控制接口10信号，如果收到i/o控制接口10信号为高电平，立即对当前采集到的镭雕产品图像进行缺陷算法检测，检测结果通过rs232接口13输出至电机驱动器7，电机驱动器7驱动伺服电机6带动机械手18抓取镭雕产品4运动到最终分类位置，最终分类位置包括无缺陷产品位置和有缺陷产品位置两大类，有缺陷产品位置又可以飞为镭雕位置缺陷位置和镭雕图案缺陷位置两类，如果接收到信号是低电平，则工控机图像处理软件不进行缺陷检测。

在工控机9中的cpu11配置算法执行软件，如图2所示，图2为本发明一实施例提供的图像处理软件平台的结构框图，软件框架包括：控制区23(包括启停控制27、用户控制28、相机控制29、光源控制30、i/o控制31)、显示区24(包括图像显示32、结果显示33)、参数区25(包括图像参数34、硬件参数35、缺陷参数36、系统参数37)和消息区26(包括调试消息38、运行消息39、系统消息40、缺陷消息41)。启停控制27包括启动、停止系统的运行状态进行控制；用户控制28包括对用户帐户、密码和登录状态进行管理和控制；相机控制29包括使得相机开始采集图像工作的打开相机和使得相机结束采集图像工作的关闭相机；光源控制30包括使得led光源3开始工作的打开光源和使得led光源3结束工作的关闭光源，以及对光源亮度进行数字调节的控制功能；i/o控制31包括使得光电传感器8开始工作的打开i/o端口和使得光电传感器8结束工作的关闭i/o端口。图像显示32用于显示相机采集到的图像；结果显示33用于显示图像算法识别处理后的图像，显示出具体缺陷在图像中的位置和缺陷的严重程度。图像参数34包括设置图像曝光时间、图像亮度、图像色度、图像对比度、图像增益、图像清晰度、伽玛校正等图像参数；硬件参数35包括设置相机的视频格式、帧速率等参数；缺陷参数36包括镭雕缺陷视觉检测算法中需要的缺陷参数设置；系统参数37包括系统运行需要设置的参数进行设置。调试消息38用于显示系统运行中的各种调试信息，有助于开发人员跟踪和处理系统运行中出现的问题；运行消息39用于显示系统运行中软件处理的状态信息；系统消息40用于显示系统中硬件模块的状态信息；缺陷消息41用于显示各种缺陷的统计信息。

参见图3，图3为本发明一实施例提供的一种镭雕缺陷视觉检测方法的流程图，该种镭雕缺陷视觉检测方法采用上述的镭雕缺陷视觉检测系统实现，该方法包括步骤s1-s4：

s1、藉由所述图像采集装置采集镭雕产品4的图像，并将所述图像传送至所述工控机9；采用与工控机9相连的工业相机1和工业镜头2实时采集待检测镭雕产品4图像。

s2、藉由所述工控机9将所述图像转换为灰度图，并通过最小包络矩形提取算法获取所述镭雕产品4的位置信息，并计算所述位置信息与预设的标准镭雕产品4的偏差；所述步骤s2包括子步骤s21-s23：

s21、藉由所述工控机9将所述图像转换为灰度图，通过阈值将所述灰度图分割得到若干个连通区域；将图像转换为灰度图，在灰度图中利用阈值分割得到若干个连通区域。参见图4，图4为本发明一实施例提供的镭雕图案的灰度图，对于图4中的镭雕产品4，黑色不规则外框是产品的外部边界，中间图案是镭雕图案。

s22、依据若干个所述连通区域全局定位所述镭雕产品4的全局位置信息，并局部定位所述镭雕产品4的局部位置信息；其中，在对灰度图进行阈值分割后，可以得到由若干线条和交叉点围成的若干个连通区域；由于检测背景单一，经过计算所述连通域的特征参数就可以提取出被检测镭雕产品4的位置特征参数；其中连通域的特征参数包括所述连通域的形状、中心、周长和面积。即利用连通域最小包络矩形提取算法，得到所述最小包络矩形的特征参数，从而得到待检测镭雕产品4的位置和角度特征，其中最小包络矩形的特征参数包括所述矩形的顶点位置、面积、中心和角度等。

在预先划定的镭雕区域利用最小包络矩形提取算法，得到所述最小包络矩形的特征参数，从而得到镭雕图案的位置和角度特征，其中最小包络矩形的特征参数包括所述矩形的顶点位置、面积、中心和角度等。

参见图5，图5为本发明一实施例提供的1号最小包络矩形的示意图，以sim卡为例，全局定位如1号最小包络矩形区域，包括包络矩形的顶点坐标、中心位置，可计算出包络矩形的长度、宽度。

参见图6，图6为本发明一实施例提供的2号最小包络矩形的示意图；即镭雕图案定位(局部定位)如图6中2号最小包络矩形区域，包括包络矩形的顶点坐标、中心位置，可计算出包络矩形的长度、宽度。

s23、计算所述全局位置信息与标准镭雕产品4的全局位置的全局偏移量，并依据所述全局偏移量计算所述局部位置信息与标准镭雕产品4的局部位置的局部位移量。

全局偏移量的计算：

1)、计算出产品最小包络矩形的中心位置相对于标准产品最小包络矩形中心位置的全局偏移量

offsettp＝centerp-centers

(其中centerp是当前产品的最小包络矩形的中心位置；centers是标准产品的最小包络矩形的中心位置)

2)、计算出镭雕图案最小包络矩形中心位置相对于标准镭雕产品4最小包络矩形中心位置的偏差：

offsettl＝centerl-centerls-offsettp

(其中centerl是当前镭雕图案最小包络矩形的中心位置；centerls是标准镭雕图案最小包络矩形的中心位置)

通过判断offsett1的值是否在设定的阈值范围内，可判断镭雕图案的位置偏移量是否合格。

3)、最小包络矩形算法的计算式

最小包络矩形算法，又称为最小外接矩形smbr(smallestminimumboundingrectangle)算法，

算法步骤如下：

(1)先对图像中的轮廓计算凸包，计算凸包最常用的算法是graham扫描法和jarvis步进法；

(2)对所求凸包按旋转求出其外接矩形mbr(minimumboundingrectangle，指以多边形顶点中的最大与最小坐标为顶点围成的矩形，其边与坐标轴平行)，并计算其面积，找出最小面积的mbr即为最小外接矩形smbr。

s3、依据所述偏差判断所述镭雕产品4的镭雕图案是否存在缺陷，和/或判断所述镭雕产品4的镭雕图案是否存在重影；所述步骤s3包括子步骤s31-s32：

s30、对所述全局偏移量及所述局部偏移量进行图像腐蚀处理及二值化处理以计算所述镭雕图案的像素值。腐蚀处理会将一些图像的杂质过滤掉，减少误判，二值化处理用来计算图像的像素值，图像腐蚀处理和图像二值化处理都是公开的图像处理算法。

s31、判断所述全局偏移量对应的图像区域的像素值是否处于预设的第一阈值范围，若是，则判断所述镭雕产品4的镭雕图案存在缺陷，若否，则判断所述镭雕产品4的镭雕图案不存在缺陷；在灰度图中提取出镭雕图案的最小包络矩形区域图像，对此图像进行旋转和平移变换，与事先保存的标准镭雕图案的灰度图像相减，对相减后的图像进行图像腐蚀处理和二值化处理，计算出此图像区域的非零点的像素总数，当此总数不在事先设定的允许范围内时，判断此镭雕图案为镭雕缺陷，否则无此缺陷。图7为本发明一实施例提供的缺陷判断的示意图，如图7，中间符号“1”漏雕(镭雕缺陷)，在与标准镭雕产品4进行对比(相减)时会缺少一个符号“1”的图像区域，计算此图像区域的像素值超过了设定的阈值范围，可判断为漏雕缺陷。

和/或(即s31及s32可同时执行也可以分别执行)。

s32、判断所述局部偏移量对应的图像区域的边缘图像的像素值是否处于预设的第二阈值范围，若是，则判断所述镭雕产品4的镭雕图案存在重影，若否，则判断所述镭雕产品4的镭雕图案不存在重影。即通过镭雕图案的位置、角度与待检测镭雕产品4的位置、角度得到镭雕图案的位置和角度偏差，当此位置或角度偏差超过设定值时，判断此镭雕图案镭雕位置缺陷，否则无此缺陷。图8为本发明一实施例提供的重影判断的示意图；图8与标准图像相减处理后，参见图9，图9为本发明一实施例提供的重影偏差的示意图，如图9中镭雕图案采用激光镭雕了多次后出现了重影，在与标准镭雕产品4进行对比(相减)时会多出一些镭雕图案区域的边缘图像，计算这些边缘图像的像素值超过了设定的阈值范围，可判断为镭雕重影缺陷。

s4、控制所述机械手将镭雕图案存在缺陷的镭雕产品4抓取至第一位置，将镭雕图案存在重影的镭雕产品4抓取至第二位置。即镭雕图案缺陷可分为两类，一类为漏雕，一类为重影(镭雕多次后位置有偏差)，这两种缺陷都可以按照所述镭雕图案缺陷检测方法进行处理。将产生漏雕的镭雕产品放至第一位置，将产生重影的镭雕产品放至第二位置。

以上就是镭雕缺陷视觉检测的主要算法，镭雕位置缺陷检测速率为90ms/个，镭雕图案缺陷检测速率为160ms/个，两项都检测的检测速率为250ms/个，镭雕位置缺陷的检测精度达到0.05mm，镭雕缺陷平均检测精度达到98％以上，完全符合实际工业生产应用。

针对各类镭雕缺陷的检测结果如下表所示：

本文提供了实施例的各种操作。在一个实施例中，所述的一个或操作可以构成一个或计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。

而且，本文所使用的词语“优选的”意指用作实例、示例或例证。奉文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“x使用a或b”意指自然包括排列的任意一个。即，如果x使用a；x使用b；或x使用a和b二者，则“x使用a或b”在前述任一示例中得到满足。

而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。

综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。