一种基于机器视觉的彩盒标签检测方法及系统与流程

本发明涉及图像处理技术领域，尤其涉及一种基于机器视觉的彩盒标签检测方法及系统。

背景技术

彩盒包装是大多数电子产品必不可少的流程之一。通常情况下，彩盒有其自己的一维码标签，需要将产品的一维码标签以一定的角度贴到彩盒的指定位置上，以便识别彩盒中的产品。标签贴好后需要进行检查，以防止条码漏贴、错贴、贴歪等不良现象。

目前多余彩盒标签的检测主要是人工检测，检测效率低，劳动强度大，人工成本较高导致生产成本高，且无法统计生产过程中的数据进行分析和追溯。虽然目前也有一些基于机器视觉系统的条码检测识别方法，但是都是对包装盒上条形码的内容进行识别，而无法检测条码是否漏贴、错贴、贴歪等不良现象。

公开号为cn106056020a的专利公开了一种基于机器视觉系统的条码检测识别方法及系统，所述方法应用于机器视觉系统主机中，所述机器视觉系统主机连接有光源模块和图像采集模块，所述方法包括以下步骤：s1、图像数据采集步骤，s2、图像数据预处理步骤，s3、条码区域定位步骤，s3a、条码区域调整步骤，s4、条码识别步骤。利用本发明，无需进行人工操作，即可对具有条码的产品进行自动扫描并对条码进行识别，其具有自动化程度高、识别速度快，工作效率高等优点。虽然该方法能对条码进行识别，但是无法得知条码是否漏贴、错贴、贴歪。

公开号为cn107403124a的专利公开了一种基于视觉图像的条形码检测识别方法，本方法包括：对包含条形码的图像进行采集；将采集的条码图像转换为灰度图像，构建压缩感知模型，对灰度图像进行压缩；对压缩后的条码图像进行轮廓检测；对条形码所在区域中的条形码进行识别和解码，输出条码数据。本发明在条码检测之前先通过构建压缩感知模型对图像进行压缩，在保留原始图像信息的同时，可大幅减少像素数量，从而提高后续处理过程中的算法计算效率，并采用高效条码检测算法进行条码检测，能大幅度减少条形码检测识别过程中的内存容量和处理时间，计算简单，可获得较好的目标检测结果并且具有较强的抗干扰性。虽然该方法能大幅度减少条形码检测识别过程中的处理时间，但是还是无法避免条形码漏贴、错贴、贴歪等现象。

技术实现要素：

本发明的目的是针对现有技术的缺陷，提供了一种基于机器视觉的彩盒标签检测方法及系统，利用机器视觉对生产过程中产品彩盒上的标签进行定位、识别，达到防止标签漏贴、错贴、贴歪的目的，可降低工人劳动强度，降低生产成本，提高生产效率。同时，存储和统计检测数据，用于设备运行状况分析及日后进行质量追溯，有利于智慧工厂的建立。

为了实现以上目的，本发明采用以下技术方案：

一种基于机器视觉的彩盒标签检测方法，包括步骤：

s1.获取摄像头采集的彩盒标签区域的图像；

s2.对所述图像进行阈值分割；

s3.对阈值分割后的图像进行开运算；

s4.对进行开运算后的图像进行闭运算；

s5.对进行闭运算后的图像再次进行开运算；

s6.获取再次进行开运算后图像中的连通区域并计算各个连通区域的面积；

s7.选取再次进行开运算后图像中面积最大的两个连通区域进行条形码识别，若都能识别出条形码；则跳到步骤s8，否则，跳到步骤s11；

s8.将识别出的条形码与数据库中的数据进行比对并判断所述条形码的数据是否正确，若正确，则跳到步骤s9，否则，跳到步骤s11；

s9.计算所述两个连通区域对应条码的位置偏差和角度偏差；

s10.判读所述位置偏差和角度偏差是否在预设范围内，若均在预设范围内，则所述彩盒标签合格，否则，跳到步骤s11；

s11.进行报警。

进一步的，所述彩盒标签包括彩盒自身标签和贴到彩盒上的产品标签。

进一步的，所述彩盒自身标签在所述图像中呈水平状态。

进一步的，所述步骤s9具体为：

s901.获取所述两个连通区域的最小包含矩形的中心在图像坐标系中的位置和角度；

s902.根据所述位置和角度计算出两个连通区域对应条码的位置偏差和角度偏差。

进一步的，还包括步骤：

存储和统计检测数据。

相应的，还提供一种基于机器视觉的彩盒标签检测系统，包括：

图像获取模块，用于获取摄像头采集的彩盒标签区域的图像；

图像分割模块，用于对所述图像进行阈值分割；

第一开运算模块，用于对阈值分割后的图像进行开运算；

闭运算模块，用于对进行开运算后的图像进行闭运算；

第二开运算模块，用于对进行闭运算后的图像再次进行开运算；

连通区域计算模块，用于获取再次进行开运算后图像中的连通区域并计算各个连通区域的面积；

识别模块，用于选取再次进行开运算后图像中面积最大的两个连通区域进行条形码识别

第一判断模块，将识别出的条形码与数据库中的数据进行比对并判断所述条形码的数据是否正确；

位置和角度偏差计算模块，用于计算所述两个连通区域对应条码的位置偏差和角度偏差；

第二判断模块，用于判读所述位置偏差和角度偏差是否在预设范围内；

报警模块，用于在所述彩盒标签不合格时进行报警。

进一步的，所述彩盒标签包括彩盒自身标签和贴到彩盒上的产品标签。

进一步的，所述彩盒自身标签在所述图像中呈水平状态。

进一步的，所述位置和角度偏差计算模块具体包括：

获取模块，用于获取所述两个连通区域的最小包含矩形的中心在图像坐标系中的位置和角度；

计算模块，用于根据所述位置和角度计算出两个连通区域对应条码的位置偏差和角度偏差。

进一步的，还包括：

存储模块，用于存储和统计检测数据。

与现有技术相比，本发明具有以下优点：

(1)利用机器视觉对产品彩盒上的标签自动进行识别、定位，可防止标签的漏贴、错贴、贴歪等不良现象，可降低工人劳动强度，降低生产成本，提高生产效率。

(2)通过存储和统计检测数据，可用于设备运行状况分析及日后进行质量追溯，有利用智慧工厂的建立。

附图说明

图1是实施例一提供的一种基于机器视觉的彩盒标签检测方法流程图；

图2是本发明提供的彩盒标签原始图像；

图3是实施例二提供的一种基于机器视觉的彩盒标签检测系统结构图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明的目的是针对现有技术的缺陷，提供了一种基于机器视觉的彩盒标签检测方法及系统，利用机器视觉对生产过程中产品彩盒上的标签进行定位、识别，达到防止标签漏贴、错贴、贴歪的目的，可降低工人劳动强度，降低生产成本，提高生产效率。同时，存储和统计检测数据，用于设备运行状况分析及日后进行质量追溯，有利于智慧工厂的建立。

实施例一

本实施例提供一种基于机器视觉的彩盒标签检测方法，如图1所示，包括步骤：

s1.获取摄像头采集的彩盒标签区域的图像；

s2.对所述图像进行阈值分割；

s3.对阈值分割后的图像进行开运算；

s4.对进行开运算后的图像进行闭运算；

s5.对进行闭运算后的图像再次进行开运算；

s6.获取再次进行开运算后图像中的连通区域并计算各个连通区域的面积；

s7.选取再次进行开运算后图像中面积最大的两个连通区域进行条形码识别，若都能识别出条形码；则跳到步骤s8，否则，跳到步骤s11；

s8.将识别出的条形码与数据库中的数据进行比对并判断所述条形码的数据是否正确，若正确，则跳到步骤s9，否则，跳到步骤s11；

s9.计算所述两个连通区域对应条码的位置偏差和角度偏差；

s10.判读所述位置偏差和角度偏差是否在预设范围内，若均在预设范围内，则所述彩盒标签合格，否则，跳到步骤s11；

s11.进行报警。

本实施例的基于机器视觉的彩盒标签检测方法的执行主体为安装有图像处理软件的终端设备(如计算机)，所述终端设备与摄像头连接。

具体的，首先获取摄像头采集的彩盒标签区域的图像，然后对所述图像进行阈值分割。

需要说明的是，阈值分割是通过设定不同的特征阈值，把图像像素点分为若干类，即把图像分割成基于不同灰度值的区域。

具体的，所述的所述彩盒标签包括彩盒自身标签和贴到彩盒上的产品标签。如图2所述，彩盒自身标签是印在彩盒上(与彩盒边缘平行)，而产品标签是贴上去的，可能会存在漏贴、贴错、贴歪等现象。

在所述图像经过阈值分割以后再对所述图像以适当尺寸的矩形结构元素进行开运算，具体的，所述的适当尺寸的矩形结构元素为宽度为1个像素，高度较高的矩形。

需要说明的是，开运算是对图像先腐蚀后膨胀的过程，开运算可以用来消除小物体，在纤细点处分离物体，并且在平滑较大物体的边界的同时不明显改变其面积。这样根据所使用的适当尺寸的矩形结构元素进行开运算以后即可消除一些特定的干扰区域，保留条码区域。

在所述图像进行开运算以后在进行闭运算，所述的闭运算也是适当尺寸的矩形结构元素进行，具体的，所述的适当尺寸的矩形结构元素为宽度较宽、高度为1个像素的矩形。

需要说明的是，闭运算是对图像先膨胀后腐蚀的过程，闭运算可以用来排除小型区域，这样就能使得一些特定范围内的区域连接起来，以恢复条码区域。

为了进一步消除条码区域以外其它的干扰，在对图像进行闭运算以后再对所述图像以适当尺寸的矩形结构元素进行开运算，而所述适当尺寸的矩形结构元素的元素尺寸大小根据所述干扰的大小进行选择。这样就可以进一步消除干扰只保留条码区域。

在对所述图像再次进行开运算以后再获取图像中的连通区域以及计算各个连通区域的面积。

具体的，通过连通区域算法来获取图像中的连通区域，所述连通区域算法选择八连通区域(即图像所包含的像素是都属于同一个区域，若像素间是八连通的，则属于同一个区域，否则属于不同区域)。获取到连通区域以后再计算各个连通区域的面积。

计算出各个连通区域的面积以后再选取图像中面积最大的两个连通区域进行条码识别，因为此时可能还存在其他干扰没有彻底消除的情况(即除了两个条码连通区域还存在其他连通区域)，所以选择两个面积最大的连通区域进行条码识别，如果面积最大的两个连通区域都能识别出条码，那么说明没有漏贴产品标签，而如果没有都识别出条码，那么就说明产品标签漏贴，此时说明彩盒标签不合格，系统就会进行报警。

若面积最大的两个连通区域都能识别出条码，则将识别出的条码数据与数据库中的数据进行比对判断所述条码的数据是否正确，如果正确，则说明产品标签没有贴错，而如果不正确，则说明产品标签贴错，此时彩盒标签不合格，系统就会进行报警。

若识别出的条形码正确则再计算两个连通区域(即彩盒自身标签和贴到彩盒上的产品标签)的位置偏差和角度偏差。

可选的，所述步骤s9具体为：

s901.获取所述两个连通区域的最小包含矩形的中心在图像坐标系中的位置和角度；

s902.根据所述位置和角度计算出两个连通区域对应条码的位置偏差和角度偏差。

具体的，首先利用最小外接矩形算法获取所述两个连通区域的最小包含矩形，然后分别计算所述两个连通区域的最小包含矩形的中心在图像坐标系中(所述图像坐标系是以图像中左上角坐标为原点)的位置(x1,y1)，(x2,y2)及角度α1，α2，进而计算两个连通区域的位置偏差：

△x＝|x1-x2|

△y＝|y1-y2|

及角度偏差：

△α＝|α1-α2|

然后在判断所述位置偏差和所述角度偏差是否在预设范围内，若是，则说明产品标签没有贴歪，彩盒标签合格，检查通过，如果超出预设范围，则说明产品标签贴歪，此时彩盒标签不合格，系统就会进行报警。

具体的，彩盒标签中的彩盒自身标签在所述图像中呈水平状态，具体的，可通过机械装置保证彩盒为水平状态，因为彩盒标签本身是与彩盒边缘平行的，确保彩盒水平也就能确保彩盒自身标签在在图像中呈水平状态，这样可以省去对连通区域进行位置调整的过程，节省彩盒标签检测的时间，提高检测效率。

再对彩盒标签进行检测完毕以后会存储和统计检测数据，不管是合格还是不合格均将检测信息，包括识别都的条码信息，彩盒自身标签和贴到彩盒上的产品标签的位置和角度信息等存储到数据库中，供日后追溯和分析。如通过统计识别到的条码信息，可计算条码贴错的概率，若概率较高，则应查找相应原因；通过统计彩盒自身标签的位置和角度信息，可检验彩盒本身的质量；通过统计贴在彩盒上的产品标签的位置和角度信息，可为贴条码设备的调整提供数据支撑，并检验贴条码设备的稳定性和一致性。

实施例二

本实施例还提供一种基于机器视觉的彩盒标签检测系统，如图3所示，包括：

图像获取模块1，用于获取摄像头采集的彩盒标签区域的图像；

图像分割模块2，用于对所述图像进行阈值分割；

第一开运算模块3，用于对阈值分割后的图像进行开运算；

闭运算模块4，用于对进行开运算后的图像进行闭运算；

第二开运算模块5，用于对进行闭运算后的图像再次进行开运算；

连通区域计算模块6，用于获取再次进行开运算后图像中的连通区域并计算各个连通区域的面积；

识别模块7，用于选取再次进行开运算后图像中面积最大的两个连通区域进行条形码识别

第一判断模块8，将识别出的条形码与数据库中的数据进行比对并判断所述条形码的数据是否正确；

位置和角度偏差计算模块9，用于计算所述两个连通区域对应条码的位置偏差和角度偏差；

第二判断模块10，用于判读所述位置偏差和角度偏差是否在预设范围内；

报警模块11，用于在所述彩盒标签不合格时进行报警。

具体的，首先获取摄像头采集的彩盒标签区域的图像，然后对所述图像进行阈值分割。

需要说明的是，阈值分割是通过设定不同的特征阈值，把图像像素点分为若干类，即把图像分割成基于不同灰度值的区域。

具体的，所述的所述彩盒标签包括彩盒自身标签和贴到彩盒上的产品标签。如图2所述，彩盒自身标签是印在彩盒上(与彩盒边缘平行)，而产品标签是贴上去的，可能会存在漏贴、贴错、贴歪等现象。

在所述图像经过阈值分割以后再对所述图像以适当尺寸的矩形结构元素进行开运算，具体的，所述的适当尺寸的矩形结构元素为宽度为1个像素，高度较高的矩形。

需要说明的是，开运算是对图像先腐蚀后膨胀的过程，开运算可以用来消除小物体，在纤细点处分离物体，并且在平滑较大物体的边界的同时不明显改变其面积。这样根据所使用的适当尺寸的矩形结构元素进行开运算以后即可消除一些特定的干扰区域，保留条码区域。

在所述图像进行开运算以后在进行闭运算，所述的闭运算也是适当尺寸的矩形结构元素进行，具体的，所述的适当尺寸的矩形结构元素为宽度较宽、高度为1个像素的矩形。

需要说明的是，闭运算是对图像先膨胀后腐蚀的过程，闭运算可以用来排除小型区域，这样就能使得一些特定范围内的区域连接起来，以恢复条码区域。

为了进一步消除条码区域以外其它的干扰，在对图像进行闭运算以后再对所述图像以适当尺寸的矩形结构元素进行开运算，而所述适当尺寸的矩形结构元素的元素尺寸大小根据所述干扰的大小进行选择。这样就可以进一步消除干扰只保留条码区域。

在对所述图像再次进行开运算以后再获取图像中的连通区域以及计算各个连通区域的面积。

具体的，通过连通区域算法来获取图像中的连通区域，所述连通区域算法选择八连通区域(即图像所包含的像素是都属于同一个区域，若像素间是八连通的，则属于同一个区域，否则属于不同区域)。获取到连通区域以后再计算各个连通区域的面积。

计算出各个连通区域的面积以后再选取图像中面积最大的两个连通区域进行条码识别，因为此时可能还存在其他干扰没有彻底消除的情况(即除了两个条码连通区域还存在其他连通区域)，所以选择两个面积最大的连通区域进行条码识别，如果面积最大的两个连通区域都能识别出条码，那么说明没有漏贴产品标签，而如果没有都识别出条码，那么就说明产品标签漏贴，此时说明彩盒标签不合格，系统就会进行报警。

若面积最大的两个连通区域都能识别出条码，则将识别出的条码数据与数据库中的数据进行比对判断所述条码的数据是否正确，如果正确，则说明产品标签没有贴错，而如果不正确，则说明产品标签贴错，此时彩盒标签不合格，系统就会进行报警。

若识别出的条形码正确则再计算两个连通区域(即彩盒自身标签和贴到彩盒上的产品标签)的位置偏差和角度偏差。

可选的，所述位置和角度偏差计算模块具体包括：

获取模块，用于获取所述两个连通区域的最小包含矩形的中心在图像坐标系中的位置和角度；

计算模块，用于根据所述位置和角度计算出两个连通区域对应条码的位置偏差和角度偏差。

具体的，首先利用最小外接矩形算法获取所述两个连通区域的最小包含矩形，然后分别计算所述两个连通区域的最小包含矩形的中心在图像坐标系中(所述图像坐标系是以图像中左上角坐标为原点)的位置(x1,y1)，(x2,y2)及角度α1，α2，进而计算两个连通区域的位置偏差：

△x＝|x1-x2|

△y＝|y1-y2|

及角度偏差：

△α＝|α1-α2|

然后在判断所述位置偏差和所述角度偏差是否在预设范围内，若是，则说明产品标签没有贴歪，彩盒标签合格，检查通过，如果超出预设范围，则说明产品标签贴歪，此时彩盒标签不合格，系统就会进行报警。

具体的，彩盒标签中的彩盒自身标签在所述图像中呈水平状态，具体的，可通过机械装置保证彩盒为水平状态，因为彩盒标签本身是与彩盒边缘平行的，确保彩盒水平也就能确保彩盒自身标签在在图像中呈水平状态，这样可以省去对连通区域进行位置调整的过程，节省彩盒标签检测的时间，提高检测效率。

对彩盒标签进行检测完毕以后会存储和统计检测数据，不管是合格还是不合格均将检测信息，包括识别都的条码信息，彩盒自身标签和贴到彩盒上的产品标签的位置和角度信息等存储到数据库中，供日后追溯和分析。如通过统计识别到的条码信息，可计算条码贴错的概率，若概率较高，则应查找相应原因；通过统计彩盒自身标签的位置和角度信息，可检验彩盒本身的质量；通过统计贴在彩盒上的产品标签的位置和角度信息，可为贴条码设备的调整提供数据支撑，并检验贴条码设备的稳定性和一致性。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。