一种基于印刷品字符的视觉识别缺陷检测方法与流程

本发明涉及一种视觉识别和缺陷检测技术，具体为一种基于印刷品字符的视觉识别缺陷检测方法。

背景技术：

在我们的生活当中，随处都可以见到与印刷字符有关的产品。例如药品包装上的日期、产品批号字符，食品包装上的字符，消费品包装上的字符等等。由于大量的自动化印刷导致字符出现印刷缺陷，进而降低产品的合格率，影响生产效率。而随着近代印刷工业的发展，人们对印刷技术的要求越来越高，因此必须在出厂前对产品进行严格的检测，控制不合格率。

传统的检测方法主要靠人眼来检测，剔除不合格品。人工目检的优势是检测方式灵活，可以对各种不同的缺陷进行判定。然而由于产品品种多，数量大，人力消耗量大，并且长时间的人工目检，人眼容易疲劳从而导致误判和漏判。而且人工目检速度慢，效率低，很多细小的瑕疵不容易被发现，导致漏检率高，无法保证统一的质量标准。因此，提出以机器视觉代替人工目检，这样不仅能够大量的节省人力资源，还能够大大的提高检出率。

字符缺陷主要是字符印刷不清晰，字符漏印，字符相对位置不合格等，因以上情况导致废品率过高会严重影响生产质量，为了严格控制不合格率，需要在印刷的时候对印刷表面字符进行检测，尽可能在生产过程中把每一件不合格品剔除。不断满足印刷业向高质量、高效率、低成本方向发展。

为检测出印刷表面字符缺陷，可比较标准图像和待测产品的图像的灰度值，用待测产品的图像减去标准图像，若对应像素点的差值大于给定的阈值则标记为缺陷。但在实际的图像采集过程中，光照可能会变化，图像的位置也会存在少量偏差，偏移量造成的大量缺陷像素点会掩盖点、线缺陷的存在。因此，现有的表面缺陷检测系统有一定的局限性，具有检测速度慢、检测成本高等缺点。

技术实现要素：

本发明的目的在于，提供一种基于印刷品字符的视觉识别缺陷检测方法，该方法使用形状匹配进行配准，采用ocv、差影法进行缺陷检测，检测准确率高，适用于通用的机器视觉平台。

发明解决其技术问题所采用的技术方案是：一种基于印刷品字符的视觉识别缺陷检测方法，其特征在于：包括如下步骤：

步骤一：利用高速高清摄像头采集标准产品的图像和待测产品的图像，获取对应roi区域，再分割roi区域图像字符，得到每个字符的区域图像；

步骤二：对待测产品的图像进行形状匹配，得到搜索到的字符的行列坐标、匹配分数及对应模板编号，若匹配个数不等于字符个数，则为不合格品，否则依次对搜索的字符使用ocv检测系统检测，得到字符的印刷质量分数；

步骤三：若字符印刷质量分数低于预先设置的低阈值，即为不合格产品，结束本次检测；若字符印刷质量分数高于高阈值，为合格品；进行字符识别；若字符印刷质量分数在低阈值与高阈值之间，将标准图像字符和待测产品的图像字符配准，对标准图像和待测产品的图像对应的二值化图像相减得到差值图像，根据面积特征判断待测产品是否存在缺陷。

作为优选，所述步骤一中的roi图像为要求待测区域。

作为优选，所述步骤一中的对roi图像分割字符是指roi图像进行阈值分割，得到二值化图像，然后进行连通，得到每个字符的最小外接矩形，并将该外接矩形放大一定像素使其包含适当的背景，最后将放大后的外接矩形对应的图像裁剪，得到模板图像，并将得到的模板图像与字符一一对应以训练得到ocv文件。

作为优选，步骤二中若匹配个数等于字符个数，再依次对搜索的字符与对应的模板图像的字符进行比较，使用ocv检测系统检测，得到该字符的印刷质量分数。

作为优选，在步骤三中，若字符印刷质量分数在低阈值与高阈值之间，将标准图像字符和待测产品的图像字符配准，对标准图像和待测产品的图像对应的二值化图像相减得到差值图像，根据面积特征判断待测产品是否存在缺陷。

发明的有益效果是：本发明通过机器视觉系统进行自动字符识别及缺陷检测，可避免人为因素导致的漏检误检，并大幅降低人工成本，从而避免了人工检测带来的培训、管理等巨大隐性成本。

其次，本发明采用形状匹配方法对待测产品的图像字符和标准图像字符进行一一配准，解决了因图像位置存在的偏差造成的点、线缺陷漏检的问题，使得待测产品的图像字符与标准图像字符的各个像素在空间上一一对应。

再者，本发明采用多条件判断，首先通过ocv判断其质量分数是否合格，再对差影法得到的缺陷区域和单连通最大区域进行面积提取，根据面积判断是否合格，这种方法提高了检测准确率。

附图说明

图1为本发明的基于印刷品字符的视觉识别缺陷检测方法的步骤示意图。

图2为本发明的基于印刷品字符的视觉识别缺陷检测方法的流程图。

图3为本发明的基于印刷品字符的视觉识别缺陷检测方法的标准图像中字符模板图。

图4为本发明的基于印刷品字符的视觉识别缺陷检测方法的待测字符图像。

具体实施方式

现在结合附图对发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明发明的基本结构，因此其仅显示与发明有关的构成。

如图所示，一种基于印刷品字符的视觉识别缺陷检测方法，其特征在于：包括如下步骤：

步骤一：利用高速高清摄像头采集标准产品的图像和待测产品的图像，获取对应roi区域，再分割roi区域图像字符，得到每个字符的区域图像；

步骤二：对待测产品的图像进行形状匹配，得到搜索到的字符的行列坐标、匹配分数及对应模板编号，若匹配个数不等于字符个数，则为不合格品，否则依次对搜索的字符使用ocv检测系统检测，得到字符的印刷质量分数；

步骤三：若字符印刷质量分数低于预先设置的低阈值，即为不合格产品，结束本次检测；若字符印刷质量分数高于高阈值，为合格品；进行字符识别；若字符印刷质量分数在低阈值与高阈值之间，将标准图像字符和待测产品的图像字符配准，对标准图像和待测产品的图像对应的二值化图像相减得到差值图像，根据面积特征判断待测产品是否存在缺陷；

所述步骤一中的roi图像为要求待测区域。

所述步骤一中的对roi图像分割字符是指roi图像进行阈值分割，得到二值化图像，然后进行连通，得到每个字符的最小外接矩形，并将该外接矩形放大一定像素使其包含适当的背景，最后将放大后的外接矩形对应的图像裁剪，得到模板图像，并将得到的模板图像与字符一一对应以训练得到ocv文件。

步骤二中若匹配个数等于字符个数，再依次对搜索的字符与对应的模板图像的字符进行比较，使用ocv检测系统检测，得到该字符的印刷质量分数。

在步骤三中，若字符印刷质量分数在低阈值与高阈值之间，将标准图像字符和待测产品的图像字符配准，对标准图像和待测产品的图像对应的二值化图像相减得到差值图像，根据面积特征判断待测产品是否存在缺陷

在具体实施时，基于机器视觉的印刷品字符识别及缺陷检测，其流程如图1所示，具体包括如下步骤：

(1)利用高清、高速摄像头采集无缺陷产品包装的图像，获取roi图像，分割字符，得到标准字符的模板图像，再实时拍摄，在线采集待测产品包装的图像，获取roi图像，分割字符，得到每个字符的roi区域；

首先将包含字符的区域裁剪下来，获得roi图像，目的在于只针对图像中感兴趣的区域进行处理，加快处理速度；

然后对roi图像进行阈值分割，得到二值化图像。这里采用“wellner1993”快速自适应阈值方法，该方法的基本思想是通过该像素周围矩形像素来评估阈值，若该像素点的值小于该阈值，则该像素点的值为1，否则为0:

其中为该像素周围矩形内所有像素的平均值，w、h为图像宽高。即得到二值化图像；

再对二值化图像进行连通，得到每个字符的最小外接矩形，并将该外接矩形放大一定像素使其包含适当的背景；

最后将放大后的外接矩形对应的图像裁剪，得到单个字符模板图像和单个字符待测产品的图像，如图2所示。将得到的所有模板图像与字符一一对应并分别计算每个模板图像的垂直方向和水平方向的灰度投影和，用于与待测产品的图像作比较。以数字检测为例，则得到0-9共10个模板和10组投影和，写入文件并保存。

(2)对待测产品的图像进行形状匹配，得到搜索到的字符的行列坐标、匹配分数及对应模板编号，再依次对搜索的字符使用ocv检测系统检测，得到字符的印刷质量分数；

形状匹配是根据物体的形状来创建模板，然后按一定的度量准则来衡量形状间的相似性，最终在同一幅图像的其他位置或者在其他图像中找到匹配物体。度量准则有很多，这里采用hausdorff距离，它是描述两组点集之间相似程度的一种度量，该值越小，相似度越大。设模板中边缘点为t，待测产品的图像中边缘点为e，则这两个点集之间的hausdorff距离可表示为：

h(t,e)＝max(h(t,e),h(e,t))

其中h(e,t)的定义类似。通过形状匹配即得到待测产品的图像中搜索到的所有字符的位置坐标、匹配分数及相对应的匹配模板。

依次计算每个字符的模板图像与待测产品的图像的变换矩阵：

将模板图像的字符区域经变换矩阵旋转平移至待测产品的图像上，然后计算该字符的最小外接矩形并放大与步骤(1)相同的像素，以使其包含适当的背景，将该区域对应的待测产品的图像区域裁剪下来，即得到与模板图像相同大小的待测产品的图像。再分别计算该待测产品的图像的水平方向和垂直方向的投影，与步骤(1)中保存的模板图像投影作对比，求出相似度，即质量分数。

(3)根据步骤(2)得到的质量分数，分情况判断是否合格品

设置两个质量分数阈值，低阈值和高阈值，假设分别为mint和maxt。设置总面积阈值t1和单连通面积阈值t2。

若质量分数小于mint，则直接判为不合格品；

若质量分数大于maxt，则进行下一个字符判断，当所有字符质量分数均大于maxt时，判为合格品，再进行字符识别；

若质量分数在mint和maxt之间，对步骤(2)中得到的模板图像的区域进行相减操作，求得差值区域。设r为模板图像区域，s为待测产品的图像区域，上述操作表示为：

t＝(r∪s)-(r∩s)

得到差值区域后，计算差值区域的总面积area1，此外，将差值区域连通，求得单连通面积最大的区域area2，若area1>t1或者area2>t2，则判为不合格品。否则为合格品，进行字符识别。

字符识别的方法有匹配法、神经网络等方法，这里对简单字符识别，如数字识别，采用匹配方法，具体步骤如下：将步骤(2)中得到的字符位置按列坐标排序，若有多行，需同时根据行列坐标排序，对应的模板编号也相对应排序，这样就得到每行中从左到右每个字符对应的模板编号(例如0-9)，即识别出字符。若对较复杂的字符识别，可采用神经网络方法。

以上述依据发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改，本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。