基于超分辨重建的金属品印刷缺陷与表面损伤的检测方法与流程

本发明属于光学技术领域，具体涉及一种基于超分辨重建的金属品印刷缺陷与表面损伤的检测方法。

技术背景

金属零件的印刷质量与表面缺陷是决定金属印刷件的质量和销量的关键因素。如果印刷缺陷与表面损伤的误差超出范围，将会导致金属印刷件不符合出厂要求，不仅造成了资源浪费，而且也会让工厂损失大量的人力财力。根据实际对金属印刷件的印刷缺陷与表面损伤影响的研究实验可知：当金属品的印刷缺陷或表面损伤面积超过0.2×0.2mm时人肉眼很容易识别并发现，当损伤面积小于0.2×0.2mm是一般不易被肉眼可见，可视为合格，因此当表面缺陷超过0.2×0.2mm时便不符合工件出场质量要求。综上所述，如何检测金属印刷品的外观是否符合质量要求，已成为工厂质量检测技术重点。

目前常用检测方法分为2类，包括人工检测方法和机器检测方法：

一、人工检测方法

人工检测缺点颇多，首先是检测人员的工作强度较大，肉眼容易产生疲劳，很难辨别出细微的缺陷，从而造成漏检现象，导致整批待测件的降级或报废，从而影响检测质量；其次是检测速度慢，且抽检率较低，不能客观地反映出待测件表面的质量；然后是待测件在线运行速度较快，肉眼难以判断是否有缺陷，故远不能满足在线高速的生产需求；最后是由于人为因素的存在，导致待测件检测结果的一致性差，不同检验人员、不同环境下检验结果不同，可信度较低。

二、机器检测方法

机器检测方法主要有光电检测和机器视觉检测。其中光电检测以涡流检测为代表，涡流检测通常是手持式小探头对金属件表面进行逐区域检查，手持式检测具有受人工影响较大的缺点，而且该检测方法只能检查出金属的表面缺陷，无法判别印刷质量，因此光电检测依然不适用于金属印刷品的表面缺陷和印刷质量的检测。视觉检测是近几年研究的热点，经过业内多位研究学者的研究已经证明该检测方法的稳定性较高，不仅具有检测速度快，而且检测精度高的优点。

现阶段的机器视觉针对金属印刷品检测对印刷区进行逐区域检测，需要在整个零件表面纹理特征进行提取，并从大量纹理特征中检测并识别出损伤及划痕，此类检测方法极易受零部件纹理特征影响，导致检测精度难以保证，检测效率低等问题。

综上所述，人工检测和光电检测的检测方式不适用于金属印刷件，而现阶段的机器视觉检测同样呈现检测速度慢的缺点，因此本发明借助现有的视觉检测基础知识提出全新的基于视觉的金属印刷件表面缺陷与印刷质量的检测方法，可解决上述问题，兼具检测精度和检测效率，对提高企业出厂产品质量具有重要意义。

技术实现要素：

本发明主要解决金属印刷品检测时存在检测效率低、精度低的问题，提供一种基于超分辨重建的金属品印刷缺陷与表面损伤的检测方法，其能实时快速完成金属印刷品连续检测。本发明涉及的是表面复杂形貌的金属印刷品检测，由于金属印刷品的印刷缺陷与表面损伤是连续变化的，而相机采集到的图像将连续特征变为每个像素独立对应的离散特征，因此在采用机器视觉在此类研究过程中始终存在像素分辨率精度与图像采集范围广度之间的矛盾，因此本发明提出基于超分辨重建的方法，具体是指以插值的方式将低分辨率图像升为高分辨率图像，从而保证了图像采集范围的同时提高了像素代表的实际物理尺寸精度，进而提高配准精度，实现特征图像位置的准确对准。通过构造特征点的配准进而实现两幅图像的配准解决了图像像素只能按整数点平移而丢失关键信息的弊端，从而提高了金属印刷品检测的准确性；其次，将整幅图像的配准简化为特征点的配准，不仅简化了配准的复杂过程，提高了配准效率，而且为后期图像差分奠定基础。

为解决传统视觉检测过程中需要对印刷区先逐个识别后挑选出缺陷区域的缺点，本发明采用图像差分的方法，成功解决了图像逐区域寻找并标记缺陷部分的弊端，实现了可视化缺陷部分的功能，再次提高了大型金属印刷品的检测速度，解决了传统金属印刷品检测的精度低、速度慢、可靠性差的问题。

首先建立图像获取系统，然后对获得的图像进行配准，但是传统的图像配准方法受到只能整像素平移的限制而无法精确的配准，为此本发明提出图像插值方法提高配准精度，最后根据印刷缺陷和表面损伤的形态学特点进行缺陷分类。

为实现上述功能本发明建立的金属印刷品检测系统硬件包括光源投射模块、图像采集模块、数据处理模块。

为了实现上述目的，本发明采用了如下技术方案：

一种基于超分辨重建的金属品印刷缺陷与表面损伤的检测方法，其包括以下步骤：

步骤1、构建图像获取系统

挑选经检测并符合标准的金属印刷品作为标准金属印刷品，图像获取系统通过多次相机光源实验调整，选择合适的相机和光源，并确定图像获取系统的参数。

步骤2、获取图像及图像预处理

2.1)在步骤1)中，完成图像获取系统的参数设置后，开始对标准金属印刷品图像进行采集，将采集到的标准金属印刷品的灰度图像进行滤波去噪预处理。

2.2)图像插值

对步骤2.1)获取的经预处理的标准金属印刷品的灰度图像进行超分辨重建处理，其中，所述的超分辨重建采用二次线性插值的方法，将原有1像素均分为16份，以实现水平方向、竖直方向的1/4像素的平移配准，理论精度达到0.125像素。

2.3)获取感兴趣区域

针对步骤2.2)中完成图像插值处理后的标准金属印刷品的灰度图像，选取两处感兴趣区域，并对选取的感兴趣区域进行二值化处理，去除小联通区域。

2.4)获取感兴趣区域中心点

在步骤2.3)中获取的感兴趣区域后，采用曲线拟合法提取感兴趣区域中心点位置，得到两处感兴趣区域的中心点像素坐标分别为(x1,y1)和(x2,y2)；

重复步骤2.1)至步骤2.4)，针对待测件进行获取图像及图像预处理、图像超分辨重建、获取感兴趣区域以及获取感兴趣区域中心点，得到待测件的两处感兴趣区域的中心点像素坐标分别为(x3,y3)和(x4,y4)。

步骤3、图像配准

完成步骤2)后，将待测件的图像按照像素偏移量δ1、δ2进行x、y方向的平移，使待测件的图像的第一处感兴趣区域的中心点像素坐标与标准金属印刷品的图像的第一处感兴趣区域的中心点像素坐标重合，此时待测件初始选取的两处感兴趣区域中心点像素坐标点(x3,y3)、(x4,y4)变为新的像素坐标点(x1,y1)、(x4-δ1,y4-δ2)，完成图像平移配准，其中偏移量计算为：

δ1＝x3-x1(1)

δ2＝y3-y1(2)

将标准金属印刷品的图像中的两处感兴趣区域的中心点像素坐标(x1,y1)、(x2,y2)点进行连线，记作l1；将完成平移配准后的待测件的图像的感兴趣区域的中心点像素坐标(x1,y1)、(x4-δ1,y4-δ2)点进行连线，记作l2，将中心点像素坐标(x2,y2)、(x4-δ1,y4-δ2)进行连线，记作l3，计算l1与l2所夹锐角θ，将上述像素坐标点带入公式(3)、(4)、(5)、(6)，夹角θ的计算如下：

将完成平移配准后的待测件的图像以(x1,y1)为圆心、旋转θ夹角，即完成图像旋转配准。

步骤4、图像差分

采用图像差分的方法，可视化缺陷部分。

步骤5、图像阈值分割

将步骤4中)差分后图像进行滤波去噪，以去除因图像配准带来的偏差。

步骤6、图像形态学分析并输出结果

对步骤5)中完成去噪的差分图像根据图像形态学进行分析，对有缺陷和损伤的待测件进行分类，同时输出结果。

进一步地，所述的图像获取系统包括第一投射光源1-2、工业相机1-3、第二投射光源1-4、数据处理中心1-5和工作站显示器1-6；其中数据处理中心1-5与工作站显示器1-6连接，且数据处理中心1-5与第一投射光源1-2、工业相机1-3和第二投射光源1-4分别连接。

进一步地，在步骤2.2)中，所述的超分辨重建的方法中，对图像的每一个像素进行二次线性插值处理，任选一像素其四个角点的坐标分别为f(i，j)、f(i+1，j)、f(i+1，j)、f(i+1，j+1)，首先进行水平方向上的二次线性插值，由f(i，j)、f(i+1，j)坐标可求得其中点坐标f(i+0.5，j)，然后利用求得的中心点像素坐标f(i+0.5，j)分别与f(i，j)、f(i+1，j)再次插值即可求得新的中心点像素坐标f(i+0.25，j)、f(i+0.75，j)，即完成水平方向的插值，竖直方向插值方法与水平方向插值方法相同，该插值方法将原有1像素均分为16份，实现水平方向、竖直方向的1/4像素的平移配准，理论精度达到0.125像素，图像插值计算公式如下式(7)至式(12)所示：

进一步地，在步骤2.3)中选取的两处感兴趣区域分别为圆形感兴趣区域和长方形感兴趣区域。

进一步地，针对圆形感兴趣区域采取等距选取六点拟合圆形提取圆心的方法确定圆形感兴趣区域的中心点坐标；针对长方形区域选取四个对角点拟合两条对角线求取两对角线交点作为长方形区域中心点像素坐标。

本发明的检测方法为非接触式检测，在充分考虑到图像特征受到像素精度的影响下，采用超分辨重建图像配准的方法，实现了对金属印刷品的印刷缺陷和表面损伤的检测。该系统装置组件较少，结构紧凑，可实时快速进行检测，检测结果精度高，操作简单、可靠较高。

附图说明

图1是本发明所涉及的基于超分辨重建原理的图像获取系统。其中：1-1为待测金属印刷件，1-2第一投射光源，1-3为工业相机，1-4为第二投射光源，1-5为数据处理中心，1-6为工作站显示器。

图2为本发明所涉及得插值原理图。其中四个角点坐标分别为f(i，j)、f(i+1，j)、f(i+1，j)、f(i+1，j+1)。

图3a、图3b和图3c为本发明所涉及的图像超分辨重建平移模型。其中：图3a为插值前待测金属印刷品感兴趣区域中心点像素坐标(x3，y3)到标准金属印刷品感兴趣区域中心点像素坐标(x1，y1)的整像素平移，其平移偏差为k1，最大平移偏差为0.5像素；图3b为超分辨重建后待测金属印刷品感兴趣区域中心点像素坐标(x3，y3)到标准金属印刷品感兴趣区域中心点像素坐标(x1，y1)的亚像素平移，其偏差为k2，最大平移偏差为0.125像素；图3c为图3b的亚像素平移配准的局部放大图，采用超分辨重建图像配准带来的偏差k2明显小于k1。

图4是本发明所涉及的感兴趣区域选取部分。其中：图4中的a为选取的第一个感兴趣区域，图4中的b为选取的第二个感兴趣区域。

图5a和图5b为随机选取待测件的感兴趣区域的去除小联通区域二值化图像，图5a为第一处感兴趣区域；图5b为第二处感兴趣区域。

图6a至图7b是本发明所涉及的感兴趣区域中心点提取方法对比。其中：图6a和图6b为灰度重心法，f1，f2分别为第一处(图6a)、第二处(图6b)感兴趣区域提取的中心点像素坐标，图7a和图7b为曲线拟合法，g1，g2分别为第一处(图7a)、第二处(图7b)感兴趣区域提取的中心点像素坐标。

图8是本发明所涉及的图像配准原理图。其中：(x1,y1)、(x2,y2)为l1的两个端点，(x3,y3)、(x4,y4)为l2的两个端点，(x4-δ1,y4-δ2)为l2′的下端点，l1为标准金属印刷品的感兴趣区域中心连线，l2为待测件感兴趣区域中心连线，l2′为待测件完成平移配准后感兴趣区域中心连线，l3为l1端点(x2,y2)与l2′端点(x4-δ1,y4-δ2)的连线，θ为l1与l2′的夹角。

图9是本发明所涉及的基于超分辨重建原理金属印刷品的印刷缺陷与表面质量检测方法具体操作流程图。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式。

应当了解，所附附图并非按比例地绘制，而仅是为了说明本发明的基本原理的各种特征的适当简化的画法。本文所公开的本发明的具体设计特征包括例如具体尺寸、方向、位置和外形将部分地由具体所要应用和使用的环境来确定。

在所附多个附图中，同样的或等同的部件(元素)以相同的附图标记标引。

本实施例中，基于超分辨重建亚像素配准的检测方法，实现了对金属印刷件的印刷缺陷和表面损伤的检测。具体利用对像素插值优化的方法，完成金属印刷件的印刷缺陷和表面损伤的检测。

首先，结合金属印刷品的印刷缺陷和表面损伤构成特点构建图像采集系统。通过分析采集到的图像信息，获取稳定参数后调整设备，即可开始对金属件进行图像采集。在完成对图像的采集之后通过图像超分辨重建的图像处理方法建立标准金属印刷品图像模板，按同样的图像采集、图像处理方法获取待测件图像，然后进行图像配准，实现了水平、竖直的1/4像素的平移配准，理论精度可以达到0.125像素。此系统的检测结果符合企业对生产件的检验要求。

具体地，基于超分辨重建的金属品印刷缺陷与表面损伤的检测方法包括以下步骤：

步骤1、构建图像获取系统

图1是本发明所涉及的基于超分辨重建原理的图像获取系统。图像获取系统包括第一投射光源1-2、工业相机1-3、第二投射光源1-4、数据处理中心1-5和工作站显示器1-6。其中数据处理中心1-5与工作站显示器1-6连接，且数据处理中心1-5与第一投射光源1-2、工业相机1-3和第二投射光源1-4分别连接。

首先挑选经严格人工检测并符合标准的金属印刷品作为标准金属印刷品，然后图像获取系统通过多次相机光源实验调整，选择合适的相机和光源并确定图像获取系统的参数，即可开始图像采集。

步骤2、获取图像及图像预处理

2.1)在步骤1)中，完成图像获取系统的参数设置后，开始对标准金属印刷品图像进行采集，将采集到的标准金属印刷品的灰度图像进行滤波去噪等预处理。

2.2)图像超分辨重建

为解决图像像素分辨率精度与图像采集范围广度之间的矛盾，本发明对步骤2.1)获取的经预处理的标准金属印刷品的灰图像进行图像超分辨重建处理。其中，所述的图像超分辨重建采用二次线性插值的方法。

图2为本发明所涉及得插值原理图。图3a至图3c为本发明所涉及的图像插值平移模型。参见图2和图3a至图3c，所述的二次线性插值的方法，以一个像素为例，其像素四个角点的坐标分别为f(i，j)、f(i+1，j)、f(i+1，j)、f(i+1，j+1)，首先进行水平方向上的二次线性插值，由f(i，j)、f(i+1，j)坐标可求得其中点坐标f(i+0.5，j)，然后利用求得的中心点像素坐标f(i+0.5，j)分别与f(i，j)、f(i+1，j)再次插值即可求得新的中心点像素坐标f(i+0.25，j)、f(i+0.75，j)，即完成水平方向的插值，竖直方向插值方法与水平方向插值方法相同，该插值方法将原有1像素均分为16份，将低分辨率图像升级为高分辨率图像，实现了水平方向、竖直方向的1/4像素的平移配准，理论精度可以达到0.125像素，同时为后续的图像高精度配准做好了前期准备。图像插值计算参考公式为(7)至(12)：

同时，本实施例针对不同差值方法进行比较，图像的插值方法分为线性插值和非线性插值。针对线性插值，最邻近插值和一次线性插值的表现均不能满足图像的配准精度需求；二次线性插值较好的满足了图像配准时所需的精度和检测效率的问题；双三次插值的表现虽然可以满足图像的配准需求，但是其运算复杂程度较高，并降低了图像的配准效率；多次线性插值虽然可以提高图像的配准精度，但导致图像的失真严重，已不适合被本发明所涉及方法采用。非线性插值包括基于小波系数和基于边缘信息的两种方法，经过验证非线性插值均出现降低检测效率的弊端。

2.3)获取感兴趣区域

针对步骤2.2)中完成图像插值处理后的标准金属印刷品的灰度图像，选取两处感兴趣区域，其中实施例中选取该标准金属印刷品的感兴趣区域为圆形、长方形区域，并对选取的感兴趣区域进行二值化处理，之后通过合适的阈值去除小联通区域，选取的感兴趣区域参见图4，去除小联通区域后图像参见图5a和图5b。

2.4)获取感兴趣区域中心点

在步骤2.3)中获取的感兴趣区域后，需要提取感兴趣区域中心点精确位置，为后续的图像配准奠定基础。本发明基于曲线拟合法对感兴趣区域中心点进行提取。

并且，本实施例对灰度重心法和曲线拟合法等中心点提取方法进行比较。根据选取的感兴趣区域的形状为圆形、长方形的重心与中心相同，所以以上两种方法计算多得的重心点像素坐标和中心点像素坐标实际为一点。由于金属印刷品在感兴趣区域的印刷质量难以保证，因此采用灰度重心法在对有缺陷的感兴趣区域处理时所测重心点偏移误差较大导致无法精确配准从而难以准确判别印刷缺陷和表面损伤。具体中心点获取方法对比见图6a至图7b。

由于选取的感兴趣区域包括圆形区域和长方形区域，故提出两种曲线拟合法对不同区域的中心点进行提取。为了兼顾提取精度和效率，本发明针对圆形区域采取等距选取六点拟合圆形提取圆心的方法确定圆形感兴趣区域的中心点坐标(x1,y1)；针对长方形区域选取四个对角点拟合两条对角线求取两对角线交点作为长方形区域中心点像素坐标(x2,y2)。完成了标准金属印刷品的图像模板处理过程。

重复步骤2.1至步骤2.4，针对待测件进行获取图像及图像预处理、图像插值、获取感兴趣区域以及获取感兴趣区域中心点，得到待测件的圆形感兴趣区域的中心点像素坐标(x3,y3)、长方形感兴趣区域中心点像素坐标(x4,y4)。

步骤3、图像配准

完成步骤2)后，将待测件的图像按照像素偏移量δ1、δ2进行x、y方向的平移，使待测件的图像的圆形感兴趣区域的像素中心点像素坐标与标准金属印刷品的图像的圆形感兴趣区域的像素中心点像素坐标重合，此时待测件初始选取的两个感兴趣区域中心点像素坐标点(x3,y3)、(x4,y4)变为新的像素坐标点(x1,y1)、(x4-δ1,y4-δ2)，完成了图像平移配准，其中偏移量计算为：

δ1＝x3-x1(1)

δ2＝y3-y1(2)

将标准金属印刷品的图像中的两处感兴趣区域的像素中心点像素坐标(x1,y1)、(x2,y2)点进行连线，记作l1；将完成平移配准后的待测件的图像的感兴趣区域的像素中心点像素坐标(x1,y1)、(x4-δ1,y4-δ2)点进行连线，记作l2，将中心点像素坐标(x2,y2)、(x4-δ1,y4-δ2)进行连线，记作l3，然后计算l1与l2所夹锐角θ，将上述像素坐标点带入公式(9)、(10)、(11)、(12)，夹角θ的计算如下：

最后将完成平移配准后的待测件的图像以(x1,y1)为圆心、旋转θ夹角，即完成了图像旋转配准。具体图像配准原理图参见图8。

步骤4、图像差分

为解决传统视觉检测过程中需要对印刷区先逐个识别后挑选出缺陷区域的繁琐过程，本发明采用图像差分的方法，成功克服采用机器视觉检测时需要逐区域寻找并标记缺陷部分的弊端，实现了可视化缺陷部分的功能，再次提高了大型金属印刷品的检测速度，解决了传统金属印刷品检测的精度低、速度慢、可靠性差的问题。

步骤5、图像阈值分割

由于步骤3)中图像配准的过程依然受到像素精度的影响，所以标准件图像难以与待测件图像完全对准，因此导致步骤4)中差分后图像的结果不仅存在需要检测出来的印刷缺陷和表面损伤也会存在因配准偏差产生正常印刷区域，但是图像配准偏差带来的区域灰度值远小于检测出来的印刷缺陷和表面损伤区域的灰度值，为此本发明对此提出将步骤4中)差分后图像进行滤波去噪可以有效去除因配准带来的偏差并且不影响印刷缺陷和表面损伤的检测精度。

步骤6、图像形态学分析并输出结果

对完成去噪的差分图像根据图像形态学进行分析。根据印刷缺陷的形态学特征一般表现为点状、块状；表面损伤的形态学特征一般表现为长条状，因此可以实现对有缺陷和损伤的待测件进行分类，同时输出结果。图像检测流程图参见图9。

本发明的检测方法为非接触式检测，在充分考虑到图像特征受到像素精度的影响下，采用超分辨重建图像配准的方法，实现了对金属印刷品的印刷缺陷和表面损伤的检测。该系统装置组件较少，结构紧凑，可实时快速进行检测，检测结果精度高，操作简单、可靠较高。