一种模切产品尺寸检测方法与流程

1.本发明属于图像信号处理、机器视觉领域，具体涉及一种模切产品尺寸缺陷检测方法。


背景技术：

2.模切件是指将原材料通过裁切加工而形成的产品零配件，最初主要应用于印刷品行业。近年来，随着电子消费品行业的飞速发展，模切件已被广泛应用于电子产品，比如电子产品的外壳、显示屏、设备模组等。
3.电子产品中的模切件加工工艺复杂，在加工时由于受不同刀具的组合、模切机的切割精度、复合产品中多种材料自身的张力以及外界环境等因素的影响，常常会造成模切件的缺陷，而使用缺陷的模切件往往会导致整个电子产品不合格，从而带来更大损失。因此，对模切件缺陷进行准确、高效的检测尤为重要。
4.目前模切件缺陷的检测主要采用的是基于人工的缺陷离线抽检方法。人工检测通过抽样选取产品测试样本，依靠测量仪器进行尺寸缺陷判定，通过人眼进行表面缺陷判定。该方法主要存在以下缺点：(1)离线抽样检测导致产品参检率低，容易发生漏检；(2)人工成本高，在测量过程中易引入额外破坏，且检测结果易受人为主观经验和状态的影响，出现误判；(3)人眼易疲劳，检测效率低，无法支撑海量生产需求；(4)检测数据不易保存，不支持历史数据的回溯分析。同时，检测的离线性导致与整体生产环节的脱节，需要额外添加质量检测环节，破坏了生产的连贯性与一体性，其次人工检测的速度往往远远慢于上游机器生产速度，导致只能采用抽样测试，无法完全覆盖所有生产目标。
5.因此，利用机器代替人工检测的研究在持续进行。在国外，早在上世纪八十年代，基于机器视觉的检测技术以及相应的机器视觉系统已经广泛地应用于工业及制造业检测中，并提出了大量较为成熟的工业检测解决方案以及视觉检测系统。
6.在国内，随着“工业4.0”时代的到来，在工业检测方面，自动化、智能化检测已成为必然的发展趋势。目前，国内也出现了不少利用机器视觉技术，进行相关工业检测的方法，利用图像采集设备获取检测目标的数字图像数据，借助图像处理技术，对获取的检测目标数据进行识别、解析与检测。相比传统的人工检测，该方式具有高精度、非接触、高效且可靠性强等特点，能够有效降低工业生产的废品率，保证海量生产需求下产品的品质。但是，放眼到模切件缺陷检测领域，当前国内外对模切件缺陷的自动化检测并没有成熟的针对性方案，特别是能够判定尺寸缺陷的自动化高精度检测方法，仍处于空白状态。


技术实现要素：

7.针对上述问题，本发明提供了一种高效准确的模切产品尺寸检测方法，实现模切产品尺寸的在线检测，在保持较高的检测速度的同时，控制极低的不良漏检率和误检率。
8.本发明提供的技术方案为：
9.一种模切产品尺寸检测方法，包括以步骤：
10.(1)初始化模切产品待检测的检测元参数及检测指标参数；
11.(2)获取含标定片的图像，并根据该图像计算标定矩阵；
12.(3)获取待尺寸检测的模切产品图像，并计算模切产品图像的阈值分割结果图，依据阈值分割结果图定位模切产品；
13.(4)根据模切产品的定位结果和初始化的检测元参数以及标定矩阵更新迭代拟合检测元；
14.(5)根据拟合的检测元和初始化的检测指标参数计算检测指标并输出。
15.与现有技术相比，本发明具有的有益效果为：
16.本发明提供的模切产品尺寸检测方法，通过获取含标定片的图像并计算标定矩阵；然后获取待尺寸检测的模切产品图像，并计算模切产品图像的阈值分割结果图后依据阈值分割结果图定位模切产品；最后根据模切产品的定位结果和初始化的检测元参数以及标定矩阵更新迭代拟合检测元后结合和初始化的检测指标参数计算检测指标并输出，该过程能够很准确高效地检测模切产品尺寸。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
18.图1是本发明实施例提供的模切产品尺寸检测方法的流程图。
具体实施方式
19.为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
20.图1是本发明实施例提供的模切产品尺寸检测方法的流程图。如图1所示，实施例提供的模切产品尺寸检测方法包括以下步骤：
21.步骤1，初始化模切产品待检测的检测元参数及检测指标参数。
22.初始的检测元参数为表征检测元的相关参数，检测元包括圆、圆弧以及直线，其中，圆和圆弧用参数圆心和半径表示，直线用参数起点坐标和终点坐标表示；
23.初始化的检测指标参数为评判检测结果的指标参数，包括误差参数。
24.步骤2，获取含标定片的图像，并根据该图像计算标定矩阵。
25.标定片是用于来确定标定矩阵的，具体的计算标定矩阵过程为：
26.(2
‑
1)获取含标定片的图像，对图像进行阈值分割，获得阈值分割结果图，并依据阈值分割结果图获取标定片上所有标定节点的像素点集；
27.(2
‑
2)根据像素点集计算每个标定节点对应的图像空间重心，依据每个标定节点的图像空间重心和每个标定节点对应的现实空间相对坐标，采用最小最小二乘法拟合确定标定矩阵，该标定矩阵能够将图像空间坐标转换为现实空间坐标。
28.实施例中，选择包含有49个标定圆的图像，对该图像阈值分割后，获取定片中49个
圆的像素点集vi；然后根据像素点集vi计算49个圆形标定片图像空间重心(圆心)ci；最后根据ci及对应现实空间相对坐标ri，依照最小二乘法，拟合标定矩阵，该标定矩阵f可将图像空间坐标转换为现实空间坐标。
[0029][0030]
步骤3，获取待尺寸检测的模切产品图像，并计算模切产品图像的阈值分割结果图，依据阈值分割结果图定位模切产品。
[0031]
本实施例中，阈值分割的具体过程为：
[0032]
(a)设置初始阈值分割参数为t∈[0,255]；
[0033]
(b)根据阈值分割参数t对图像进行阈值分割，对于图像坐标为(x,y)的点，其分割结果b(x,y)遵循以下表达式：
[0034][0035]
其中，g(x,y)表示灰度值，依据分割结果b(x,y)获得阈值分割结果图b；
[0036]
(c)观察阈值分割结果图b并调整阈值分割参数t，如模切工件及底料均为白色，即像素值为255，增大阈值分割参数t，返回步骤(b)；如模切工件及底料均为黑色，即像素值为0，减小阈值分割参数t，返回步骤(b)；如模切工件部分为黑色，底料部分为白色，则停止调节。
[0037]
依据阈值分割结果图定位模切产品的具体过程为：
[0038]
(3
‑
1)对阈值分割结果图进行边缘检测，获得工件闭合轮廓集，基于工件闭合轮廓集为每个工件闭合轮廓求取外接矩阵，组成外接矩形集；
[0039]
(3
‑
2)根据外接矩形集和工件闭合轮廓集，统计分析每个外接矩形包含的新图像中区块，组成每个外接矩阵对应的子图像，实现对模切产品的定位。
[0040]
本实施例中，可以采用区域生长算法对新阈值分割结果图进行边缘检测，获得工件闭合轮廓；然后基于边缘检测结果构建工件闭合轮廓集，表示为v＝{v1,v2,v3,
…
}，其中，vi为第i个轮廓的闭合点集。
[0041]
实施例中，获得的外接矩形集表示为b＝{b1,b2,b3,
…
}，其中，第i个外接矩形bi对应第i个轮廓的闭合点集vi，外接矩形bi的左上角及右下角顶点坐标为(x1,y1,x2,y2)，其应当满足：
[0042]
x1＝min{x
p
|p∈vi}
[0043]
y1＝min{y
p
|p∈vi}
[0044]
x2＝max{x
p
|p∈vi}
[0045]
y2＝max{y
p
|p∈vi}
[0046]
其中，min{
·
}及max{
·
}表示求取最大值的过程函数，p为轮廓点索引，x
p
，y
p
表示轮廓点的坐标；
[0047]
实施例中，依据以下公式统计并构建每个外接矩阵对应的子图像i
new,i
，该子图像即为模切产品的定位结果图；
[0048]
i
new,i
＝{g(x,y)|x∈[x1,x2],y∈[y1,y2]}
[0049]
其中，i
new,i
表示第i个外接矩阵对应的子图像，其中，g(x,y)表示新图像(x,y)位置的像素值。
[0050]
步骤4，根据模切产品的定位结果和初始化的检测元参数以及标定矩阵更新迭代拟合检测元。
[0051]
具体过程为：
[0052]
(4
‑
1)解析初始化的检测元参数获取基于现实坐标系的检测元集；其中，检测元集包含圆、圆弧、直线。
[0053]
(4
‑
2)根据标定矩阵的逆矩阵将基于现实坐标系的检测元集转换为基于图像坐标系的检测元参数集。
[0054]
(4
‑
3)针对基于图像坐标系的检测元参数集中的每个检测元，获取检测元的搜索矩形框。
[0055]
本实施例中，获取检测元的搜索矩形框是分类进行的，具体过程为：
[0056]
(4
‑3‑
1)当检测元为圆时，依据圆的圆心ci＝(xi,yi)及半径ri，获取检测元的搜索矩形框boxi＝(x1,y1,x2,y2)：
[0057]
x1＝xi
‑
ri
‑
d,y1＝yi
‑
ri
‑
d
[0058]
x2＝xi+ri+d,y2＝yi+ri+d
[0059]
(4
‑3‑
2)当检测元为圆弧时，获取检测元的搜索矩形框过程与圆相同；
[0060]
(4
‑3‑
3)当检测元为直线时，根据直线的起点坐标s＝(xs,ys)和终点坐标e＝(xe,ye)，获取检测元的搜索矩形框boxi＝(x1,y1,x2,y2)：
[0061]
x1＝min{xe
‑
d,xs
‑
d},y1＝min{ye
‑
d,ys
‑
d}
[0062]
x2＝max{xe+d,xs+d},y2＝max{ye+d,ys+d}
[0063]
其中，(x1,y1)表示搜索矩形框boxi左上角顶点坐标，(x2,y2)表示矩形框boxi右下角顶点坐标，d表示搜索裕量；
[0064]
(4
‑3‑
4)遍历所有直线的搜索矩形框boxi，计算俩俩间交并比iou，计算公式如下：
[0065][0066]
其中，box
a
和box
b
分别为直线a和直线b的搜索矩形框；
[0067]
然后将交并比iou大于阈值q的两条直线做归并处理，生成复合双线，该复合双线包含原有直线a和b持有的所有参数，对应的搜索矩形框标记为box
ab
＝box
a
∪box
b
。
[0068]
(4
‑
4)根据搜索矩阵框获取模切图像的定位结果图中感兴趣区域，并将感兴趣区域转化为梯度图。
[0069]
感兴趣区域(area of interest)就是关注的区域，本实施例中是指关注的被测量工件。将感兴趣区域转化为梯度图过程为：
[0070]
对于感兴趣区域中的任意图像坐标(x,y)对应的sobel梯度值g(x,y)及梯度方向d(x,y)为：
[0071][0072]
[0073]
其中，sobel
i
为优化的sobel算子，共8个，分别为：
[0074][0075][0076][0077][0078]
block(x,y)为由(x,y)及其邻域像素组成的矩阵，即：
[0079][0080]
运算符*表示图像卷积运算。
[0081]
(4
‑
5)根据梯度图筛选梯度点，依据梯度点构建候选点集，根据候选点集和检测元进行迭代精细拟合，获得拟合的检测元。
[0082]
本实施例中，梯度图筛选梯度点来构建候选点集的过程为：
[0083]
grad
max
＝max{g
aoi
}
[0084]
v
grad
＝{(x,y)|g(x,y)≥kgrad
max
+b,(x,y)∈i
aoi
}
[0085]
其中，g
aoi
表示梯度图，max{
·
}表示取最大值，grad
max
表示最大梯度点，k为筛选系数，b为筛选偏置，g(x,y)表示位置(x,y)的梯度值，v
grad
表示候选点集。
[0086]
精细拟合过程也是分类进行的，具体根据候选点集和检测元进行迭代精细拟合的具体过程为：
[0087]
(4
‑5‑
1)当检测元为圆心ci＝(xi,yi)及半径ri的圆时，计算候选点集v
grad
相对圆心距离关于半径的误差集d
grad
，具体计算公式如下：
[0088][0089]
对误差集d
grad1
中误差值按升序排序，取前至少40％的误差值对应的候选点构成新候选点集v
reduced1
；
[0090]
根据新候选点集v
reduced1
，采用最小二乘法拟合新圆，以新圆迭代步骤(4
‑5‑
1)，迭代为止得到最终圆心(x0,y0)及半径r0；
[0091]
(4
‑5‑
2)当检测元为圆弧时，迭代精细拟合过程与圆相同。
[0092]
(4
‑5‑
3)检测元为起点坐标s＝(xs,ys)和终点坐标e＝(xe,ye)的直线，计算候选点集v
grad
到直线的距离集d
grad2
，具体计算公式如下：
[0093][0094]
其中a＝ye
‑
ys,b＝xs
‑
xe,c＝xeys
‑
yexs；
[0095]
取距离集d
grad2
中前至少40％的距离对应的候选点构成新候选点集v
reduced2
，采用最小二乘法拟合直线，一般式为a
′
x+b
′
y+c
′
＝0，重复步骤(4
‑5‑
3)，迭代为止得到最终直线方程及对应的点集v
final
；
[0096]
(4
‑5‑
4)检测元为包含两对起点坐标及终点坐标的复合双线，计算候选点集v
grad
到两条直线距离差值集d
grad3
，具体计算公式如下：
[0097][0098]
其中
[0099]
根据数学分析可得，d
grad3
中数值应呈类似双高斯双峰分布，通过数值简单聚类方式，计算双峰中心距离值d1和d2，根据d1及d2重新筛选候选点集v
i
，如下：
[0100][0101]
根据选候选点集v
i
，依据最小二乘法，进一步拟合直线l1及l2。
[0102]
步骤5，根据拟合的检测元和初始化的检测指标参数计算检测指标并输出。
[0103]
在获得拟合的检测元也就获得了检测元参数，即检测元圆的圆心和半径，直线的起点坐标和终点坐标。由于模切产品均可以分解成检测元来表示，在检测元参数的基础上，即可以组合检测元参数获得模切产品尺寸。
[0104]
在获得模切产品尺寸之后，依据给定的检测指标参数可以计算检测的模切产品尺寸的检测指标，实现对检测结果的评判。
[0105]
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。