一种QFN芯片引脚图像快速倾斜校正方法与流程

本发明属于图像处理算法设计领域，提出改进harris角点检测算法，结合多边形逼近方法，设计一种针对qfn芯片引脚图像快速倾斜校正的方法。

背景技术：

qfn(quadflatno-leadpackage)是一种无引脚封装，呈正方形或矩形，利用封装底部中间焊盘导热，围绕中间焊盘的封装外围四周有实现电气连结的导电焊盘。qfn芯片在生产过程中会有一定的尺寸误差，因此制造料盘承载口时会留有余量，但是这会导致放入芯片时发生倾斜，从而影响到芯片封装质量视觉检测。

同时，由于芯片的尺寸较小，精确度较低的人工检测识别方式已经远远满足不了当前芯片生产的要求，开发一种有效的、可快速、准确地对芯片图像进行校正的技术是当前急需解决的问题。现有技术中针对qfn芯片的研究，主要集中于qfn芯片结构改进、制造工艺、外观检测及qfn芯片缺陷检测方面，目前尚未查阅到与qfn芯片图像倾斜的快速校正方法相关的文献与专利，因此设计一种针对qfn芯片引脚图像快速倾斜校正的方法，填补现有研究在这一方面的缺失，对于提高qfn封装缺陷视觉检测效率显得尤为重要。

技术实现要素：

针对现有技术中存在的问题，本发明提出改进harris角点检测算法，结合多边形逼近方法，设计一种qfn芯片引脚图像快速倾斜校正方法，较传统算法而言速度更快、效率也有明显提高。

本发明的技术方案为：一种针对qfn芯片引脚图像快速倾斜校正的方法，包括以下步骤：

1.对工控机采集的芯片引脚图像进行预处理：

1.1图像滤波：

为去除噪声，减少图像失真，采用5×5高斯滤波器与图像进行卷积，以平滑图像，减少边缘检测器上明显的噪声影响，在图像处理中，常使用二维高斯函数进行滤波，计算公式如下：

其中，g(x，y)为二维高斯函数，(x，y)为点坐标，σ为标准差，a为归一化系数，使不同的权重之和为一；

1.2.二值化处理：

采用固定阈值法对图像进行二值化处理，计算公式如下：

其中，f(x,y)表示图像像素值的分布函数，g(x,y)表示阈值分割之后的像素值分布函数，固定阈值t＝145；

2.利用多边形逼近方法提取目标轮廓，具体包括：

2.1对芯片引脚图像进行边缘检测：

采用canny算子边缘检测，得到芯片引脚图像的边缘轮廓信息；

2.2利用多边形逼近方法提取目标轮廓，即芯片引脚图像中心焊盘轮廓：

通过多边形逼近方法提取芯片引脚图像中心焊盘轮廓，滤除掉其余轮廓部分，简化了后续图像处理环节，多边形逼近方法是从目标轮廓中挑出两个最远的点，进行连接；接着从目标轮廓上寻找一个离线段距离最远的点，将该点加入逼近后的新轮廓，即连接着三个点形成的三角形作为轮廓；最后选择三角形的任意一条边出发，重复上一步骤，将距离最远点加入新轮廓，不断迭代，直至满足输出的精度要求；

3.提出改进harris角点检测算法，获取目标轮廓顶点，具体包括：

3.1.确定选取阈值，获取目标轮廓角点：

通常情况下，两幅黑白图像的点像素灰度之差小于最大像素灰度值的10％～15％时，人眼是难以分辨的，故选取阈值n提取图像目标轮廓角点，公式如下：

n＝255×12％≈30

3.2.提取目标轮廓拐角角点：

提取并保存所有角点，按顺序读取角点中的三点ma-n、ma、ma+n，三点构成一个由三个元素组成的模板，其中三点中将ma作为模板中心，点的下标代表角点在所有角点中的序号，遍历所有角点，从初始值开始，ma确定为一个实时性操作点，取其前后序号相距n的两点，ma分别与模板中其他两点组成两条边，将两条边构成的夹角作为ma点的角点响应值，由点ma与点ma-n距离确定边l1，点ma与点ma+n的距离确定边l2，点ma-n与点ma+n的距离确定边l3，三边可以根据余弦定理得到ma点的角度，计算公式如下：

通过两条边构成的夹角，即角点响应值来判断是否保留角点，设g为角点响应值，若点ma≥g，则保存为所需要的角点；反之，则去除；

3.3.剔除邻近角点，保留轮廓顶点：

提取出轮廓拐角角点后，周围可能还会存在有其它角点，为消除这一现象，将邻近角点进行剔除，取剩下的点作为轮廓拐角顶点，设图像高度为h，图像宽度为w，corner(x，y)表示在图像(x，y)处是否有角点，令corner(x，y)＝1时，(x，y)处有角点，m×m(m>1)为以(x，y)为中心的矩阵的大小，则：

其中，m≤x≤h，m≤y≤w，count指以(x，y)为中心的矩阵范围的角点，将(x，y)为中心的矩阵范围的邻近角点全部去除，保留目标轮廓拐角处剩下的角点作为顶点，以方便后续图像校正处理；

4.最小二乘法拟合直线：

运用最小二乘法，将目标轮廓最长边的两个顶点进行直线拟合，作为芯片引脚图像的角度识别方向；

5.根据图像形心快速校正芯片并去除白边，具体包括：

5.1.以图像形心为旋转中心：

为准确校正图像，利用形心法确定图像的中心位置，将形心坐标o点作为图像的旋转中心；

5.2.获取图像倾斜角度，校正芯片引脚图像。

进一步的，在所述步骤4中，设两个顶点坐标分别为p(x，y)、q(x，y)，所述最小二乘法拟合直线计算公式如下：

y＝ax+b

a和b分别为直线方程的斜率和截距，则：

其中分别为顶点p、q的横坐标与纵坐标的均值，

进一步的，在所述步骤5.1中，图像左上角设为起始点坐标(0，0)，右下角设为终点坐标(m，n)，图像形心公式如下：

其中，(x0，y0)是形心坐标，m、n分别为图像的行数和列数(m、n均为大于等于2的整数)，f(x，y)是图像在点(x，y)处的灰度值。

进一步的，在所述步骤5.2中，芯片图像倾斜角度α由以下计算公式可求出：

引脚图像在水平方向偏移值x可求得：

x＝px-hx

则引脚图像倾斜角度α为：

其中，l为点p到点o的垂直距离，oa为形心坐标往x轴正方向的延长线，h(x，y)为pq与oa的交点坐标。

本发明的有益效果为：

本发明公开的一种qfn芯片引脚图像快速倾斜校正方法，为更快速、更准确地校正qfn芯片提供了一定的理论依据，提高qfn封装缺陷视觉检测效率。

附图说明

图1a是qfn芯片原始图像，图1b是高斯滤波图像，图1c是二值化图像；

图2a是canny边缘检测图像，图2b是多边形逼近轮廓图像；

图3是根据阈值获取的角点图像；

图4是对图像目标轮廓顶点进行提取；

图5是选取最长轮廓的两个顶点，利用最小二乘法进行直线拟合；

图6是角度偏差示意图；

图7a是旋转校正后的图像，图7b是去除白边后的图像；

图8是hough变换算法检测角度后的校正标注示意图；

图9是最小外接矩法检测角度后的校正标注示意图；

图10是基于改进harris角点检测算法检测角度后的校正标注示意图；

图11是三种算法的角度偏差数据统计表；

图12是三种算法的运算时间数据统计表；

图13是qfn芯片引脚图像快速倾斜校正方法的流程图。

具体实施方式

以下实施例进一步说明本发明的内容，但不应理解为对本发明的限制。在不背离本发明实质的情况下，对本发明方法、步骤或条件所作的修改和替换，均属于本发明的范围。

为了提高qfn封装缺陷视觉检测效率，本实施方式中公开一种qfn芯片引脚图像快速倾斜校正方法，图1a为原始图像，以图1a作为本实施方式的解释图像，具体的校正过程包括以下步骤：

(1)对工控机采集的芯片引脚图像进行预处理：

(1.1)图像滤波：

为去除噪声，减少图像失真，采用5×5高斯滤波器与图像进行卷积(如图1b)，以平滑图像，减少边缘检测器上明显的噪声影响。在图像处理中，常使用二维高斯函数进行滤波，计算公式如下：

其中g(x，y)为二维高斯函数，(x，y)为点坐标，σ为标准差，a为归一化系数，使不同的权重之和为一。

(1.2)二值化处理：

采用固定阈值法对图像进行二值化处理(如图1c)，计算公式如下：

其中f(x,y)表示图像像素值的分布函数，g(x,y)表示阈值分割之后的像素值分布函数，固定阈值t＝145；

(2)利用多边形逼近方法提取目标轮廓，具体包括：

(2.1)对芯片引脚图像进行边缘检测：

采用canny算子边缘检测，得到芯片引脚图像的边缘轮廓信息，如图2a所示；

(2.2)利用多边形逼近方法提取目标轮廓，即芯片引脚图像中心焊盘轮廓：

通过多边形逼近方法提取芯片引脚图像中心焊盘轮廓(如图2b)，滤除掉其余轮廓部分，简化了后续环节图像处理。多边形逼近方法是从目标轮廓中挑出两个最远的点，进行连接；接着从目标轮廓上寻找一个离线段距离最远的点，将该点加入逼近后的新轮廓，即连接着三个点形成的三角形作为轮廓；最后选择三角形的任意一条边出发，重复上一步骤，将距离最远点加入新轮廓，不断迭代，直至满足输出的精度要求。

(3)提出改进harris角点检测算法，获取目标轮廓顶点，具体包括：

(3.1)确定选取阈值，获取目标轮廓角点：

通常情况下，两幅黑白图像的点像素灰度之差小于最大像素灰度值的10％～15％时，人眼是难以分辨的，故选取阈值n提取图像目标轮廓角点(如图3)，公式如下：

n＝255×12％≈30

(3.2)提取目标轮廓拐角角点：

提取并保存所有角点，按顺序读取角点中的三点ma-n、ma、ma+n，三点构成一个由三个元素组成的模板，其中三点中将ma作为模板中心，点的下标代表角点在所有角点中的序号。遍历所有角点，从初始值开始，ma确定为一个实时性操作点，取其前后序号相距n的两点，ma分别与模板中其他两点组成两条边，将两条边构成的夹角作为ma点的角点响应值。由点ma与点ma-n距离确定边l1，点ma与点ma+n的距离确定边l2，点ma-n与点ma+n的距离确定边l3，三边可以根据余弦定理得到ma点的角度，计算公式如下：

通过两条边构成的夹角，即角点响应值来判断是否保留角点。设g为角点响应值，若点ma≥g，则保存为所需要的角点；反之，则去除。

(3.3)剔除邻近角点，保留轮廓顶点：

提取出轮廓拐角角点后，周围可能还会存在有其它角点，为消除这一现象，将邻近角点进行剔除，取剩下的点作为轮廓拐角顶点。设图像高度为h，图像宽度为w，corner(x，y)表示在图像(x，y)处是否有角点，令corner(x，y)＝1时，(x，y)处有角点，m×m(m>1)为以(x，y)为中心的矩阵的大小，则：

其中m≤x≤h，m≤y≤w，count指以(x，y)为中心的矩阵范围的角点，将(x，y)为中心的矩阵范围的邻近角点全部去除，保留目标轮廓拐角处剩下的角点作为顶点(如图4)，以方便后续图像校正处理。

(4)最小二乘法拟合直线：

运用最小二乘法，将目标轮廓最长边的两个顶点进行直线拟合，作为芯片引脚图像的角度识别方向，如图5所示。

(5)根据图像形心快速校正芯片并去除白边，具体包括：

(5.1)以图像形心为旋转中心：

为准确校正图像，利用形心法确定图像的中心位置，将形心坐标o点作为图像的旋转中心。

(5.2)获取图像倾斜角度，校正芯片引脚图像：

qfn芯片封装入载带时，存在肉眼难以辨别的角度偏差，为了计算偏差角度，提出改进harris角点检测算法，结合多边形逼近轮廓，利用最小二乘法对最长边的两个顶点进行直线拟合，此时芯片倾斜角度α与芯片在水平方向偏移值x具有直角三角形关系，如图6所示，根据倾斜角度α校正芯片(如图7a)，并将旋转校正后的芯片引脚图像存在的白边进行去除(如图7b)。

在所述步骤(4)中，设两个顶点坐标分别为p(x，y)、q(x，y)，所述最小二乘法拟合直线计算公式如下：

y＝ax+b

a和b分别为直线方程的斜率和截距，则：

其中分别为顶点p、q的横坐标与纵坐标的均值，

在所述步骤(5.1)中，图像左上角设为起始点坐标(0，0)，右下角设为终点坐标(m，n)，图像形心公式如下：

其中，(x0，y0)是形心坐标，m、n分别为图像的行数和列数(m、n均为大于等于2的整数)，f(x，y)是图像在点(x，y)处的灰度值。

在所述步骤(5.2)中，芯片图像倾斜角度α由以下计算公式可求出：

引脚图像在水平方向偏移值x可求得：

x＝px-hx

则引脚图像倾斜角度α为：

其中，l为点p到点o的垂直距离，oa为形心坐标往x轴正方向的延长线，h(x，y)为pq与oa的交点坐标。

图13为qfn芯片引脚图像快速倾斜校正方法的流程图，对上述qfn芯片引脚图像快速倾斜校正方法进行实验验证与比较如下：

(1)本实施方式中公开的校正方法与传统hough变换、最小二阶矩法校正精度比较：

本实施方式采用内存为4gb，处理器为amda10-7300radeonr6，10computecores4c+6g@1.9ghz的操作系统，visualstudio版本为2013。选取10幅不同qfn芯片引脚图像为实验对象，在相同环境下运行程序，将本实施方式公开的校正方法与传统hough变换、最小外接矩法进行对比。图8、图9、图10分别为上述三种算法检测角度后的校正标注示意图。以校正后的芯片中心焊盘作角度检测与验证，灰色框线为经不同算法得到的芯片五边形部分的最小外接矩形，黑色框线为芯片五边形部分的人工标注的理想外接矩形。不难发现，图8与图9存在一定的角度偏差。利用本实施方式公开的校正方法校正后的外接矩形标注示意图如图10所示，标注的灰色框线与人工标注的黑色框线接近重合，因此本实施方式公开的校正方法获取得倾斜角度更加准确。图11列出了三种算法检测出的该芯片倾斜角度。

(2)本实施方式公开的校正方法与传统hough变换、最小二阶矩法校正时间比较：

为了检测本实施方式公开的校正方法与传统hough变换、最小外接矩法的运行时间差异，分别对10幅不同qfn芯片引脚图像运行时间进行实验对比。图12列出了三种算法的运行时间。以图形编号5为例，传统hough变换校正时间为357ms，最小外接矩法校正时间为116ms，而本实施方式公开的校正方法仅用18ms就完成了芯片图像校正过程。hough变换对10幅芯片引脚图像校正平均时间为412.6ms，最小外接矩法对10幅芯片引脚图像校正平均时间为125.8ms，相对传统hough变换，本实施方式公开的校正方法运行时间仅为其1/34，相对最小外接矩法，本实施方式公开的校正方法运行时间仅为其1/10。因此本实施方式中提出的qfn芯片图像快速倾斜校正方法不仅准确度高，而且大幅地减少了运行时间，计算效率更高。

综上所述，本实施方式提出的一种qfn芯片引脚图像快速倾斜校正方法，是一种比传统算法速度更快、效率更高的方法，可用于生产qfn芯片校正环节，为芯片的倾斜校正、检测芯片外观缺陷提供了清晰准确地图像，提高qfn封装缺陷视觉检测效率。

以上显示和描述了本发明的基本原理、主要特征及优点。但是以上所述仅为本发明的具体实施例，本发明的技术特征并不局限于此，任何本领域的技术人员在不脱离本发明的技术方案下得出的其他实施方式均应涵盖在本发明的专利范围之中。