一种芯片表观缺陷检测方法与流程

本发明是一种芯片表观缺陷检测方法，属于机器视觉检测领域，是一种基于改进环境向量快速定位技术的集成电路封装(sop)芯片表观缺陷检测方法。

背景技术：

在芯片器件生产过程中，芯片的表观质量检测是其中一项必不可少的环节，目前集成电路的sop芯片表观质量检测主要采用人工目检测法，工作强度大，容易造成误检，而且检测速度和精度较低，使得检测效率低、无法满足企业规模生产的要求，上述因素在较大程度上制约了我国集成芯片生产行业的发展。

目前，一些固有的缺陷在一定程度上也限制了sop芯片检测的准确性，比如检测速度和精度。

技术实现要素：

为了解决上述问题，本发明提供一种能够自动、快速、方便、准确地判断出sop芯片引脚缺失、上翘、下翘、歪斜、脱焊和氧化问题，还可以判断印刷信息区域是否清晰完整，可有效检测sop芯片产品表观缺陷的检测方法。采取的技术方案为，一种芯片表观缺陷检测方法，包括如下步骤：

(1)搭建机器视觉产品缺陷检测硬件平台，检测芯片，获取彩色图像；

(2)直方图均衡化由步骤(1)得到的图像，然后中值滤波处理该图像；

(3)灰度化由步骤(2)得到的图像，在图像中提取圆形标记轮廓和引脚轮廓，计算引脚和圆形标记相应轮廓的形心；

(4)由步骤(3)得到的形心，计算圆形标记形心和引脚轮廓形心的改进环境特征向量；

(5)由步骤(4)得到的形心的改进环境向量与模板图像形心的改进环境向量相似匹配，其中模板图像圆形标记和引脚环境向量事先由步骤(1)到步骤(4)计算好；

(6)通过由步骤(5)得到的匹配形心点计算仿射变换矩阵，然后仿射变换由步骤(2)获取的彩色图像和由步骤(3)提取的引脚轮廓到参考图像坐标系；

(7)由步骤(4)得到的圆形标记形心的改进环境特征向量，与模板图像的圆形标记形心改进环境特征向量做相似比较，如果近似则表明引脚无缺少，反之引脚缺少；

(8)灰度化由步骤(6)得到变换后的图像，定位分割出印刷信息区域，计算字体像素和字体边缘像素个数占整个印刷信息区域像素个数的比，判断印刷信息是否缺陷；

(9)hsv颜色模型变换由步骤(6)得到仿射变换后的彩色图像，计算每一个引脚区域缺陷像素个数占整个引脚区域像素个数的比，由此判断该引脚是否脱焊和氧化；

(10)计算由步骤(6)得到的变换后的引脚轮廓最小外接矩形的长宽比和水平倾斜角度，由长宽比可判断引脚是否上翘和下翘，由水平倾斜角度可判断引脚是否歪斜。

优选地：所述步骤(4)包括以下步骤：

(4-1)计算圆形标记形心在引脚形心集合下的改进环境特征向量；

(4-2)计算每个引脚形心在圆心标记和其他引脚形心集合下的改进环境特征向量；

优选地：所述步骤(5)包括以下步骤：

(5-1)计算输入图像引脚形心的改进环境向量与模板图像引脚形心的改进环境向量之间的相似度；

(5-2)将最相似的改进环境向量的输入图像的引脚形心和参考图像相互匹配成对，同时直接匹配参考图像圆形标记形心与输入图像圆形标记形心；

优选地：用到的改进的环境特征向量计算包括以下步骤：

其中二维平面上点c在点集p＝{p1，p2...pn}改进的环境特征向量context的计算步骤如下：

step1：计算点c到点集p形心的单位向量计算公式如下：

step2：计算点c到点集p上的所有点的向量与向量的夹角angle＝{angle1，angle2...anglen}，夹角表示范围0～2π，计算公式如下：

step3：计算点c到点集p上的所有点的距离dist＝{dist1，dist2...distn}，计算公式如下：

step4：初始化角度直方图anglehist[l]＝0，l＝1，...，l和距离直方图disthist[l]＝0，l＝1，...，l，遍历所有夹角集angle和距离集dist统计角度直方图和距离直方图，其中l表示统计的分辨率，统计方式如下：

step5：归一化角度直方图anglehist和距离直方图disthist得到角度环境特征向量anglevector和距离环境特征向量distvector，环境特征向量context由角度环境特征向量anglevector和距离环境特征向量distvector组成，归一化公式如下：

更详细的的检测方法描述如下：

(1)搭建机器视觉产品缺陷检测硬件平台，检测芯片，获取3通道rgb图像i1；

(2)直方图均衡化由步骤(1)得到的图像i1，然后中值滤波处理该图像得到i2；

(3)灰度化图像i2得到图像i3，在图像i3中提取圆形标记轮廓markcontour和引脚轮廓pincontourk，k＝1～k，计算圆形标记和引脚相应轮廓的形心markcentroid和pincentroidk，k＝1～k，k为引脚个数；

进一步，步骤(3)包括以下详细步骤：

(3-1)将3通道rgb图像i2转换为灰度图像i3；

(3-2)全局阈值分割i3得到含有芯片引脚区域的图像i4，阈值thresh选取一般大于200，全局阈值分割公式如下：

其中，i3(i，j)表示灰度图像i3在坐标(i，j)的像素值，i4(i，j)表示全局阈值分割的图像i4在坐标(i，j)的像素值，thresh为经验选取的阈值；

(3-3)采用一种轮廓跟踪算法提取图像i4的引脚轮廓，设定阈值丢弃轮廓面积约小于正常引脚面积60％和大于引脚面积的140％的轮廓得到pincontourk，k＝1～k，并计算其形心pincentroidk，k＝1～k，k为引脚个数，形心计算公式如下：

其中(xk，yk)代表第k个轮廓pincentroidk的形心，mk表示第k个轮廓含有总的像素个数，(xkm，ykm)表示轮廓上第m个像素的坐标；

(3-4)采用霍夫圆变换提取圆形标记轮廓markcontour和圆形标记的形心也即圆心markcentroid；

(4)由步骤(3)得到的形心markcentroid和pincentroidk，k＝1～k，计算圆形标记形心和引脚轮廓形心的改进环境特征向量markcontext和pincontextk，k＝1～k；

进一步，步骤(4)包括以下详细步骤：

(4-1)计算圆形标记形心markcentroid在集合{pincentroid1...pincentroidk}下的改进环境特征向量markcontext；

(4-2)计算每个引脚形心pincentroidk，k＝1～k在集合{markcentroid，pincentroid1...pincentroidk-1，pincentroidk+1...pincentroidk}下的改进环境特征向量pincontextk，k＝1～k；

(5)由步骤(4)得到的形心的改进环境向量markcontext和pincontextk，k＝1～k与模板图像形心的改进环境向量rmarkcontext和rpincontextk，k＝1～k相似匹配，将最相似改进环境向量的引脚形心pincentroidk，k＝1～k和模板图像的引脚形心rpincentroidk，k＝1～k相互匹配成对，同时直接匹配输入图像圆形标记形心markcentroid和模板图像的圆形标记形心rmarkcentroid，其中模板图像圆形标记和引脚的形心与环境向量事先由步骤(1)到步骤(4)步计算好；

进一步的步骤(5)包括如下几个详细步骤：

(5-1)计算由步骤(4)得到的引脚形心的改进环境向量{pincontext1...pincontextk}与模板图像引脚形心的改进环境向量{rpincontext1...rpincontextk}之间的相似度sim，相似度公式如下：

其中sim(p，q)表示pincontextp和rpincontextq的相似度，sim(p，q)越接近0表示相似度越高，anglevectorp和distvectorp是环境特征向量pincontextp的角度和距离分量，同理，anglevectorq和distvectorq是环境特征向量rpincontextq的角度和距离分量；

(5-2)将最相似的改进环境向量的输入图像的引脚形心pincentroidk，k＝1～k和参考图像rpincentroidk，k＝1～k相互匹配成对，同时直接匹配参考图像圆形标记形心markcentroid与输入图像圆形标记形心rmarkcentroid；

(6)通过由步骤(5)得到的匹配形心点用随机抽样一致ransanc算法计算仿射变换矩阵t，然后仿射变换由步骤(2)获取的rgb图像i2和由步骤(3)提取的引脚轮廓pincontourk，k＝1～k到参考图像坐标系，得到图像i5和引脚轮廓tpincontourk，k＝1～k；

(7)由步骤(4)得到的圆形标记形心的改进环境特征向量markcontext，与模板图像的改进环境特征向量rmarkcontext做相似比较，如果近似则表明引脚无缺少，反之引脚缺少，其中采用公式(4)作相似度计算，判定阈值由经验选择；

(8)灰度化由步骤(6)得到变换后的图像i5，定位分割出印刷信息区域roi，计算字体像素和字体边缘像素个数占整个印刷信息区域roi像素个数的比，判断印刷信息是否缺陷；

进一步，步骤(8)包括以下详细步骤：

(8-1)灰度化由步骤(6)得到变换后的图像i5，定位分割出印刷信息区域roi；

(8-2)最大类间方差法二值化印刷信息区域roi，统计印刷字体像素个数，如果个数占印刷信息区域roi总个数的比低于正常值的80％，则判定印刷不完整；

(8-3)边缘检测算法(canny算法)提取印刷信息区域roi，统计印刷字体边缘像素个数，如果个数占印刷信息区域roi总个数的比低于正常值的80％，则判定印刷不清晰；

(9)hsv颜色模型变换由步骤(6)得到仿射变换后的rgb图像i5，计算每一个引脚区域缺陷像素个数占整个引脚区域像素个数的比，由此判断该引脚是否脱焊和氧化；

进一步，步骤(9)包括以下详细步骤：

(9-1)hsv颜色模型变换由步骤(6)得到变换后的rgb图像i5

(9-2)统计每个引脚区域像素色调h在40°～80°，且饱和度s大于0.15的个数，如果个数占该引脚总个数的40％以上则判定引脚脱焊；

(9-3)统计每个引脚区域像素色调h在70°～130°，且明度v小于0.97的个数，如果个数占该引脚总个数的40％以上则判定引脚氧化；

(10)计算由步骤(6)得到的变换后的引脚轮廓tpincontourk，k＝1～k最小外接矩形的长宽比aspectratiok，k＝1～k和水平倾斜角度horizontalanglek，k＝1～k，由长宽比aspectratiok，k＝1～k可判断引脚是否上翘和下翘，由水平倾斜角度horizontalanglek，k＝1～k可判断引脚是否歪斜。

进一步，步骤(10)包括以下详细步骤：

(10-1)计算由步骤(6)得到的变换后的引脚轮廓tpincontourk，k＝1～k的最小外接矩形；

(10-2)计算最小外接矩形的长宽比aspectratiok，k＝1～k，如果长宽比大于或小于正常值的20％，则表明该引脚上翘或下翘；

(10-3)计算最小外接矩形的水平倾斜角度horizontalanglek，k＝1～k，如果角度大于或小于水平的20°，则表明该引脚歪斜；

其中二维平面上点c在点集p＝{p1，p2...pn}改进的环境特征向量context的计算步骤如下：

step1：计算点c到点集p形心的单位向量计算公式如下：

step2：计算点c到点集p上的所有点的向量与向量的夹角angle＝{angle1，angle2...anglen}，夹角表示范围0～2π，计算公式如下：

其中表示向量与坐标系的夹角，表示向量与极坐标的夹角，anglen表示向量与向量的夹角；

step3：计算点c到点集p上的所有点的欧式距离dist＝{dist1，dist2...distn}，计算公式如下：

step4：初始化角度直方图anglehist[l]＝0，l＝1，...，l和距离直方图disthist[l]＝0，l＝1，...，l，遍历所有夹角集angle和距离集dist统计角度直方图和距离直方图，其中l表示统计的分辨率，统计方式如下：

step5：归一化角度直方图anglehist和距离直方图disthist得到角度环境特征向量anglevector和距离环境特征向量distvector，环境特征向量context由角度环境特征向量anglevector和距离环境特征向量distvector组成，归一化公式如下：

附图说明

图1是本发明基于改进环境向量快速定位技术的sop芯片表观缺陷检测方法的流程图；

图2是本发明sop芯片缺陷检测系统硬件结构示意图；

图3是8引脚sop芯片模板图像圆形标记的改进环境向量；

图4到图11是8引脚sop芯片模板图像各个引脚的改进环境向量；

图12是8引脚sop芯片输入图像圆形标记改进环境向量；

图13到图20是8引脚sop芯片输入图像各个引脚的改进环境向量；

图21是8引脚sop芯片模板图像和输入图像的形心匹配结果；

具体实施方式

下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。

图2是本发明sop芯片缺陷检测系统硬件结构示意图。检测前要在目标芯片上方安装工业彩色ccd相机和光源，计算机控制相机拍摄和传送带移动，当芯片移动到相机正下方时拍取芯片。检测时要求芯片周围无物体干扰，传送带背景为黑色，同时光照充分，圆形标记照射清楚，引脚亮度相对较高，相机分辨率足够清晰。

图3表示8引脚sop芯片模板图像的圆形标记的改进环境向量，图4到图11表示模板图像8个引脚形心改进环境特征向量。同样，图12表示输入图像的圆形标记改进环境向量，图13到图20表示输入图像8个引脚形心改进环境特征向量。以上都由步骤(4)完成，每一个曲线图代表对应圆形标记和引脚形心的改进环境特征向量，这里改进环境特征向量的统计分辨率l为9，实线distance表示距离特征向量distvector，虚线angle表示角度特征向量anglehist。可以直观得出模板图像和输入图像对应引脚的改进环境特征向量是基本相似的，表明该算法提取的特征具有尺度、旋转、平移的不变性，同时还有一定的稳定性。

图21是8引脚sop芯片模板图像和输入图像的形心匹配结果。模板图像和输入图像都经过步骤(1)到步骤(5)。在步骤(3)当中，程序需要对轮廓跟踪算法提取的引脚轮廓筛选，筛选方法靠轮廓面积，面积近似引脚面积保留，其它的剔除；同时霍夫圆提取圆形标记易受参数影响，需要根据圆形半径大小筛选，还要定位局部区域搜索圆形标记，这样减少计算量同时减少噪声，增加检测的稳定性。在步骤(4)当中，对应引脚的改进环境特征向量具有很高的相似性(相似性由公式(4)计算)，可以看到模板图像和输入图像对应形心一一匹配。

如图1到图21所示，基于改进环境向量快速定位技术的检测8引脚的sop芯片具体实例包括如下具体步骤：

(1)搭建如图2的硬件检测系统，当传送带有芯片运输过来时，计算机向摄像机发送拍摄指令，获取足够清晰的芯片rgb三通道的输入图像i1。

(2)直方图均衡化由步骤(1)得到的图像i1，然后中值滤波处理该图像得到i2；

(3)灰度化图像i2得到图像i3，由于检测的芯片是8引脚芯片，故芯片引脚个数k为8，在图像i3中提取圆形标记轮廓markcontour和引脚轮廓pincontourk，k＝1～8，计算圆形标记和引脚相应轮廓的形心markcentroid和pincentroidk，k＝1～8；

进一步，步骤(3)包括以下详细步骤：

(3-1)将3通道rgb图像i2转换为灰度图像i3；

(3-2)用公式(1)全局阈值分割i3得到含有芯片引脚区域的图像i4，阈值thresh选取为220；

其中，i3(i，j)表示灰度图像i3在坐标(i，j)的像素值，i4(i，j)表示全局阈值分割的图像i4在坐标(i，j)的像素值，thresh为经验选取的阈值；

(3-3)采用轮廓跟踪方法提取图像i4的引脚轮廓，丢弃引脚轮廓面积小于正常引脚面积60％和大于引脚轮廓面积的140％的轮廓得到引脚轮廓pincontourk，k＝1～8，并由公式(2)和公式(3)计算其形心pincentroidk，k＝1～8；

其中(xk，yk)代表第k个轮廓pincentroidk的形心，mk表示第k个轮廓含有总的像素个数，(xkm，ykm)表示轮廓上第m个像素的坐标；

(3-4)采用霍夫圆变换提取圆形标记轮廓markcontour和圆形标记的形心也即圆心markcentroid；

(4)由步骤(3)得到的形心markcentroid和pincentroidk，k＝1～8，计算圆形标记形心和引脚轮廓形心的改进环境特征向量markcontext和pincontextk，k＝1～8，8引脚sop芯片检测实例模板和输入图像的改进环境特征向量计算结果如图3到图11和图12到图20所示；

进一步，步骤(4)包括以下详细步骤：

(4-1)计算圆形标记形心markcentroid在集合{pincentroid1...pincentroid8}下的改进环境特征向量markcontext；

(4-2)计算每个引脚形心pincentroidk，k＝1～8在集合{markcentroid，pincentroid1...pincentroidk-1，pincentroidk+1...pincentroid8}的改进环境特征向量pincontextk，k＝1～8；

(5)由步骤(4)得到的形心的改进环境向量markcontext和pincontextk，k＝1～8与模板图像形心的改进环境向量rmarkcontext和rpincontextk，k＝1～8相似匹配，将最相似改进环境向量的引脚形心pincentroidk，k＝1～8和模板图像的引脚形心rpincentroidk，k＝1～8相互匹配成对，同时匹配输入图像圆形标记形心markcentroid和模板图像的圆形标记形心rmarkcentroid，8引脚sop芯片检测实例匹配结果如图21所示；

进一步的步骤(5)包括如下几个详细步骤：

(5-1)用公式(4)计算由步骤(4)得到的引脚形心的改进环境向量{pincontext1...pincontext8}与模板图像引脚形心的改进环境向量{rpincontext1...rpincontext8}之间的相似度sim；

其中sim(p，q)表示pincontextp和rpincontextq的相似度，sim(p，q)越接近0表示相似度越高，anglevectorp和distvectorp是环境特征向量pincontextp的角度和距离分量，同理，anglevectorq和distvectorq是环境特征向量rpincontextq的角度和距离分量；

(5-2)将最相似的改进环境向量的输入图像的引脚形心pincentroidk，k＝1～8和参考图像rpincentroidk，k＝1～8相互匹配成对，同时直接匹配参考图像圆形标记形心rmarkcentroid与输入图像圆形标记形心markcentroid；

(6)通过由步骤(5)得到的匹配形心点用随机抽样一致ransanc方法计算仿射变换矩阵t，然后仿射变换由步骤(2)获取的rgb图像i2和由步骤(3)提取的引脚轮廓pincontourk，k＝1～8到参考图像坐标系，得到i5和tpincontourk，k＝1～8；

(7)由步骤(4)得到的圆形标记形心的改进环境特征向量markcontext，与模板图像的改进环境特征向量rmarkcontext做相似比较，如果近似则表明引脚无缺少，反之引脚缺少，其中采用公式(4)相似度计算公式，判定阈值由经验选择；

(8)灰度化由(6)得到变换后的图像i5，定位分割出印刷信息区域roi，计算字体像素和字体边缘像素个数占整个印刷信息区域roi像素个数的比，判断印刷信息是否缺陷；

进一步，步骤(8)包括以下详细步骤：

(8-1)灰度化由(6)得到变换后的图像i5，定位分割出印刷信息区域roi；

(8-2)最大类间方差法二值化印刷信息区域roi，统计印刷字体像素个数，如果个数占印刷信息区域roi总个数的比低于正常值的80％，则判定印刷不完整；

(8-3)边缘检测方法(canny方法)提取印刷信息区域roi，统计印刷字体边缘像素个数，如果个数占印刷信息区域roi总个数的比低于正常值的80％，则判定印刷不清晰；

(9)hsv颜色模型变换由(6)得到仿射变换后的rgb图像i5，计算每一个引脚区域缺陷像素个数占整个引脚区域像素个数的比，由此判断该引脚是否脱焊和氧化；

进一步，步骤(9)包括以下详细步骤：

(9-1)hsv颜色模型变换由(6)得到变换后的rgb图像i5

(9-2)统计每个引脚区域像素色调h在40°～80°，且饱和度s大于0.15的个数，如果个数占该引脚总个数的40％以上则判定引脚脱焊；

(9-3)统计每个引脚区域像素色调h在70°～130°，且明度v小于0.97的个数，如果个数占该引脚总个数的40％以上则判定引脚氧化；

(10)计算由(6)得到的变换后的引脚轮廓tpincontourk，k＝1～8最小外接矩形的长宽比aspectratiok，k＝1～8和水平倾斜角度horizontalanglek，k＝1～8，由长宽比aspectratiok，k＝1～8可判断引脚是否上翘和下翘，由水平倾斜角度horizontalanglek，k＝1～8可判断引脚是否歪斜。

进一步，步骤(10)包括以下详细步骤：

(10-1)计算由(6)得到的变换后的引脚轮廓tpincontourk，k＝1～8的最小外接矩形；

(10-2)计算最小外接矩形的长宽比aspectratiok，k＝1～8，如果长宽比大于或小于正常值的20％，则表明该引脚上翘或下翘；

(10-3)计算最小外接矩形的水平倾斜角度horizontalanglek，k＝1～8，如果角度大于或小于水平的20°，则表明该引脚歪斜；

其中二维平面上点c在点集p＝{p1，p2...pn}改进的环境特征向量context的计算步骤如下：

step1：计算点c到点集p形心的单位向量计算公式如下：

step2：计算点c到点集p上的所有点的向量与向量的夹角angle＝{angle1，angle2...anglen}，夹角表示范围0～2π，计算公式如下：

其中表示向量与坐标系的夹角，表示向量与极坐标的夹角，anglen表示向量与向量的夹角；

step3：计算点c到点集p上的所有点的欧式距离dist＝{dist1，dist2...distn}，计算公式如下：

step4：初始化角度直方图anglehist[l]＝0，l＝1，...，l和距离直方图disthist[l]＝0，l＝1，...，l，遍历所有夹角集angle和距离集dist统计角度直方图和距离直方图，其中l表示统计的分辨率，统计方式如下：

step5：归一化角度直方图anglehist和距离直方图disthist得到角度环境特征向量anglevector和距离环境特征向量distvector，环境特征向量context由角度环境特征向量anglevector和距离环境特征向量distvector组成，归一化公式如下：

按照上述实施例，便可很好地实现本发明。值得说明的是，基于上述结构设计的前提下，为解决同样的技术问题，即使在本发明上做出的一些无实质性的改动或润色，所采用的技术方案的实质仍然与本发明一样，故其也应当在本发明的保护范围内。