引脚根部边界点集进行整理，明确每一个"引脚一足部一根部"的对应关 系；并且整理得到上部引脚足部边界点集的集合，上部引脚边界点集的集合，下部引脚足部 边界点集的集合，下部引脚边界点集的集合该四个边界点集集合，W及上部引脚足部中屯、 点集，上部引脚中屯、点集，下部引脚足部中屯、点集，下部引脚边中屯、点集该四个中屯、点集合 十五、根据第十四步整理得到的四个边界点集集合利用其最小外接矩形求取引脚长度hpi。、引脚足部长度hf。。典及引脚数量Spi。； 十六、根据第十四步整理得到的四个中屯、点集利用整体最小二乘法拟合直线得到引脚 拟合直线；包括上部引脚根部拟合直线L-PIN-UP、下部引根部脚拟合直线L-PIN-D0WN上部 引脚足部拟合直线kFOOT-UP与下部引脚足部拟合直线kFOOT-DOWN; 十走、利用十六步中得到的引脚拟合直线求取引脚足部宽度Wf。。,、引脚间距ppi济SOP元件精确中屯、坐标（X。，y。)、SOP元件精确旋转角度a。、SOP元件精确宽度WbDdyW及SOP元 件精确长度hbDdy，得到该SOP元件拟合矩形；至此完成SOP元件的视觉定位操作； 十八、由W上得到的数据进行SOP元件引脚缺陷检测，至此完成了SOP元件视觉定位与 视觉缺陷检测操作。2.根据权利要求1所述的一种基于视觉的SOP元件定位和缺陷检测方法，其特征在于 所述步骤四具体为： 1) 取第=步中得到的某一个二值化图像的外边界点集，判断外边界点集的点的个数， 若大于10则继续进行下一步；否则删除该外边界点集，进行第5)步； 2) 检查二值化图像的各个外边界点集是否有内含或者嵌套的外边界点集，有则将外两 边界点集之间的连通区域像素值定为255,画到一个空的图像中，无则将此外边界点集所包 含内部像素值定为255,画到一个空的图像中； 3) 计算上一步得到的二值图像中像素值为255的像素点的个数记为si，并且将上一步 中画好的二值化图像与第二步中阔值为150的产生的二值图像做"位与"运算，计算该二值 化图像中像素值为255的像素点个数记为S2; 4) 计算si/s,的值并将该值小于0. 5所对应的外边界点集删除； 5) 重复1)--4)直到取遍第3步中得到的所有边界点集。3. 根据权利要求1或2所述的一种基于视觉的SOP元件定位和缺陷检测方法，其特征 在于所述步骤五具体为： 1) 采用冒泡排序法将第四步各个边界点集按照边界所包围面积大小从小到大进行排 序； 2) 对排在中间=个的边界点集面积求取面积平均值记为a; 3) 依次将各个边界点集所包围的面积a;与a进行比较，保留ai<2. 5相且ai〉0. 6相的 边界点集i;其中，所述为第i个边界点集的面积。4. 根据权利要求3所述的一种基于视觉的SOP元件定位和缺陷检测方法，其特征在于 所述步骤六具体为： 1) 获取图像中几何对象的点集M= ((Xi，yi), (X2，y2)，L(Xn'y。)）； 2) 当n= 1，2, 3时，退出并返回"点数过少无法进行最小外界矩的求解"，否则任取两 点连接得到直线L; 3) 令i= 1 ; 4) 寻找是否有点集中的点在直线L上，若Mi即M中的第i个点，即在L上，贝U 令i=i+1，再进行该步骤，若直到i=n时，点Mi仍然在直线L上，退出并返回"点在同一 条直线上无法进行最小外接矩的求解"；否则进行下一步； W求取点集M= ((X。Yi), (X2,Y2)，L(X。，y。)）的凸壳，并且从点集M的几何中屯、为原点 按照逆时针方向得到凸壳点集合CH_MW及任意两个相邻凸壳点连线的凸壳边的集合CH_ E； 6) 令j= 1 ; 7) 寻找与凸壳边Ej相对应的其他矩形立边的点集MMb,M。，要求WEj为矩形一边来筛 选点集M。，Mb,M。； 8) 得到与凸壳边Ej.相对应的矩形Rj.，并存储其特征量，包括四顶点集P，四边方程参数 集合N，W及对应的面积A; 9) 重复W上步骤直到j=n，绘制出面积变换曲线，寻找面积最小外接矩形对应的参 数。5. 根据权利要求4所述的一种基于视觉的SOP元件定位和缺陷检测方法，其特征在于 所述步骤九具体为： 具体步骤为： 1) 将第八步中得到的各个边界点集中屯、重新画在一个图像上； 2) 利用霍夫变换找到所有可能的直线集合Linel; 3) 根据第走步得到的SOP元件的粗略旋转角度a来筛选Linel，要求直线的旋转角度 与a相差小于1.5°，得到筛选后的直线集合Line2; 4) 依次求解SOP元件粗略中屯、坐标（xu，y。）到Line2中各个直线的距离，找到分别在 其上部和下部的最远直线L_up和L_down，作为上部和下部的粗略足部拟合直线； 5) 依次求解各个边界点集中屯、到该两条直线的距离，分别将该距离最小的边界点集最 小外接矩的长度作为上下两侧的引脚足部粗略长度C_h。和C_hl; 6) 将上一步中所有到两条直线距离小于C_hu/2的对应边界点集定为上部引脚足部、将 距离小于C_hi/2的对应边界点集定为下部引脚足部，进行存储。6. 根据权利要求5所述的一种基于视觉的SOP元件定位和缺陷检测方法，其特征在于 所述步骤十=具体为： 1) 对"转正元件"分离为上部图像和下部图像； 2) 分别对上部图像和下部图像进行X轴方向的扫描，输出像素值有变化的像素点对应 的X轴坐标； 3) 根据一个引脚组在X轴方向坐标会变化两次的特点找到每一个引脚组所在的X轴坐 标范围； 4) 依次取各个边界点集的"转正"中心根据其X轴坐标值将其存入上一步中已经标号 的引脚组中屯、点集当中，并且将对应的边界点集也存入已经标号的引脚组边界点集当中。7. 根据权利要求6所述的一种基于视觉的SOP元件定位和缺陷检测方法，其特征在于 所述步骤十五具体为： 1) 对第十=步得到的各个引脚组边界点集求其最小外接矩形，并输出其最小外接矩形 的长度pinjii作为第i个引脚的长度； 2) 对第十四步得到的足部引脚组边界各个引脚足部边界点集求其最小外接矩形，并输 出其最小外接矩形的长度化〇t_hi作为第i个引脚足部的长度； 扣对1)与。中的长度求取平均值，得到平均引脚长度hpi济平均引脚足部长度hfwt; 4)将第13步中引脚类的数量来直接确定引脚个数，记为Spi。。8. 根据权利要求7所述的一种基于视觉的SOP元件定位和缺陷检测方法，其特征在于 所述步骤十六其基本思想W及与最小二乘法拟合直线的差异如下： 直线方程表示为；y;=axi+b(i= 1，2,L脚令其中（Xi,yi)为测点坐标，a,b为待估参数，式々为a,b的估计值； 一般最小二乘法拟合直线只考虑因变量的误差，即有乂+v，,,=av,+/^准则为然而对于整体最小二乘法拟合直线来说就同时还要考虑因变量的误差，即有y+V 采用混合最小二乘法的解法，准则为其中，9. 根据权利要求8所述的一种基于视觉的SOP元件定位和缺陷检测方法，其特征在于 所述步骤十走具体 1) 根据第十六步中得到的引脚足部拟合直线找到该直线与引脚足部边界点集的交点 点集f= {(W'l)，(-、-:，J:)，L心)}; 2) 将作为第i个引脚足部的宽度，求取其 平均值作为引脚足部宽度Wf。。,，同时也作为引脚宽度Wph=Wfwt; 3) 将作为第i个和第i+1个引脚足部的宽度，求取其平均值作为引脚间距Ppi。； 4) 根据第十=步中得到的上部引脚组中屯、点集来求取上部引脚组中屯、点P。下部引脚 组中屯、点集来求取下部引脚中屯、点Pi，过点P。做交上下部引脚直线于点Q。=(X0。，yj和 点Qi= (X。1，yw)，而SOP元件精确中屯、坐标为5) 根据步骤十六中得到的上下两条引脚拟合直线的斜率可求得该两条拟合直线的角 度a。，a1进而求得元件精确旋转角度a。= ; 6) 同3)，找到上下引脚组最外侧的四个引脚类中屯、，分别过该四个点做相 对应引脚直线的垂线交于Q。。，9。1，Qi。，Qii四点；其中所述Q。。，9。1为上部左右侧交 点，Qi。，Qii为下部左右侧点，记为元件精确宽度，为元件精确长度。10.根据权利要求9所述的一种基于视觉的SOP元件定位和缺陷检测方法，其特征在于 所述步骤十八具体为： 1) 引脚缺失检测；根据第十^；：步得到的元件引脚间距Ppi。来依次与所有引脚间距di、 W进行对比，当diw〉l. 2*Ppi。认为第i个到第i+1个引脚有缺失；当diw<0. 7*Ppi。认为 第i个到第i+1个引脚有弯曲或者粘连的情况； 2)引脚粘连或者引脚弯曲：当w<0. 7*ppi。时，继续判断第i个W及第i+1个引脚 的宽度riW及其最小外接矩形的旋转角度a1，当ri〉1.5*Wpi。或者Ia1-〇。| 乂°是认为引 脚粘连弯曲； 3) 引脚无法断开或者过长；根据第十五步得到的各个引脚足部长度化ot_hi与引脚长 度hpi济引脚足部长度hfwt对比进行判断，当footjii〉hpin或者footjii〉l. 5*hfwt认为第i 个引脚无法断开或者太长。
【专利摘要】一种基于视觉的SOP元件定位和缺陷检测方法，本发明涉及表面组装技术视觉系统中SOP元件的视觉定位与视觉缺陷检测，本发明是要解决SOP元件在贴片机贴装时出现的精度不够，对外界环境变化敏感的问题，而提出的一种基于视觉的SOP元件定位和缺陷检测方法；该方法按照检查所选区域图像是否符合亮度要求；将所选区域图像进行二值化，得到二值化图像采用canny边缘检测提取法提取第二步得到的二值化图像的外边界轮廓，得到二值化图像的各个外边界点集；由以上得到的数据进行SOP元件引脚缺陷检测等步骤实现的。本发明应用于贴片机视觉领域。
【IPC分类】G06T7/00
【公开号】CN104933720
【申请号】CN201510357923
【发明人】高会军, 王毅, 孙昊, 白立飞, 杨宪强, 张延琪, 张天琦, 周纪强
【申请人】哈尔滨工业大学
【公开日】2015年9月23日
【申请日】2015年6月25日