一种基于视觉的tr元件定位和缺陷检测方法
【技术领域】
[0001] 本发明涉及视觉定位及缺陷检测的识别方法，特别涉及一种基于视觉的TR元件 定位和缺陷检测方法。
【背景技术】
[0002] 随着电子产业的发展，市场对电子产品的要求越来越苛刻，不仅要达到小型化、轻 量化、薄型化，更是要在组装生产过程中达到自动化。因此表面组装技术（SMT)应运而生并 迅猛发展，而其中最为核心的设备就是贴片机。衡量一台贴片机好坏最重要的有三个指标： 可贴元器件的范围，贴装速度以及贴装精度。而介于此，图像识别算法和流程被公认为是贴 片机视觉系统的关键，元件识别算法的有效范围直接影响着贴片机可贴元器件的范围，其 的精度和速度也直接制约着贴装速度以及贴装精度。
[0003] 现如今我国的贴片机才刚刚起步，与国外水平相距甚远，片式元件的视觉识别算 法方面的专利又是少之又少，对于TR元件，目前更是没有一个完整的视觉定位与检测算法 发表，这对于我国电子产业的发展十分不利。
[0004]现在对于贴片元件的视觉研宄主要集中在视觉定位和符号识别当中，对于贴片元 件的缺陷检测主要还是通过手工精密仪器测量，这不仅浪费了实践，浪费了人力，也引入了 更多的人为误差，精度很低。
[0005] 在现如今贴片元件的视觉定位的研宄中也有很多问题，大多数算法都存在精度 低，实时性差，计算结果对光照敏感等问题。
【发明内容】
[0006] 本发明的目的是为了解决现在对于贴片元件的视觉研宄中有人为误差、精度低、 实时性差以及计算结果对光照敏感问题，而提出的一种基于视觉的TR元件定位和缺陷检 测方法。
[0007] 上述的发明目的是通过以下技术方案实现的：
[0008] 步骤一、检查所选择区域图像亮度；若图像出现太亮或太暗则停止检查并返回相 应错误码；若亮点数与总点数的比值在区间[0. 01，0. 90]则转至步骤二；其中，所选择区域 图像中像素值为255的像素点认为是亮点，所选区域图像所有像素点个数记为总点数；当 亮点数与总点数的比值小于0. 01认为区域图像太暗，当亮点数与总点数的比值大于0. 90 则认为区域图像太亮；
[0009] 步骤二、对所选区域图像中亮点数与总点数的比值在[0. 01，0. 90]的图像进行二 值化，得到二值化图像；其中，二值化图像包括手动输入固定阈值二值化方法得到的二值化 图像和采用类间方差最大的方法得到的二值化图像；
[0010] 步骤三、对步骤二中采用类间方差最大的方法得到的二值化图像进行外边界提取 的操作，得到二值化图像的外边界点集，存放在二维点容器1中；其中，外边界提取的操作 采用的提取算子是一种4领域快速轮廓跟踪算子，其中，4领域快速轮廓跟踪算子算子的描 述如下：
[0011] P为待判定的像素点，其4领域的位置分别为P1、P2、P3和P4 ;当P1、P2、P3和P4 中有一个为背景像素点时，判定P为边界像素点，用4领域快速轮廓跟踪算子遍历采用类间 方差最大的方法得到的二值化图像就得到准确的单像素宽度的边界点集图像即二值化图 像的外边界点集。
[0012] 步骤四、对步骤三得到的二维点容器1中的外边界点集进行灰度值检查得到筛选 后的边界点集，并将筛选后的边界点集压入一个二维点容器2中，记为有效边界点集；
[0013] 其中，所述的步骤三中外边界点集进行灰度值检查得到筛选后的边界点集的具体 过程为：
[0014] (1)取步骤三得到的任意一个外边界点集，若外边界点集包含的点数大于10,则 进行步骤（2);
[0015] (2)若步骤⑴中的外边界点集有内含或者有嵌套的外边界点集，则将内含或者 嵌套的外边界点集之间的连通区域所有像素点像素值定为255;若步骤（1)中的外边界点 集没有内含或者嵌套的外边界点集则将此外边界点集所包含内部所有像素点像素值定为 255 ；
[0016] (3)将像素值为255的像素点画在一个空的灰度图像中，记为这一个外边界点集 的二值图像；
[0017] (4)计算步骤（3)中像素值为255的像素点的个数，记为si;将步骤二中手动输入 固定阈值二值化方法得到的二值化图像与步骤（2)中得到的这一个外边界点集的二值图 像进行按位与运算，得到一个新的二值图像，计算新的二值图像中像素值为255的像素点 个数，记为s2 ;
[0018] (5)计算sl/s2的值并将sl/s2值小于0. 5所对应的边界点集删除；重复⑴~ (5)直到取遍步骤三中得到所有外边界点集，并将所有的留下来的外边界点集压入一个二 维点容器中，即得到有效的边界点集；
[0019] 步骤五、寻找全体有效边界点集的最小外接矩形，将全体有效边界点集的最小外 接矩形作为元件的粗略最小外接矩形，并将全体有效边界点集的最小外接矩形的旋转角度 作为TR元件的粗略旋转角度a，全体有效边界点集的最小外接矩形的中心坐标作为TR元 件的粗略中心坐标（x^y。）；
[0020] 所述的寻找全体有效边界点集的最小外接矩形所采用的方法是一种优化后的旋 转目标法，这里称之为双轴旋转法具体步骤为：
[0021] (1)寻找全体有效边界点集的水平主轴：依次扫描全体有效边界点集的每一列i， 寻找每一列有效边界点集的起点坐标（Xn,yn)和终点坐标（xi2,yi2)，从而计算第i列内目 标的中心坐标（x'i，太）：
[0022]
[0023] 将全体有效边界点集的各列的中心坐标作为一组数据（x'以'利用最小 二乘法进行直线拟合，得到表示全体有效边界点集的水平主轴初始位置的直线方程y= klX+b1;其中，i= 1，2,…，N;k$斜率，bA截距；
[0024](2)寻找全体有效边界点集的垂直主轴：依次扫描全体有效边界点集的每一行j， 寻找每一行边界点集的起点坐标（Xji,yji)和终点坐标（xj2,yj2)，从而计算第j行内目标的 中心坐标（x'』，y'：
[0025]
[0026] 将此边界点集的各行的中心坐标作为一组数据（x'j，y'」），利用最小二乘法进 行直线拟合，得到表示全体有效边界点集的垂直主轴初始位置的直线方程x=k2y+b2;
[0027] 其中，j= 1，2,…，M;k2为斜率，b2为截距；
[0028] (3)求取全体有效边界点集的初始最小外接矩形，简称为初始最小外接矩形：保 持全体有效边界点集的水平主轴方向不变，找到与直线方程y =klX+bi平行，且与有效边界 点集相切的两条直线y=kiX+biJPy=k3+1312
[0029] 取与有效边界点集的水平主轴垂直即k'f-l/h且过（X(l，yci)的垂线y= fiX+y^k'iXd，找到垂线与有效边界点集相切的两条直线y=k'p+b' ^和又二 kr !X+br12；
[0030] 根据四条直线y=kiX+bn、y=kj+bu、y=k'iX+b' n和y=k'iX+b' 12的 交点就得到初始最小外接矩形的四个顶点；
[0031] 其中，y=kiX+bn为初始最小外接矩形的上边界；y=k0+1312为初始最小外接矩 形的下边界，y=k'p+b'n为初始最小外接矩形的左边界；y=k'p+b' 12为初始最 小外接矩形的右边界；
[0032] (4)求全体有效边界点集最小外接矩形：绕全体有效边界点集的水平主轴与全体 有效边界点集的垂直主轴的交点旋转，旋转角度区间取为：从全体有效边界点集的水平主 轴初始位置开始，逐渐到与有效边界点集垂直主轴初始位置重合所旋转锐角Y，在旋转角 度区间内以a0 =r为每一次旋转间隔，按照步骤（3)中的方法求取每一次旋转后的全 体有效边界点集的最小外接矩形；并计算旋转第t次的全体有效边界点集的最小外接矩形 面积Mt，绘制出Mt折线图观察；t= 1，2,…，[y];[y]为y的整数部分；
[0033] (5)若步骤⑷得到的面积Mt大于面积Mi，M2,L，Mh中最小值的L1倍，或者有 效边界点集水平主轴的旋转到的位置斜率大于或等于有效边界点集垂直主轴的斜率；则达 到终止条件，达到终止条件终止后，将步骤（4)中的旋转间隔变为A0 =0.1°重复步骤 (4)~（5)，直到最后的A0 <0.001°且满足以上终止条件为止；
[0034] 步骤六、求出步骤四得到的每一个有效边界点集的中心坐标（Xi，yi)，i= 1，2，一,N:其中，每一个有效边界点集的中心坐标（x;,y;)具体为：
[0035]
[0036] 当点（X，y)在有效边界点集上时，f(x，y) = 1 ;否则f(x，y) = 0;i= 1，2,…，N; N代表有N个边界点集；
[0037] 步骤七、根据a将步骤四得到的有效边界点集分为TR元件上部有效边界点集和 TR元件下部有效边界点集两组；
[0038] 步骤八、将步骤七得到的TR元件上部有效边界点集、下部有效边界点集及步骤六 得到的每一个有效边界点集的中心按照元件粗略旋转角度a进行仿射变换即转正；同时 将粗略中心坐标（xQ，yQ)转正为（x'。，太Q);
[0039] 步骤九、对TR元件类型进行检测；若TR元件类型为标准TR类型，则继续步骤十； 否则，停止并返回相应的错误码；
[0040] 步骤十、将步骤七的TR元件上部有效边界点集和下部有效边界点集根据引脚所 属关系进行分类得到第一次分类的有效边界点集，并对第一次分类的有效边界点集进行编 号；
[0041] 步骤十一、对步骤十得到的第一次分类的有效边界点集进行同一引脚的足部与根 部有效边界点集的分类，确定引脚一足部一根部的关系；并且建立三个容器，三个容器中第 一个容器存放常规引脚有效边界点集及常规引脚有效边界点集编号，第二个容器存放常规 引脚足部有效边界点集及常规引脚足部有效边界点集编号，第三个容器存放特殊引脚有效 边界点集及特殊引脚有效边界点集编号；
[0042] 步骤十二、分别求取步骤十一中第一个容器中常规引脚有效边界点集的中心点集 和第二个容器中常规引脚足部有效边界点集的中心点集即：
[0043] 将上部常规引脚有效边界点集的中心点集存放在上部常规引脚中心点容器中；
[0044] 将上部常规引脚足部有效边界点集的中心点集存放在上部常规引脚足部中心点 容器中；
[0045] 将下部常规引脚有效边界点集的中心点集存放在下部常规引脚中心点容器中；
[0046] 将下部常规引脚足部有效边界点集的中心点集存放在下部常规引脚足部中心点 容器中；
[0047] 步骤十三、对常规引脚有效边界点集的中心点集和常规引脚足部有效边界点集的 中心点集进行最小二乘法拟合直线操作，得到四条直线，分别记TR元件下部常规引脚有 效边界点集拟合直线Line_downpin、TR元件上部常规引脚有效边界点集拟合直线Line_ u