一种基于多镜头的智能机械手的制作方法
【专利摘要】本实用新型公开了一种基于多镜头的智能机械手，包括多关节多功能机械手、用于采集待装配PCB板图像的CCD摄像机、生物触点装置及计算机，所述CCD摄像机安装在多关节多功能机械手上，生物触点装置安装在多关节功能机械手的手指尖，所述CCD摄像机、生物触点装置及多关节多功能机械手与计算机连接。本实用新型在双目定位的基础上，在机械手中加入了生物触点装置，能对装配目标区域进行精确定位，提高了异形件装配的准确率，利用的是生物触点装置中的敏感材料的压力-电输出转换关系以及机械手位置与压力的数学模型，本实用新型实现了异形元器件的高精度和实时性装配，提高了电子装配工业的生产效率。
【专利说明】
一种基于多镜头的智能机械手
技术领域
[0001] 本实用新型涉及电子装配领域，具体涉及一种基于多镜头的智能机械手。
【背景技术】
[0002] 目前，在机械电子装配行业中，把异形元器件安装到PCB上往往依靠流水线上的工 人进行手动装配。人力装配主要是依靠人眼和经验，在长时间的工作后无法保证生产效率， 而且手动装配带有一定的主观性，也不能维持每件产品的同等质量，因此把自动化技术引 入到电子装配业迫在眉睫。将自动化技术取代人力装配能有效地提高生产效率，节省人力 资源，保证装配的质量。
[0003] 相关企业已经利用机械手代替人手在装配流水线进行工作，但由于机械手没有人 的双眼来进行定位，也不像工人可以依靠手部的触感经验来提示装配，因此机械手的装配 准确率反而不如人力装配，生产效率无法得到提高。 【实用新型内容】
[0004] 为了克服现有技术存在的缺点与不足，本实用新型提供一种基于多镜头的智能机 械手。
[0005] 本实用新型采用如下技术方案：
[0006] -种基于多镜头的智能机械手，包括多关节多功能机械手、用于采集待装配PCB板 图像的CCD摄像机、生物触点装置及计算机，所述CCD摄像机安装在多关节多功能机械手上， 生物触点装置安装在多关节多功能机械手的手指尖，所述CCD摄像机、生物触点装置及多关 节多功能机械手与计算机连接。
[0007] 所述CCD摄像机具体为两个，分别安装在多关节多功能机械手前臂的左侧及右侧。
[0008] 所述生物触点装置包括用敏感材料制成的贴片及用于测量贴片形变并输出电信 号的信号测量电路，所述贴片覆盖在机械手的手指尖上，所述贴片与信号测量电路连接，信 号测量电路与计算机连接，所述信号测量电路内置在多关节多功能机械手内部。
[0009] 所述贴片的形状为指套式。
[0010] 所述敏感材料具体为导电橡胶。
[0011] 所述两个CCD摄像机的型号及参数完全相同，两个CCD摄像机的坐标系共面，且各 坐标轴平行放置。
[0012] -种智能机械手的定位装配方法，包括如下步骤：
[0013] S1待装配PCB板移动至机械手前方，打开两个CCD摄像机获取两张待装配PCB板的 图像，分别为左、右图像；
[0014] S2计算机将获得的两张 PCB板图像与计算机内预先输入的PCB模板进行匹配，确定 在两张图像中异形件待装配的目标区域；
[0015] S3利用双目定位算法测量得到待装配的目标区域与机械手指尖的距离，计算机控 制机械手进行移动至待装配的目标区域，完成初步定位；
[0016] S4利用机械手指尖的生物触点装置与S3中初步定位后的目标区域进行接触，将贴 片产生的形变电信号通过信号测量电路输出到计算机，计算机进行位置的微调，实现精确 定位，完成装配。
[0017] 所述S2具体为:对两个CCD摄像机获取的待装配PCB板的图像进行滤波去噪，再利 用边缘检测算子提取PCB板的边缘部分，去除背景部分，然后采用分段线性变换对图像增 强，提高图像的对比度，最后采用基于灰度值的模板匹配方法确定待装配的目标区域。
[0018] 所述S3利用双目定位算法测量得到待装配的目标区域与机械手指尖的距离，计算 机控制机械手进行移动至待装配的目标区域，完成初步定位，具体为：
[0019] S3.1采用张正友标定算法求解CCD摄像机的内部参数矩阵及外部参数矩阵，再进 行双目立体定标，确定两个摄像机之间的相对位置关系，所述相对位置关系包括旋转矩阵R 及平移向量T;
[0020] S3.2采用基于模板匹配的灰度互相关匹配方法完成两张图像的像素点匹配；
[0021] S3.3利用双目定位算法即双目测距系统成像原理测得待装配的目标区域与机械 手指尖的距离1;
[0023]其中，左右两摄像机的投影中心的距离为基线距B，目标点A经过由两光轴平行的 左右摄像机组成的双目测距系统时，分别成像于左CCD像面上的A1点及右CCD像面上的A2 点，其在左右像面上的位置分别为Xleft和xright，两摄像机的焦距为f，x为目标点A通过双目 摄像机分别成像在左右CCD像面上成像点的位置差。
[0024]所述S4具体为:机械手指尖的生物触点装置在完成初步定位后，与待装配PCB板接 触，敏感材料会发生形变导致受到压力的改变，输出的电信号改变，计算机根据输出的信号 以及压力与位置的数学模型对机械手的位置进行调整，从而达到精确定位装配异形件的目 的。
[0025]本实用新型的有益效果：
[0026] (1)本实用新型可以在无人工干预的状态下完成对PCB板待装配区域的自动精确 定位，完成异形件的装配工作；
[0027] (2)本实用新型采用两个CCD摄像头分别采集一幅PCB板的图像进行处理，满足了 工业电子装配的快速性和实时性要求；
[0028] (3)本实用新型在机械手中加入生物触觉装置，能对装配目标区域进行精确定位， 提高了异形件装配的准确率；
[0029] (4)本实用新型在机械手的定位中使用了数字图像处理技术中的双目定位算法， 能有效地测量得到机械手与目标装配区域间的距离；
[0030] (5)本实用新型利用模板匹配的方法来确定异形件装配的目标区域，提高了后续 定位工作的准确性。
【附图说明】
[0031 ]图1是本实用新型的智能机械手的结构示意图；
[0032]图2是本实用新型生物触点装置的结构示意图；
[0033]图3a是本实用新型的模板匹配法的被搜索图；
[0034]图3b是本实用新型的匹配模板示意图；
[0035]图4是本实用新型的工作流程图。
【具体实施方式】
[0036]下面结合实施例及附图，对本实用新型作进一步地详细说明，但本实用新型的实 施方式不限于此。
[0037] 实施例
[0038] 如图1所示，一种基于多镜头的智能机械手，包括一个多关节多功能机械手1、用于 采集待装配PCB板图像的CCD摄像机2、生物触点装置3及计算机，所述CCD摄像机具体为两 个，分别安装在机械手前臂的左侧及右侧，摄像机的具体位置可以根据实际情况安装在机 械手的不同部位，生物触点装置可以将待装配区域的位置信息转化为电信号反馈到计算 机。生物触点的数目可以根据实际需求加以调整。计算机负责对采集的图像以及反馈的电 信号进行处理并发出控制信号，指挥机械手完成最终的定位及装配异形件的工作，所述机 械手内置机械手的控制电路，控制电路与计算机连接。
[0039] 本实用新型采用的两个CCD摄像机型号、参数保持一致，基本保持光轴平行、双目 摄像机坐标系共面且各坐标轴平行放置，同步采集的左右图像大小、比例一致，图像的灰度 信息保持比较完整，
[0040] 如图2所示，所述生物触点装置包括用敏感材料制成的贴片5及用于测量指套形变 并输出电信号的信号测量电路4,所述贴片5覆盖在机械手的手指尖上，所述贴片与信号测 量电路连接，信号测量电路4与计算机连接，所述信号测量电路内置在多关节多功能机械手 内部。本实施例中贴片选用指套式，并且采用三个贴片，套在机械手的手指尖上。
[0041]所述敏感材料具有压力-电输出特性，可以将受到的压力转化为电信号输出。本实 施例中贴片的形状为指套式，采用的敏感材料为导电橡胶，用该敏感材料制成的生物触点 装置像指套一般安装在机械手的指尖上，当指尖接触到PCB板时，生物触点装置上的敏感材 料的由于形变受到的压力会发生改变，从而导致输出电信号的改变。通过信号测量电路，可 以测量得到生物触点装置由于形变而发生改变的输出电信号作为输出信号传送至计算机， 计算机根据预先得到的数学模型即可得到目前机械手所处的位置，并输出相应的控制信号 进行调整。
[0042]图3a为被搜索图，图3b为匹配模板，设匹配模板叠放在被搜索图上进行平移，模板 覆盖下的那块被搜索图为子图，比较子图和匹配模板中的内容，若两者相似度量最大则表 示两者内容一致，此时的子图则为待寻找的匹配区域。
[0043] 如图4所示，采用本机械手实现的定位装配方法，包括如下步骤：
[0044] S1获取待装配PCB板的图像。
[0045] 待装配的PCB板经流水线运送至机械手的前方，调节好光源的亮度，通过左右两个 CCD摄像机分别拍摄得到标PCB板图像，安装在左侧的CCD摄像机成为左CCD摄像机，图像称 为左图像，右CCD摄像机拍摄的图像称为右图像。
[0046] S2模板匹配寻找待装配目标区域。
[0047] 从工业现场采集得到的PCB板图像存在较多噪声，因此首先要对图像进行滤波去 噪。摄像机采集的图像包括了待装配的PCB板，称为前景，同时图像上还包括了背景部分，要 对目标区域进行辨识和分析，首先就要把它从背景中提取出来，因此要对图像进行图像分 割处理。由于目标(PCB板)是规则的几何形状，可以利用边缘检测算子提取PCB板的边缘部 分，去取背景部分。
[0048]为了提高图像的辨识度，将图像的细节信息以及边缘进行突出和强化，有利于后 续待装配目标区域的模板匹配，需要对PCB板图像进行图像增强，提高图像的对比度，将原 灰度值区间范围按照某种映射关系进行转换，借此实现背景图像与目标图像对比度增强的 效果。本实用新型采用的是分段线性变换增强方法。设原始图像的灰度函数为f(r，c)，灰度 范围为[0，M f]，变换后的图像函数表示为g(r，c)，灰度范围为[0，Mg]，变换公式可以表示为：
[0050]模板匹配是通过计算模板图像和待搜索图像的相似度量，从而在待搜索图像中找 到模板图像的过程。模板匹配的过程可以表述为:首先按像素计算模板图像与待搜索图像 的相似度量，然后找到最大的相似度量区域作为匹配位置，其原理如图3a及图3b所示。 [0051]在对PCB板图像进行图像增强以后，由于PCB板图像各区域的灰度值分布是均匀固 定的，故本实用新型采用了基于灰度值的模板匹配方法。基于灰度值的模板匹配方法将整 幅图像的灰度值作为相似度量，利用定义好的搜索策略按照从上到下、从左到右的顺序在 待搜索图像中搜索符合条件的区域，通过设定一个指定大小的搜索窗口，在搜索窗口中进 行搜索比较。
[0052] 待搜索图像中目标物的位置可以通过平移来描述。模板由图像t(r，c)来表示，其 中的感兴趣区域指定为T，模板匹配就是在待匹配图像中按照一定顺序平移模板感兴趣区 域T，然后计算待匹配图像中该区域与模板感兴趣区域的相似度量值s。相似度量由下式描 述：
[0053] s(r,c)=s{t(u,v) ,f (r+u,c+v) ； (u,v) ￡T}
[0054]其中s(r，c)表示基于灰度值计算的相似度量，t(u，v)表示模板中各点的灰度值，f (r+u，C+v)表示模板感兴趣区域移到图像当前位置的灰度值。
[0055]求取相似度量的最简单方法是计算两图像之间灰度值差值的绝对值之和(SAD)或 所有差值的平方和(SSD)，SAD和SSD可以分别用以下两式表示：
[0058]其中，n表示模板该兴趣区域内像素点的数量，即n= |T|。对于SAD和SSD来说，相似 度量的值越大，待搜索图像与模板之间的差别也就越大。采用基于灰度值的模板匹配方法 即可确定待装配目标区域。
[0059] S3利用双目定位算法测量得到待装配的目标区域与机械手指尖的距离，计算机控 制机械手进行移动至待装配的目标区域，完成初步定位；
[0060] S3.1对双目摄像机进行标定。
[0061 ]由于本文采用的是参数完全相同的两台摄像机组成双目立体系统，因此提出了先 分别对两台摄像机进行定标，求解其内外参数。图像坐标系与世界坐标系之间的转换关系 为：
[0063] A为摄像机的内参数矩阵，M由摄像机相对于世界坐标系的位置和方向所决定，与 摄像机的内部参数图针孔摄像机模型无关，称M为摄像机外部参数矩阵，使用张正友标定算 法求解摄像机的内部参数矩阵和外部参数矩阵。
[0064] 在完成对单个相机的标定，获取单个相机的内外参数后，再进行一次双目立体定 标，计算左右两摄像机之间的相对位置即外参数，即左右两摄像机的相对位置关系，包括旋 转矩阵R和平移向量T。
[0065]假设棋盘格标定板上点P的三维世界坐标为Xw，使用两摄像机同时采集图像，P点 在左右摄像机坐标系下的坐标分别为Xl和XR，左右摄像机的外参矩阵分别为(Rl，tL)和(Rr， t R)，根据世界坐标系与摄像机坐标系的转换关系有： r , L = ^1 +
[0066] i xr - R.(xn +-tR
[0067] 根据上式可以得到从左摄像机到右摄像机的变换关系：
[0068] Xr = RXl+T
[0069] 其中
[0070] R = RrRl-1 , T = tR-RtL
[0071] 那么根据左右摄像机各自的外参数就可以获取双目视觉系统中立体相机的关系 参数，即立体相机的位置关系，至此完成双目摄像机的标定工作。
[0072] S3.2采用基于模板匹配的灰度互相关匹配方法完成两张图像的像素点匹配；
[0073]本实用新型所采用的左右摄像机型号、参数保持一致，基本保持光轴平行、双目摄 像机坐标系共面且各坐标轴平行放置，同步采集的左右图像大小、比例一致，图像的灰度信 息保持比较完整，且待装配的目标区域图像已在S2中确定。因此本实用新型采用基于模板 匹配的灰度互相关匹配方法完成目标图像区域的高精度匹配。
[0074]归一化互相关匹配算法根据模板图像与待匹配图像上搜索子图之间建立的互相 关函数来判断是否匹配，使用互相关函数表达式如下：
[0079] 在上式中，模板图像为T(m，n)，模板图像大小为MXN，为T(m，n)上所有像 素灰度的平均值；在参考图像上以（i，j)为左上角像素点的搜索图像区域为S^(m，n)， 为搜索图像上所有像素灰度的平均值。图像匹配是匹配目标图像区域即模板的左 上角像素点。互相关函数值N( i，j)的取值范围是0 < N( i，j H 1，它的值的大小取决于参考 图像上以（i，j)为左上角像素点的搜索图像区域与模板图像的匹配程度。某像素点对应的 互相关函数值越大，说明该像素点匹配程度越高，选取互相关函数值最大的像素点，即为最 匹配像素点。
[0080] 在完成左右图像像素点的匹配以后，如图所示，根据双目测距系统成像原理，左右 两型号一致的CCD摄像机在同一平面上平行放置，左右两摄像机的投影中心的距离为基线 距B〇
[0081] 目标点A经过由两光轴平行的左右摄像机组成的双目测距系统时，分别成像于左 (XD像面上的A1点及右CCD像面上的A2点，其在左右像面上的位置分别为xieft和x right。已知 两摄像机焦距均为f，根据三角形相似原理可推导出被测距离1:
[0083] x为A点通过双目摄像机分别成像在左右CCD像面上成像点的位置差，又被称为双 目视差。可见在双目摄像机光轴严格平行的理想状态下，并且同时获取目标物体的图像，通 过图像匹配算法确定同一目标在左右CCD图像中的相应位置，计算出双目视差X，又己知焦 距和基线大小，可以通过上式得到目标距离，至此完成待装配目标区域的初定位。
[0084] S4利用机械手指尖的生物触点装置与S3中初步定位后的目标区域进行接触，将贴 片产生的形变电信号通过信号测量电路输出到计算机，计算机进行位置的微调，实现精确 定位，完成装配。
[0085] 机械手在进行装配时，会与PCB板进行接触，机械手的指尖会受到压力的作用。当 异形元器件与待装配区域准确接触以及异形元器件接触到PCB板的其它区域时受到的压力 作用是不同的，因此可以建立压力与位置的数学模型，通过指尖受到的压力作用来调整机 械手的位置，从而完成对待装配目标区域的精确定位。
[0086] 本实用新型采用了一种敏感材料设计了生物触点装置，该敏感材料具有压力-电 输出特性，可以将受到的压力转化为电信号输出。用该敏感材料制成的生物触点装置像指 套一般安装在机械手的指尖上，当指尖接触到PCB板时，生物触点装置上的导电材料的由于 形变受到的压力会发生改变，从而导致输出电信号的改变。在敏感材料与机械手指尖之间 有信号测量电路，可以测量得到生物触点装置由于形变而发生改变的输出电信号作为输出 信号传送至计算机，计算机根据预先得到的数学模型即可得到目前机械手所处的位置，并 输出相应的控制信号进行调整。
[0087] 机械手在S3步骤中完成了待装配区域的初定位，移动机械手到该区域，在机械手 与PCB板发生接触后根据指尖上的生物触点装置的输出信号对机械手的位置进行微调，最 终达到精确定位并完成异形件的装配。
[0088] 上述实施例为本实用新型较佳的实施方式，但本实用新型的实施方式并不受所述 实施例的限制，其他的任何未背离本实用新型的精神实质与原理下所作的改变、修饰、替 代、组合、简化，均应为等效的置换方式，都包含在本实用新型的保护范围之内。
【主权项】
1. 一种基于多镜头的智能机械手，其特征在于，包括多关节多功能机械手、用于采集待 装配PCB板图像的CCD摄像机、生物触点装置及计算机，所述CCD摄像机安装在多关节多功能 机械手上，生物触点装置安装在多关节多功能机械手的手指尖，所述CCD摄像机、生物触点 装置及多关节多功能机械手与计算机连接。2. 根据权利要求1所述的智能机械手，其特征在于，所述CCD摄像机具体为两个，分别安 装在多关节多功能机械手前臂的左侧及右侧。3. 根据权利要求1所述的智能机械手，其特征在于，所述生物触点装置包括用敏感材料 制成的贴片及用于测量贴片形变并输出电信号的信号测量电路，所述贴片覆盖在机械手的 手指尖上，所述贴片与信号测量电路连接，信号测量电路与计算机连接，所述信号测量电路 内置在多关节多功能机械手内部。4. 根据权利要求3所述的智能机械手，其特征在于，所述贴片的形状为指套式。5. 根据权利要求3所述的智能机械手，其特征在于，所述敏感材料具体为导电橡胶。6. 根据权利要求2所述的智能机械手，其特征在于，所述两个CCD摄像机的型号及参数 完全相同，两个CXD摄像机的坐标系共面，且各坐标轴平行放置。
【文档编号】B25J9/06GK205466320SQ201620083027
【公开日】2016年8月17日
【申请日】2016年1月27日
【发明人】杜娟, 谭健胜, 冯颖
【申请人】华南理工大学