部件识别方法和装置的制作方法

专利名称：部件识别方法和装置的制作方法
技术领域：
本发明涉及部件识别方法和装置，更详细地说，涉及一种通过对具有角端子的部件进行拍摄并处理其图像来对部件的吸附方位(姿势)进行识别的部件识别方法和装置。
背景技术：
专利文献1特开平6-223185号公报(权利要求1)以往，在部件安装机中，为了将电子部件(以下简称为部件)高精度地装配到印刷基板上，在把由吸附喷嘴吸附的部件装配到印刷基板上之前，使用CCD照相机等摄像装置对部件进行拍摄。然后，通过求出部件中心和部件斜度，计算吸附偏差，并对其进行校正，来把部件正确地装配到印刷基板上。在这种部件安装机中识别部件时，由于在部件的各边上存在引线端子，因而，如专利文献1所示，对存在引线端子的各边进行端子检测，根据该检测结果来计算部件中心和斜度。并且，在识别部件时，不识别在部件角部存在的端子等与定中心(centering)没有关系的端子，而是仅对引线端子和球状端子之类的定中心所需的端子进行检测，提高在求出部件中心和斜度时的计算精度。
并且，在把部件装配到基板上时，在部件具有极性(方向性)的情况下，必须把部件的一边朝向其极性所在的方向而安装到基板上。因此，把部件的一边的方向指定为吸附角度为0°(向上)、90°(向右)、180°(向下)、270°(向左)，根据所指定的吸附角度旋转部件数据，进行部件识别。
然而，由于吸附角度的指定失误或实际吸附部件时的失误，有时实际的部件方向与所指定的方向(吸附角度)不同。因此，用现有的识别方法，仅能识别各边的引线端子的检测结果是否与部件数据所指定的引线端子信息一致。因此，当指定的吸附角度和实际的吸附角度不同时，存在引起误装配和识别错误的可能性。
例如，如图11(A)所示，假设部件50、51分别在各边具有引线端子，并在角部具有角端子，各部件具有规定的一边向上的方向性。对部件50指定了吸附角度0°时，按照图11(B)的左侧所示的部件方向生成部件数据。在该情况下，由于忽视角端子而仅描述引线端子信息，因而部件数据变成了右侧所图示的那样。在这种状态下，在实际吸附部件时，在例如一部分部件被错误地以与所指定的方向不同的状态收纳在用于供给部件的供料器内时，如图11(C)的左侧所示，部件以与所指定的方向不同的方向(例如向右)被吸附。在识别时，由于引线端子的数据与部件数据一致而被识别为正常，该部件按照该方向被装配到基板上，结果，与所指定的吸附角度(方向)不同，造成误装配。
并且，对部件51指定了吸附角度0°时，按照与图11(D)所图示的部件的方向生成部件数据。在这种状态下，在实际吸附部件时，如图11(E)所示，如果部件以与所指定的方向不同的方向(例如向右)被吸附，则在识别时，由于引线端子的数据与部件数据不一致，虽然是同一部件，却出现识别错误。

发明内容
因此，本发明是鉴于这种问题而提出的，目的是提供一种可以可靠地对部件的实际吸附角度与所指定的吸附角度的偏差进行检测的部件识别方法和装置。
本发明为了解决上述课题，采用了一种通过处理所吸附的部件的图像来识别部件的吸附方位的部件识别方法，在该方法中，预先记录当部件的一边的方向处于基准角度时在部件的哪个角部存在角端子；处理部件的图像并检测角端子；以及把存在检测出的角端子的角部与预先记录的存在角端子的角部进行对照，根据该对照结果来检测部件的吸附角度相对于基准角度的偏差。
并且，在本发明中，采用了一种通过处理所吸附的部件的图像来识别部件的吸附方位的部件识别装置，在该装置中，设置有存储单元，用于预先记录当部件的一边的方向处于基准角度时在部件的哪个角部存在角端子；摄像装置，用于对部件进行拍摄；图像处理装置，用于处理所拍摄的部件的图像；角端子检测单元，用于根据上述部件的图像处理来检测角端子；以及吸附角度检测单元，用于把存在检测出的角端子的角部与预先记录的存在角端子的角部进行对照，根据该对照结果来检测部件的吸附角度相对于基准角度的偏差。
在这种结构中，检测角端子，把存在该检测出的角端子的角部与预先记录的存在角端子的角部进行对照。因此，在以与所指定的吸附角度不同的角度吸附了部件时，可以可靠地检测出该情况，可以防止将部件按错误的方向装配到基板上。
并且，在本发明中，当存在角端子时，也预先记录该角端子的形状，并对在哪个角部存在哪种形状的角端子进行检测。因此，可以对角端子的配置(有无)及其形状为非对称的各种部件的吸附角度进行检测。


图1是表示部件安装装置的概略结构的方框图。
图2是表示部件摄像装置和图像处理装置的结构的结构图。
图3是表示部件识别流程的流程图。
图4是表示各种部件的引线端子和角端子的种类的说明图。
图5是表示根据角端子及其配置来对形状类型和配置模式进行编码的状态的说明图。
图6是表示求出引线列直线和角坐标的流程的说明图。
图7是说明通过对角线扫描来检测部件中是否存在角端子的流程的流程图。
图8(A)是说明对角线扫描方法的表图，图8(B)和图8(C)是说明对角线扫描方法的说明图。
图9是表示求出检测出的角端子的轮廓的流程的说明图。
图10是表示通过模板匹配来确定角端子的形状的流程的说明图。
图11(A)～(E)是说明吸附角度与指定的角度不同时的问题的说明图。
符号说明5摄像装置；7图像处理装置；7b图像存储器；7d部件数据存储器；30部件；30a，30b，30c角端子；C1～C4角部。
具体实施例方式
以下，根据附图所示的实施方式，对本发明进行详细说明。
<部件安装装置和图像处理装置的结构>
图1是表示应用本发明的部件安装装置(部件安装机)的控制结构的方框图，部件安装装置具有头部(head部)3，该头部3具有用于吸附由供料器等部件供给装置(未作图示)供给的部件(电子部件)20的吸附喷嘴3a。
该头部3的结构为可以由X轴电动机11、Y轴电动机12驱动，在XY轴方向移动，其中，X轴电动机11、Y轴电动机12由CPU构成的控制器10驱动。并且，头部3的结构为在吸附部件和装配部件时，可以由Z轴电动机13在Z轴方向驱动而进行升降，并且吸附喷嘴3a可以通过θ轴电动机14以喷嘴轴为中心进行旋转。
并且，在部件安装装置中，配置有对部件20进行拍摄的CCD照相机之类的具有透镜5a的摄像装置5，头部3在吸附部件后移动到摄像装置5，通过摄像装置5对由照明装置15照明的部件20进行拍摄。
部件的摄影图像被输入到具有CPU7a、图像存储器7b、A/D转换器7c、部件数据存储器7d的图像处理装置7。图像处理装置7取入所设定的区域的图像，使用公知算法处理该图像，对部件的吸附方位进行识别，计算部件中心和吸附中心的位置偏差以及部件斜度。控制器10在驱动X轴电动机11、Y轴电动机12、θ轴电动机14时，对该位置偏差进行校正，把部件20装配到传送来的基板(未作图示)上。
并且，在部件安装装置中，设置有用于输入部件数据的键盘21、鼠标22等输入装置。而且，所生成的部件数据可存储在由硬盘、快闪存储器等构成的存储装置23或图像识别装置7内的部件数据存储器7d中。也可以不通过输入装置，而是将连接在部件安装装置上的主计算机(未作图示)提供的部件数据事先存储在存储装置23或部件数据存储器7d中。并且，设置有监视器(显示器)24，在其画面上能够显示部件数据、运算数据和用摄像装置5拍摄的部件图像。
在图2中，示出了通过照明装置15对吸附在吸附喷嘴3a上的部件20进行照明、通过摄像装置5对其进行拍摄的状态。摄像装置5通过来自CPU7a的控制线7d，对所设定的区域的图像进行拍摄。所拍摄的图像通过信号线7e被输入到图像处理装置7，并通过A/D转换器7c被转换成数字信号。之后，将其存储在图像存储器7b内，进行图像处理，并识别部件的方位。并且，可把所处理的图像显示在监视器24上。
<部件识别流程>
以下，按照在图像处理装置的CPU7a的控制下所执行的图3的流程，对检测部件的方向即吸附角度并进行部件识别的流程进行说明。
有的矩形部件中，除了引线端子以外，还在角部设置有角端子，在图4(A)所示的部件20a中，位于4个角部的角端子的形状完全不同(未设置右下角端子，但当无角端子时，可设想成无(假想)的形状)。在图4(B)所示的部件20b、20c、20d中，4个角端子中的1个角端子的形状与其他的不同。而在图4(C)所示的部件20e、20f中，4个角端子中的2对端子的形状分别相同，对角的角端子的形状不同。而在图4(D)所示的部件20g、20h中，4个角端子的形状完全相同，在图4(E)所示的部件20i、20j中，4个角端子中的2对端子的形状分别相同，对角的角端子的形状相同。
这样，图4(A)、(B)、(C)中所示的部件，通过检测在角部是否存在角端子以及该角端子的形状，可以识别部件的吸附角度，而对于与图4(D)、(E)对应的部件，仅根据角端子的信息不能识别部件的吸附角度。
因此，在本发明中，对图4(A)、(B)、(C)所示的部件的吸附角度进行判定。为此，在生成部件数据时，除了部件尺寸和各边的端子信息(端子个数、端子尺寸、端子间距等)，还对在哪个角部存在角端子进行记录。然后，当存在角端子时，也记录该角端子的形状，同时还将角端子的存在位置和形状进行模式化并指定该模式。
关于该角端子形状的类型，按照图5(A)所示的形状来分类，对各形状分配分类代码(0)、(1)、…(7)…并进行编码。然后，当部件方向为基准角度(例如0°)且向上时，以部件中心为原点，用坐标指定角端子的存在位置，使用分类代码指定该处存在的端子的形状类型。然后，如图5(B)所示，对角端子的存在位置和形状进行模式化。然后，对各模式分配分类代码(0)、(1)、…(8)并进行编码，使用分类代码指定各部件的模式类型。
在该情况下，预先根据各角部存在的角端子的形状信息，对是否是可识别吸附角度的部件进行判断，并进行记录。例如，在图5(B)中，对于上行所示的分类代码为(0)～(3)的部件，由于角端子是轴对称的，因而吸附角度不可识别，而下行所示的分类代码为(4)～(8)的部件是可识别吸附角度的部件。
这样，对每个部件，生成部件尺寸和各边的端子信息、有无角端子的信息、角端子形状的数据、角端子的存在位置和形状的模式分类代码、以及可否识别吸附角度等数据。这些部件数据用图2的键盘21、鼠标22等输入装置来生成，或者用主计算机(未作图示)来生成，并被存储在存储装置23内。并且，这些部件数据被载入到图像处理装置7的部件数据存储器7d内，并按各部件ID来进行管理。这就是图3的步骤S1中的部件数据的接收(载入)。
接着，在步骤S2中取得识别指令。在识别指令中，指定部件ID、部件种类、拍摄条件(指定照相机、照明等)。通常，还必须指定吸附角度，但仅限于可识别吸附角度的部件，也可以省略该指定。当指定部件的吸附角度时，把生成部件数据时的状态作为0°，形成0°、90°、180°、270°的4个指定。
吸附角度为0°时，在矩形部件的规定的一边处于规定方向，例如处于向上的状态下，把此时的方位作为基准角度，生成部件数据，部件以上述规定的一边向上的状态被吸附，并被按照该方向装配到基板上。
吸附角度为90°时，部件以上述规定的一边向右的状态被吸附，并被按照该方向装配到基板上。同样，吸附角度为180°、270°时，部件分别以上述规定的一边向下、向左的状态被吸附，并被按照该方向装配到基板上。
另外，当部件按照基准角度(向上)被供给而不能按照其它方向吸附时，在按照基准角度吸附部件之后，使吸附喷嘴根据吸附角度旋转，将部件的方向改变到吸附角度。
然后，在步骤S3中，生成识别用的部件数据(以下称为识别数据)。在步骤S2中指定了吸附角度时，生成与其对应的识别数据。例如，在指定了吸附角度为90°时，由于使部件的上述规定的一边向右，对部件进行拍摄并进行部件识别，因而，把部件数据按顺时针方向旋转90°的部件数据也作为识别数据。在未指定吸附角度时，判断为按照与生成部件数据时相同的方向吸附部件(吸附角度为0°)，生成识别数据。因此，识别数据成为与部件数据生成时相同的数据。
然后，在步骤S4中进行引线端子的检测。该检测是如图6(A)所示，对于在角部具有角端子30a、30b、30c和在各边具有引线端子30d(每边有5个引线端子，在其中一个上标注了符号)的矩形部件30，从部件的图像外侧向内侧进行扫描，检测部件的外接点，根据该结果设定表示部件大致位置的外接窗口W。
接着，对各边设定引线列窗口W1～W4(图6(B))，在存在端子的区域中设定检查区域。然后，针对4条边中的每条边，在引线列窗口内进行DOG滤波(Marr & Posio的Difference-Of-Gaussian(高斯差分)滤波)来检测引线端子的边缘。然后，使用其来检测引线前端(图6(C)中的“+”符号)的坐标。这种引线端子的检测是公知的，例如，在特开平6-223185号公报中作了记载。
接着，在步骤S5中，根据所检测的引线前端坐标，求出连接引线前端的引线列直线L1～L4(图6(D))。然后，把其交点C1～C4看作部件的角部，取得其坐标值。此时，由于角端子30a、30b、30c使引线列直线的精度降低，因而，例如，通过排除检测出的两端的边缘等，来求出引线列直线。
<通过对角线扫描来检测角端子>
接着，在步骤S5中，根据上述求出的部件的角坐标，求出部件的对角线，通过对该对角线进行扫描，检测角部是否存在端子。该流程如图7所示，是在图像处理装置的CPU7a的控制下执行的。
首先，由于已经获取了部件图像的角部C1～C4的角坐标(图6(D))，因而获取连接对角的角之间的对角线(步骤S21)，设定用于检测端子的扫描方向和范围(步骤S22)。如图8(A)所示，为了提高检测灵敏度，使扫描方向随着对角线的斜度和角位置而不同。扫描范围是如下设定的如图8(B)所示，确定在角坐标的前后取角间距离的1/4长度的范围M1和M2，设定扫描起点m1和终点m2。
这样，在设定了扫描方向及扫描起点和终点之后，开始扫描(步骤S23)。如图8(C)所示，当对角线斜度比45°平缓时，从扫描起点起到终点为止，扫描对角线上的点和上下的点(y方向扫描)，当对角线斜度比45°陡峭时，在x轴方向扫描对角线上的点和左右的点。
在步骤S24中，作为角端子检测单元的CPU7a判定扫描结果，检测有无角端子。在检测到大于等于角端子用的规定阈值的点时，结束对角线扫描，进入用于取得端子轮廓的步骤S25。反之，在扫描到扫描终点时，也未发现大于等于阈值的点的情况下，认为无角端子。
在步骤S24中检测出端子时，从检测点开始检测轮廓(步骤S25)。在图9中示出了获取该轮廓的状态。在图9(A)中，Q1是通过对角线扫描所检测到的点，对除了该检测点Q1以外的周围的8个相邻点按照数字顺序进行调查。由于Q2点处大于等于阈值，可检测出轮廓，因而，将其看作下一轮廓点。接着，如图9(B)所示，以Q2为中心开始对8个相邻点进行调查，重复同样的处理直到返回到最初的起点。另外，8个相邻点的调查方向由对角线扫描的方向来决定。
在图9(C)中示出了这样检测到的轮廓点，其信息按照检测顺序存储在排列中。接着，在步骤S26、S27中，根据该轮廓点排列，分别求出X方向的边缘对坐标、y方向的边缘对坐标(图9(D)、(E))。并且，在步骤S28中，根据该边缘对坐标求出检测端子的重心Xg、Yg(图9(F)，(G))。该重心是根据下式求出的。
Lsum(y)＝Edge2(y)-Edge1(y)+1
Ladr_sum(y)＝Lsum(y)×(Edge1(y)+Edge2(y))/2SUM＝∑Lsum(y)Ymom＝∑(Lsum(y)×y)Xmom＝∑Ladr_sum(y)Xg＝Ymom/SumYg＝Xmom/Sum当所求出的检测端子的重心在对角线附近时，把所检测到的端子视为角端子，反之，当重心远离对角线时，由于具有误检测出引线端子的可能性，因而视为无角端子(步骤S29)。
这样，针对按照大于等于阈值所检测出的角端子，进一步检测该端子的轮廓，求出端子的重心。然后，由于也对所检测出的端子是否是角端子进行判断，因而可以防止把对角线上存在的噪声等非角端子误检测为是角端子。
通过图8所示的对角线扫描，在图6所示的部件30的例中，通过对连接角部C1和C3的对角线进行扫描，在角部C1和C3中检测出角端子30a和30c。并且，通过对连接角部C2和C4的对角线进行扫描，在角部C4中检测出角端子30b，在角部C2中检测出无角端子。这样，由于可检测出在哪个角部存在角端子，因而作为吸附角度检测单元的CPU7a把存在所检测出的角端子的角部与预先记录的存在角端子的角部进行对照，根据该对照结果，可检测部件的吸附角度相对于基准角度的偏差。
例如，在图6的部件30中，当部件数据按照基准角度(吸附角度为0°)生成时，把右上角部无角端子、其他角部存在角端子的情况记录在部件数据存储器7d内。然后，通过对角线扫描，检测出角部C2无角端子、其他角部有角端子时，由于与部件数据相同，因而检测出吸附角度为0°。
接着，如果检测出角部C3无角端子、其他角部有角端子，则检测出吸附角度为90°。并且，如果检测出角部C4无角端子、其他角部有角端子，则检测出吸附角度为180°，并且，如果检测出角部C1无角端子、其他角部有角端子，则检测出吸附角度为270°。
因此，例如，在把一部分部件的方向弄错而将其收纳在供料器内等的情况下，在按照与指定吸附角度不同的方向吸附了部件时，在部件识别阶段可以检测出吸附角度的错误(部件方向的错误)。也就是说，在部件装配时必须考虑极性(装配方向)来进行装配时，通过校正吸附角度，可以防止误装配。
以上是图3的处理的步骤S9的阶段。如被分类在图5(B)的分类代码为(4)～(8)的部件那样，至少部件的一边的两个角部的角端子(其有无或其形状)相对于边的中央垂直线是非对称时，该吸附角度是可以判定的。然而，对于角端子的有无或者其形状具有对称性的分类代码为(0)～(3)的部件，由于吸附角度不能判定，因而通过步骤S6的判定，跳过吸附角度的取得。并且，为了取得吸附角度，对于不仅需要判断有无角端子而且需要判断角端子的形状的部件(图4的部件20b等)，还检测角端子的形状(步骤S7、S8)。
在图10中示出了该角端子的形状检测流程。首先，如图10(A)所示，根据在步骤S25中获取的部件40的角端子40a的轮廓，取得角端子的外接接线，并求出由该外接接线包围的区域41。并且，由于在步骤S4中获得了引线坐标，因而如图10(B)所示，根据引线坐标，取得大致的部件斜度θ。
接着，考虑区域41的大小和部件斜度θ，生成与所指定的角端子形状对应的模板42、43(图10(C))。接着，如图10(D)所示，在部件40的图像的各角端子的外周设定包含角端子的窗口w1～w4，使用所生成的模板42、43进行模板匹配。如图10(E)所示，当使用模板42对部件40的角端子40a、40c、40d进行模板匹配时，相关值变高，而角端子40b在使用模板43时，相关值变高，因而可以把角端子形状确定为由各模板预先确定的形状。
这样，由于CPU7a可以检测出在哪个角部存在哪种形状的角端子，因而通过与由部件数据指定的角部的端子形状进行对照，可以取得部件的吸附角度相对于部件数据倾斜多少度(与基准角度的偏差)(步骤S9)。当实际的吸附角度和所指定的吸附角度不同时，作为吸附角度错误而进行错误结束。但是，也可以不进行错误结束而一直将识别进行到最后，对吸附角度偏差进行校正后装配部件。
接着，在步骤S10中，根据在步骤S9中求出的吸附角度，对识别数据进行校正。例如当检测出吸附角度有90°的偏差时，如果不对识别数据进行校正，则有的部件会发生识别错误(图11(E)等)，因而根据实际的吸附角度，使识别数据也旋转90°，对识别数据进行校正。
接着，使用校正后的识别数据进行引线检查(步骤S11)，对引线长度异常、根数异常、间距异常、引线弯曲异常等异常进行检测。如果该引线检查是正常的，则使用检测的引线坐标，算出部件中心和斜度(步骤S12)。
在算出部件中心和斜度之后，对吸附中心和斜度进行校正，把部件装配到基板上。另外，此时，当检测出上述吸附角度的偏差时，对该吸附角度的偏差进行校正后进行装配。这样，可防止在必须把部件按指定方向装配到基板上的情况下检测出吸附角度的偏差时的误装配。
另外，在上述实施方式中，虽然对矩形部件作了说明，但是，当然，也可以应用于角部具有角端子、角端子是非对称配置、可以检测吸附角度的其它多边形部件。
正如以上说明的那样，在本发明中，对在部件的角部存在的角端子进行检测。因而，通过把存在检测出的角端子的角部与预先记录的存在角端子的角部进行对照，可以可靠地检测部件的吸附角度。因此，在以与所指定的吸附角度不同的角度吸附了部件的情况下，可以检测出该情况，能够防止误装配。与此同时，可以不必指定以前进行识别时所需指定的吸附角度。
权利要求
1.一种部件识别方法，通过处理所吸附的部件的图像来识别部件的吸附方位，其特征在于，预先记录当部件的一边的方向处于基准角度时在部件的哪个角部存在角端子；处理部件的图像并检测角端子；以及把存在检测出的角端子的角部与预先记录的存在角端子的角部进行对照，根据该对照结果来检测部件的吸附角度相对于基准角度的偏差。
2.权利要求1所述的部件识别方法，其特征在于，在进行上述记录时，也记录角端子的形状；处理部件图像并检测在哪个角部存在哪种形状的角端子；以及根据该检测结果来检测部件的吸附角度相对于基准角度的偏差。
3.一种部件识别装置，通过处理所吸附的部件的图像来识别部件的吸附方位，其特征在于，具有存储单元，用于预先记录当部件的一边的方向处于基准角度时在部件的哪个角部存在角端子；摄像装置，用于对部件进行拍摄；图像处理装置，用于处理所拍摄的部件的图像；角端子检测单元，用于根据上述部件的图像处理来检测角端子；以及吸附角度检测单元，用于把存在检测出的角端子的角部与预先记录的存在角端子的角部进行对照，根据该对照结果来检测部件的吸附角度相对于基准角度的偏差。
4.权利要求3所述的部件识别装置，其特征在于，上述存储单元在进行记录时也记录角端子的形状；上述角端子检测单元根据部件的图像处理来检测在哪个角部存在哪种形状的角端子；以及上述吸附角度检测单元根据该检测结果来检测部件的吸附角度相对于基准角度的偏差。
全文摘要
本发明提供一种可以检测部件的实际吸附角度、可以可靠地检测与所指定的吸附角度的偏差的部件识别方法和装置。通过对连接通过部件图像处理求出的部件角部(C1～C4)的对角线进行扫描，检测是否在角部存在角端子(30a、30b、30c)。预先记录当部件的一边的方向处于基准角度时在部件的哪个角部存在角端子，把存在检测出的角端子的角部与预先记录的存在角端子的角部进行对照，从而检测部件的吸附角度相对于基准角度的偏差。
文档编号H05K13/00GK1551036SQ200410035130
公开日2004年12月1日 申请日期2004年4月23日 优先权日2003年4月23日
发明者藤江公子, 安部好晃, 晃 申请人:重机公司